sitemap crawling and parsing test

add_sitemap.js

+const puppeteer = require('puppeteer');
+const Server = require('ws').Server;
+const args = require("yargs")
+.usage("Usage : add_sitemap.js -file file_path")
+.demandOption(['file'])
+.alias("f", "file")
+.describe("file", "path to the Sitemap XML File")
+.nargs("file", 1)
+.argv;
+
+var browser,
+start;
+
+function init_server (){
+  var port = 9030;
+  var ws = new Server({port: port});
+  ws.on('connection', function(w){
+    w.on('message', function(msg){
+      if (msg.includes("Done")){
+        var now = Date.now()
+        console.log(msg + " in " + (now-start)/1000 +"s");
+        ws.close();
+        browser.close();
+      } else {
+        console.log(msg);
+        ws.close();
+        browser.close();
+      }
+    });
+    w.on('close', function() {
+      ws.close();
+    });
+  });
+}
+
+(async () => {
+  init_server();
+  browser = await puppeteer.launch();
+  var page = await browser.newPage();
+  await page.goto('https://softinst115787.host.vifib.net/public/unit_tests/add_sitemap.html');
+  start = Date.now();
+  const [fileChooser] = await Promise.all([
+    page.waitForFileChooser(),
+    page.click('input#load')
+  ]);
+  await fileChooser.accept([args.file]);
+})();

test_files/SITEMAP/44svt_135.xml

+<?xml version="1.0" encoding="UTF-8"?>
+ <urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
+<url><loc>http://44.svt.free.fr/</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/nouveau.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/enseignants_innovants.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/okapi.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/gallerand.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/mentions_legales.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/primaire.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/5.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/6.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/4_2007.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/3_2008.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/seconde.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/logiciels_svt_traduits.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/doc.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/ticer.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/edd.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/applicat.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/error404.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/videos.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/photos.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/biodiversite.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/grippe-porcine.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/seisme-italien.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/bardintzeff.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/b2i.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/svt44.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/interviews.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/livre-svt.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/livre-svt-5.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/livre-svt-4.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/capture-video.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/livre-svt-3.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/google.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/vtt_2.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/creer_site.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/liens_svt.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/outils.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/rechercher.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/sitesvt.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/socle_commun-svt.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/recreation.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/logsvt.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/PresseBook.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/livre_d_or.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/statistiques.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/media.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/dissection_souris.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/germination.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/moutarde.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/pelote.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/plante.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/cloporte.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/organisation_spatiale.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/seisme.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/nutrition_lentilles.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg2/v-nv/v-nv.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/respiration-criquets.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/groupes_sanguins.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/evolution_selection_naturelle.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/chaine_alimentaire.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/croissance_phasme.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/croissance_ble.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/fossile_stratigraphique.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/frise_geologique.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/forum-enseignants-innovants-2013.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/mitose.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/tour_de_france_d_unumerique_2013.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/lait_yogourt.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/prezi.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/global_forum_prague.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/devenir_male_ou_femelle.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/experience_fabre.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/volcans.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/forum-enseignants-innovants-2012.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/futur-en-seine-2012.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/doc/sol.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/phylo-classe.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/regulation_pression-arterielle.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/pyrrhocores.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/videos-bardintzeff.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/deplacement-continents.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/1ere_svt.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/determination.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/pain.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/organisation_vivant.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/espece.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/eau.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/doc/hermelles.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/experiences-peuplement-milieu.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/microscope.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/cigognes.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/tbi.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/volcanologue_3.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/beaulieu_hiver.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/pollution2.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/3_6.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/3_8.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/3_9.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/3_11.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/3_10.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/3_12.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/3_4.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/3_3.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/3_2.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/3_1.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg2/pain/</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/livre_svt_3_grille.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/ibis.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/maree_noire_loire.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/modelisation.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/graphique.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/peuplement.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/reproduction_vegetative.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/vegetaux_hiver.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/libellule.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/migrations.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/guppy.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/surstey.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/petitbois.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/peuplement_milieu.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/beaulieu.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/livre_svt_4_grille.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/vanilline.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/classification/</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/eau_chaux.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/circulation.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/vtt.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/doc/Flash/default.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/doc/moutarde.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/doc/fougere3.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/tice-svt.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/doc/cellules.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/doc/fougere.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/doc/criquets.htm</loc></url>
+<url><loc>http://44.svt.free.fr/jpg/classi-phylo.htm</loc></url>
+</urlset>