sitemap test results

Milestone2/files/SITEMAP/sitemap_control.xml

@@ -10,94 +10,4 @@
 <url><loc>https://www.letudiant.fr/lifestyle.html</loc></url>
 <url><loc>https://www.letudiant.fr/bac.html</loc></url>
 <url><loc>https://www.letudiant.fr/metiers.html</loc></url>
-<url><loc>https://www.letudiant.fr/recherche.html</loc></url>
-<url><loc>https://www.letudiant.fr/etudes/salons.html</loc></url>
-<url><loc>https://www.letudiant.fr/examen/brevet.html?utm_source=header&amp;utm_medium=brevet&amp;utm_campaign=DIG-hottopics</loc></url>
-<url><loc>https://www.letudiant.fr/bac.html?utm_source=header&amp;utm_medium=Bac&amp;utm_campaign=DIG-hottopics</loc></url>
-<url><loc>https://www.letudiant.fr/bac/corriges-du-bac.html</loc></url>
-<url><loc>https://www.letudiant.fr/examen/brevet.html</loc></url>
-<url><loc>https://www.letudiant.fr/tag/classements.html</loc></url>
-<url><loc>https://www.letudiant.fr/bac/j-ai-fait-16-pages-je-suis-refaite-vos-reactions-apres-l-epreuve-de-bac-de-ses.html</loc></url>
-<url><loc>https://www.letudiant.fr/bac/corriges-du-bac/article/bac-2019-tous-les-sujets-et-corriges-des-epreuves-du-jeudi.html</loc></url>
-<url><loc>https://www.letudiant.fr/lycee/bac-que-devient-votre-copie-apres-l-examen.html</loc></url>
-<url><loc>https://www.letudiant.fr/bac/corriges-du-bac/article/bac-2018-es-l-les-sujets-et-les-corriges-de-maths.html</loc></url>
-<url><loc>https://www.letudiant.fr/bac/bac-2019-comment-s-est-passee-votre-epreuve-de-lv1-vos-impressions-en-vost.html</loc></url>
-<url><loc>https://www.letudiant.fr/bac/sujets-probables-bac.html</loc></url>
-<url><loc>https://www.letudiant.fr/bac/corriges-du-bac/article/corrige-du-bac-s-le-sujet-de-physique-chimie-obligatoire-et-specialite.html</loc></url>
-<url><loc>https://www.letudiant.fr/bac/revisions-bac.html</loc></url>
-<url><loc>https://www.letudiant.fr/bac/corriges-du-bac/article/corrige-du-bac-es-le-sujet-de-sciences-economiques-et-sociales-specialite-et-obligatoire.html</loc></url>
-<url><loc>https://www.letudiant.fr/bac/coefficients-bac-par-matiere-et-serie.html</loc></url>
-<url><loc>https://www.letudiant.fr/etudes/parcoursup/parcoursup-suivez-l-evolution-de-la-situation-des-candidats-en-phase-d-admission.html</loc></url>
-<url><loc>https://www.letudiant.fr/etudes/parcoursup/en-2019-suivez-tiffanie-en-bac-pro-1.html</loc></url>
-<url><loc>https://www.letudiant.fr/jobsstages/l-actu-de-l-emploi-special-jobs-aeronautique-armee-de-l-air.html</loc></url>
-<url><loc>https://www.letudiant.fr/jobsstages/grandes-ecoles-insertion-emploi-salalire-record-pour-les-diplomes-2018.html</loc></url>
-<url><loc>https://www.letudiant.fr/jobsstages/actu-de-l-emploi-cnrs-animation-google-offres-d-emploi.html</loc></url>
-<url><loc>https://www.letudiant.fr/etudes/parcoursup/parcoursup-nos-cinq-lyceens-a-l-heure-des-choix.html</loc></url>
-<url><loc>https://www.letudiant.fr/jobsstages/coupe-du-monde-feminine-de-football-quelles-etudes-quels-diplomes-pour-les-23-joueuses.html</loc></url>
-<url><loc>https://www.letudiant.fr/etudes/l-actu-du-sup-catho-lille-centrale-marseille-en-anglais-et-un-nouveau-diplome-rh-tourne-numerique.html</loc></url>
-<url><loc>https://www.letudiant.fr/etudes/vous-faites-l-actu-robotique-laponie-design.html</loc></url>
-<url><loc>https://www.letudiant.fr/etudes/medecine-sante/trois-conseils-pour-rebondir-apres-un-echec-a-la-paces.html</loc></url>
-<url><loc>https://www.letudiant.fr/etudes/annuaire-enseignement-superieur/formation.html</loc></url>
-<url><loc>https://www.letudiant.fr/test/metiers.html?utm_source=header&amp;utm_medium=testmertiers&amp;utm_campaign=DIG-hottopics</loc></url>
-<url><loc>https://www.letudiant.fr/premium/amos/article/a-la-decouverte-du-metier-de-trader-sportif.html</loc></url>
-<url><loc>https://www.letudiant.fr/premium/amos/article/romain-badano-ou-quand-fitness-rime-avec-business.html</loc></url>
-<url><loc>https://www.letudiant.fr/lycee/terminale/bac-2019-sujets-tendances-apres-les-epreuves-a-l-etranger.html</loc></url>
-<url><loc>https://www.letudiant.fr/lycee/lycee-la-biodiversite-s-installe-en-classe.html</loc></url>
-<url><loc>https://www.letudiant.fr/lycee/orthographe-pour-creer-des-ouvertures-maitrisez-les-expressions-de-la-boxe.html</loc></url>
-<url><loc>https://www.letudiant.fr/college/3e/affelnet-2019-questions-reponses-pour-vous-inscrire-dans-le-lycee-que-vous-voulez.html</loc></url>
-<url><loc>https://www.letudiant.fr/tag/coaching-orientation.html?utm_source=HeaderCoaching&amp;utm_campaign=DIG-Futurness</loc></url>
-<url><loc>https://www.letudiant.fr/college/3e/stage-de-3e-c-est-le-moment-d-y-penser.html</loc></url>
-<url><loc>https://www.letudiant.fr/college/college-j-ai-teste-jules-l-assistant-virtuel-aux-devoirs.html</loc></url>
-<url><loc>https://www.letudiant.fr/college/3e/brevet-moins-d-1-eleve-sur-2-a-la-moyenne-aux-epreuves-ecrites.html</loc></url>
-<url><loc>https://www.letudiant.fr/etudes/annuaire-des-colleges.html</loc></url>
-<url><loc>https://www.letudiant.fr/metiers/comment-je-suis-devenue-archeologue.html</loc></url>
-<url><loc>https://www.letudiant.fr/metiers/avenir-sante/metiers-medecine-et-sport-un-couple-qui-fait-rever.html</loc></url>
-<url><loc>https://www.letudiant.fr/palmares/liste-profils/palmares-des-grandes-ecoles-de-commerce/palmares-des-grandes-ecoles-de-commerce-faites-votre-classement-personnalise/home.html</loc></url>
-<url><loc>https://www.letudiant.fr/metiers/comment-je-suis-devenu-geriatre.html</loc></url>
-<url><loc>https://www.letudiant.fr/metiers/comment-je-suis-devenu-soigneur-animalier.html</loc></url>
-<url><loc>https://www.letudiant.fr/metiers/secteur/armee/chef-d-equipe-maintenancier.html</loc></url>
-<url><loc>https://www.letudiant.fr/metiers/secteur/armee/specialiste-de-la-logistique-aeroportee-1.html</loc></url>
-<url><loc>https://www.letudiant.fr/metiers/secteur/armee/officier-pilote-d-helicoptere.html</loc></url>
-<url><loc>https://www.letudiant.fr/metiers/secteur/armee/mecanicien-ne-des-telecommunications.html</loc></url>
-<url><loc>https://www.letudiant.fr/fiches/metiers/fiche/the-american-business-school-paris-1.html</loc></url>
-<url><loc>https://www.letudiant.fr/fiches/metiers.html</loc></url>
-<url><loc>https://www.letudiant.fr/metiers/secteur.html</loc></url>
-<url><loc>https://www.letudiant.fr/alternance/apprentiscenes-2019-quand-les-apprentis-jouent-la-comedie.html</loc></url>
-<url><loc>https://www.letudiant.fr/fiches/metiers/fiche/engde-ecole-superieure-de-gestion-et-d-expertise-comptable.html</loc></url>
-<url><loc>https://www.letudiant.fr/alternance/ces-apprentis-font-la-promo-de-l-apprentissage-sur-youtube.html</loc></url>
-<url><loc>https://www.letudiant.fr/alternance/salon-de-l-agriculture-la-bergerie-nationale-centre-de-formation-dedie-animal-agriculture.html</loc></url>
-<url><loc>https://www.letudiant.fr/etudes/annuaire-alternance/formation.html</loc></url>
-<url><loc>https://www.letudiant.fr/alternance/calculer-votre-salaire-en-alternance.html</loc></url>
-<url><loc>https://www.letudiant.fr/alternance/alternance-et-apprentissage/exemples-de-cv-et-de-lettres-de-motivation-pour-un-contrat-en-alternance-11029.html</loc></url>
-<url><loc>https://www.letudiant.fr/alternance/alternance-et-apprentissage/apprentissage-et-professionnalisation-comment-decrocher-un-contrat-en-alternance.html</loc></url>
-<url><loc>https://www.letudiant.fr/premium/amos/article/quand-le-digital-revolutionne-le-sport.html</loc></url>
-<url><loc>https://www.letudiant.fr/etudes/salons/region-nord-ouest.html</loc></url>
-<url><loc>https://www.letudiant.fr/etudes/salons/region-sud-ouest.html</loc></url>
-<url><loc>https://www.letudiant.fr/etudes/salons/theme-alternance-apprentissage.html</loc></url>
-<url><loc>https://www.letudiant.fr/etudes/salons/theme-carrieres-jeunes-diplomes.html</loc></url>
-<url><loc>https://www.letudiant.fr/etudes/salons/theme-environnement.html</loc></url>
-<url><loc>https://www.letudiant.fr/etudes/salons/theme-formations-artistiques.html</loc></url>
-<url><loc>https://www.letudiant.fr/etudes/annuaire-des-lycees.html</loc></url>
-<url><loc>https://www.letudiant.fr/etudes/salons/theme-generalistes.html</loc></url>
-<url><loc>https://www.letudiant.fr/etudes/salons/theme-grandes-ecoles-de-commerce-et-d-ingenieurs.html</loc></url>
-<url><loc>https://www.letudiant.fr/etudes/salons/theme-formations-internationales.html</loc></url>
-<url><loc>https://www.letudiant.fr/etudes/salons/theme-masters-masteres-mba.html</loc></url>
-<url><loc>https://www.letudiant.fr/etudes/salons/theme-sante-social-et-paramedical.html</loc></url>
-<url><loc>https://www.letudiant.fr/etudes/salons/theme-special-rentree.html</loc></url>
-<url><loc>https://www.letudiant.fr/etudes/salons/region-nord-est.html</loc></url>
-<url><loc>https://www.letudiant.fr/etudes/salons/theme-evolution-professionnelle.html</loc></url>
-<url><loc>https://www.letudiant.fr/alternance/les-prepas-apprentissage-pour-maitriser-codes-entreprise-avant-d-y-entrer.html</loc></url>
-<url><loc>https://www.letudiant.fr/etudes/salons/theme-industrie.html</loc></url>
-<url><loc>https://www.letudiant.fr/etudes/salons/theme-journalisme-marketing-communication.html</loc></url>
-<url><loc>https://www.letudiant.fr/etudes/salons/theme-sport-loisirs-dietetique.html</loc></url>
-<url><loc>https://www.letudiant.fr/etudes/salons/region-ile-de-france-0001.html</loc></url>
-<url><loc>https://www.letudiant.fr/etudes/salons/theme-mode-design.html</loc></url>
-<url><loc>https://www.letudiant.fr/etudes/salons/theme-banque-finance-assurance-expertise-comptable.html</loc></url>
-<url><loc>https://www.letudiant.fr/etudes/salons/theme-informatique-et-multimedia.html</loc></url>
-<url><loc>https://www.letudiant.fr/etudes/salons/theme-transport-logistique.html</loc></url>
-<url><loc>https://www.letudiant.fr/etudes/salons/theme-tourisme-hotellerie-restauration.html</loc></url>
-<url><loc>https://www.letudiant.fr/etudes/salons/theme-defense-securite-prevention.html</loc></url>
-<url><loc>https://www.letudiant.fr/etudes/salons/theme-comptabilite-gestion-rh-secretariat.html</loc></url>
-<url><loc>https://www.letudiant.fr/etudes/salons/salon-de-l-alternance-et-des-etudes-superieures.html</loc></url>
-<url><loc>https://www.letudiant.fr/etudes/salons/salon-de-la-rentree-de-lyon.html</loc></url>
 </urlset>

Milestone2/results/sitemap.csv

 file name,items,items in index,title found,content complete
-./files/SITEMAP/sitemap_control.xml,100,100,true,true
+./files/SITEMAP/bad_formatting.xml,bad formatting,1,true,true
+./files/SITEMAP/list.xml,11,10,true,true
+./files/SITEMAP/sitemap_control.xml,10,10,true,true
+./files/SITEMAP/unrecognized.xml,bad formatting,Error : no links found

Milestone2/run.js

@@ -49,13 +49,20 @@ function run(script, files, stream, callback){
         fs.readFile(to_run, (err, data) => {
             if (to_run.includes("rss") || to_run.includes("atom")){
                 rss_parser.parseString(data, (err, result) => {
-                    if(err) stream.write(to_run + "," + "bad formatting" + "," + mes);
+                    if(err) stream.write(to_run + "," + "bad formatting" + "," + mes + "\n");
                     else stream.write(to_run +","+ result.items.length +","+ mes + "\n");
                 });
             } else {
                 xml_parser(data, (err, result) => {
-                    if(err) stream.write(to_run + "," + "bad formatting" + "," + mes);
-                    else stream.write(to_run +","+ result.urlset.url.length.toString() +","+ mes + "\n");
+                    if(err){
+                        var data_lines = data.toString().split("\n");
+                        if (data_lines[0].includes("https://") || data_lines[0].includes("http://"))
+                            stream.write(to_run + "," + data_lines.length + "," + mes + "\n")
+                        else stream.write(to_run + "," + "bad formatting" + "," + mes + "\n");
+                    } else {
+                        if (result.urlset) stream.write(to_run +","+ result.urlset.url.length.toString() +","+ mes + "\n");
+                        else stream.write(to_run + "," + "bad formatting" + "," + mes + "\n");
+                    }
                 });
             }
         });