Le robot GOTS Finder
GOTS Finder est un projet personnel et non commercial, sans publicité ni lien affilié. Il aide des parents à trouver des vêtements bébé et enfant labellisés GOTS ou OEKO‑TEX, en réunissant les articles de plusieurs boutiques en ligne.
Ce qu'il lit
Une fois par nuit, le robot parcourt les pages catégorie et produit publiques de quelques boutiques. Il ne garde que les articles dont la fiche mentionne GOTS ou OEKO‑TEX : titre, prix, tailles, adresse de la photo et la phrase de la fiche qui cite le label. Chaque article renvoie vers la fiche de la boutique, où se fait l'achat. Les photos s'affichent depuis le site de la boutique.
Comment il se comporte
- Il se présente avec l'en‑tête HTTP
X-Agent, qui commence parGOTSFinder/1.0et renvoie vers cette page. - Il respecte robots.txt, y compris
Crawl-delay. - Il envoie une requête à la fois par site, avec au moins 0,8 seconde d'écart (davantage si
Crawl-delayle demande). Il ne télécharge ni images, ni vidéos, ni polices. - Il s'arrête dès qu'un site répond 403 ou 429 ou affiche un captcha, et ne cherche pas à contourner ces protections.
- Il ne crée pas de compte et ne remplit ni panier ni formulaire.
Retirer votre boutique
Ajoutez ces lignes à votre robots.txt :
User-agent: GOTSFinder
Disallow: /Au passage suivant, le robot ne visite plus votre site et vos articles disparaissent du catalogue. Des règles Disallow plus précises n'excluent qu'une partie du site.