PetShopAziBot

PetShopAziBot este programul care citește prețurile de pe site-urile magazinelor pentru animale, ca să le putem compara pe PetShopAzi. Se prezintă în fiecare cerere cu acest User-Agent:

PetShopAziBot/1.0 (+https://petshopazi.ro/despre-bot)

Ce citește

Paginile publice de categorie și de produs, fluxul public products.json al magazinelor Shopify și hărțile site-ului (sitemap) publicate de magazin.
Din ele păstrăm doar datele produsului: numele, marca, gramajul, prețul, disponibilitatea, codul EAN când magazinul îl publică, mențiunea de rețetă veterinară și adresa paginii.
Nu se autentifică, nu adaugă nimic în coș, nu trimite formulare și nu citește date despre clienți.

Cum citește

Citește întâi robots.txt și îl respectă, inclusiv regulile scrise pentru User-agent: PetShopAziBot și Crawl-delay. Îl recitește cel puțin o dată pe zi. Dacă robots.txt nu poate fi citit din cauza unei erori de server, nu cere nimic de la acel site.
O singură cerere odată la un site, niciodată în paralel.
Între două cereri la același site lasă o pauză: 5 secunde la majoritatea magazinelor, 2 secunde la fluxurile Shopify, sau mai mult dacă Crawl-delay cere mai mult.
După o eroare de rețea sau de server reîncearcă de cel mult trei ori, la 10, 30 și 60 de secunde.

Când citește

Noaptea, între 01:00 și 05:00, ora României. După ora 05:00 nu mai pornește nicio cerere nouă. La magazinele mari, paginile de produs se împart pe mai multe nopți, ca o noapte să nu depășească acest interval.

Ești un magazin și vrei să schimbăm ceva?

Scrie-ne la [email protected], de preferință de pe o adresă de email a domeniului magazinului. Putem rări cererile, muta ora, ocoli anumite pagini sau opri complet citirea site-ului tău. Dacă ai un flux de produse (feed) sau un program de afiliere, îl preferăm paginilor.

Poți să ne oprești și singur, din robots.txt:

User-agent: PetShopAziBot
Disallow: /