Onze crawler

U trof GEOwner-Audit aan in uw logs.

Het is het programma waarmee we een website auditen. Het bezocht uw site omdat iemand die daartoe gerechtigd is een audit van die site heeft besteld, of omdat de site daarin als concurrent werd genoemd.

GEOwner-Audit/2.0 (+https://geowner.com/bot)

Wat het doet

  • Wat het opvraagt

    Alleen openbare pagina’s: de gecontroleerde pagina, de robots.txt, de sitemap, tot 120 pagina’s uit de sitemap en tot 25 pagina’s waarnaar die linken. Hij logt niet in, verstuurt geen formulieren en probeert geen botverificatie (challenge) te doorstaan.

  • Crawlerregels

    De openbare scanner respecteert robots.txt. Het toestemmingsvak verifieert geen eigendom en omzeilt geen crawlerbeperkingen.

  • Verzoeken onder andere namen

    Voor de gratis controle en voor elke audit vragen we de gecontroleerde pagina ook op onder de namen van AI-crawlers, van Googlebot en van een browser, om te zien of de site hen anders antwoordt. Deze verzoeken komen van onze eigen server, niet van die bedrijven. Ze zijn een test, beschreven in onze methode, en worden alleen naar de gecontroleerde site gestuurd.

  • Hoeveel

    Hoogstens 120 pagina’s uit de sitemap en 25 gelinkte pagina’s per controle, met niet meer dan acht verzoeken tegelijk. Het is geen doorlopende crawler: hij bezoekt een site wanneer een controle of audit wordt uitgevoerd, ook bij een afgesproken nieuwe meting, en bezoekt elke nacht een kleine vaste reeks openbare referentiesites om zichzelf te testen.

  • Wat het bewaart

    Korte fragmenten van openbare pagina’s en de responsen die hij ontving, als bewijs in het auditrapport. Er wordt niet naar persoonsgegevens gezocht.

  • Hoe u het stopt

    Op sites die we op eigen initiatief bezoeken, wordt een robots.txt-regel voor GEOwner-Audit nageleefd. Voor al het andere: schrijf ons en we sluiten uw site uit.contact@geowner.com