De HatlessLRM-crawler

Wie en wat

Hatless is een SEO-bureau in Nederland. De bot heet HatlessLRM en hoort bij onze linkmonitor: hij controleert of links naar onze klanten, op pagina's waar in overleg met de uitgever een link is geplaatst, nog aanwezig zijn.

Hij identificeert zich met de user-agent:

HatlessLRM/0.1 (+https://hatless.com/bot)

Wat de bot precies doet

• Haalt alleen losse, vooraf bekende URL's op. Hij spidert geen hele site, volgt geen interne links en leest geen sitemap.
• Doet uitsluitend GET-verzoeken op HTML-pagina's. Volgt redirects. Time-out na 30 s.
• Leest de pagina uit om de uitgaande links te vinden. Voert geen JavaScript uit, vult geen formulieren in, logt nergens in, plaatst geen cookies.

Hoe vaak

• Standaard één keer per week per URL.
• Maximaal één verzoek tegelijk per website, met minimaal 1,5 seconde tussen twee verzoeken aan dezelfde site.
• Levert een site een foutmelding op, dan loopt de wachttijd op: eerst een uur, dan twee, vier, acht, tot maximaal een week. Een site die uit de lucht is, wordt niet bestookt.

Wat we bewaren

• De HTTP-statuscode, een controlegetal (hash) van de pagina, en de gevonden uitgaande links: de URL, de ankertekst en het rel-attribuut.
• Wij bewaren geen kopie van de paginatekst en geen persoonsgegevens van bezoekers.

robots.txt

De bot leest robots.txt vóór elk verzoek (cache van zes uur) en houdt zich aan Disallow-regels. Wie de bot wil weren, zet dit in robots.txt:

User-agent: HatlessLRM
Disallow: /

Dat werkt binnen zes uur. Eerlijk erbij: een blokkade op IP-niveau of via een bot-firewall herkennen wij als "pagina niet op te halen"; alleen robots.txt is de weg die wij als instructie behandelen.

Waar hij vandaan komt

Draait op infrastructuur in de EU (Frankfurt). Wij hebben geen vaste IP-adressen, dus een IP-lijst kunnen we niet geven, filter op de user-agent.

Contact

Vragen of een verzoek om verwijdering? Mail hi@hatless.com en we reageren zo snel mogelijk.