Onze websitecrawler
TipDeMakelaarBot bezoekt de website van een makelaarskantoor als iemand dat kantoor tipt. Zo heeft de vrager meteen een feitelijk profiel en weet hij wie het kantoor is.
Wat de crawler doet
- Hij leest de homepage en hooguit vijf andere pagina’s van dezelfde website, zoals over ons, diensten, team, contact en werkwijze.
- Hij volgt robots.txt.
- Hij wacht nooit langer dan 10 seconden op een pagina en leest hooguit 1 MB per pagina.
Wat we wel en niet gebruiken
We gebruiken alleen de eigen website van het kantoor. We lezen nooit Funda, reviewplatforms of vergelijkingssites, en nemen geen reviews, cijfers of beoordelingen over.
AI helpt de tekst samen te vatten, met alleen openbare bedrijfsinformatie. Iemand van ons controleert het concept voordat het op het profiel komt. Op het profiel staat altijd: ‘Samengesteld uit de eigen website van dit kantoor. Klopt er iets niet? Laat het ons weten.’
De crawler herkennen
De crawler stelt zich voor met deze user-agent:
TipDeMakelaarBot/1.0 (+https://tipdemakelaar.nl/bot)Bezwaar maken
Wil je niet dat de crawler je website leest? Zet dit in je robots.txt:
User-agent: TipDeMakelaarBot
Disallow: /Je kunt ook je profiel claimen en alles zelf aanpassen, of ons mailen op hallo@tipdemakelaar.nl. Dan passen we je profiel aan of verbergen we het.