Door gebruik te maken van de zogenaamde meta name REVISIT-AFTER metatag kan je proberen om aan te geven wanneer je wilt dat de spider van een zoekmachine je site weer mag (her-) indexeren. Deze metatag wordt uitgelezen door onder andere een aantal Noord-Amerikaanse zoekmachines en wordt weinig meer gebruikt. Er zijn echter mensen die stellen dat de zoekmachines bij het spideren bandbreedte verbruiken. En dat je dus als webmaster eigenlijk invloed zou moeten hebben op de frequentie van de spiders. Maar door het goedkoper worden van bandbreedte is deze discussie wat meer naar de achtergrond geraakt. Teveel en te weinig spideren van een website is niet goed. Dus plaats je 1 keer per week nieuwe of extra inhoud op je site, hou dan het aantal dagen op 7. Teveel spideren op dezelfde inhoud maakt dat een.
lees verder