Hoe vertel je de spider van een zoekmachine dat je wilt dat hij alleen de eerste pagina, of de hele website indexeert? Dat doe je met de zogenaamde ROBOTS metatag. De robots metatag is iets anders dan de robots.txt  Deze moeten wel samen gebruikt worden. Beide worden namelijk ook gebruikt door onder andere Google en Yahoo. Staat deze metatag verkeerd dan bestaat de kans dat je een zoekmachine spider helemaal buitensluit met alle gevolgen van dien. Je website is dan onvindbaar. <meta name="robots" content="selectie">

Voorbeeld metatag robots

Als je wilt dat de spider van de zoekmachine je hele website doorloopt (metatags indexing) zet dan bijvoorbeeld de volgende metatag in de broncode van je website: <meta name="robots" content="index, follow"> In het onderstaande voorbeeld kijkt de spider.
lees verder