Hoe vertel je de spider van een zoekmachine dat je wilt dat hij alleen de eerste pagina, of de hele website indexeert? Dat doe je met de zogenaamde ROBOTS metatag. De robots metatag is iets anders dan de robots.txt  Deze moeten wel samen gebruikt worden. Beide worden namelijk ook gebruikt door onder andere Google en Yahoo. Staat deze metatag verkeerd Continue Reading.
lees verder