Tagarchieven: robots.txt

Wat is een robots.txt en hoe moet je die maken ?

De robots.txt file plaats je in de www directory. Dus www.jedomeinnaam.nl/robots.txt is de plaats waar deze moet komen te staan. Deze file geeft aan hoever de zoekmachines door mogen lopen binnen een website. Dit bestand wordt wel eens verward met de metatags robots. Deze 2 horen wel samen gebruikt te worden.   Zo wil je bijvoorbeeld een zoekmachines spider liever buiten de deur houden van een map zoals "klanten" en zoals een map "images". Uiteraard is het een verzoek, geen garantie. En als je wilt dat de map /geheim1960 door niemand gevonden gaat worden moet je deze misschien niet op internet zetten, en al helemaal niet in het robots.txt bestand. Het veilig afschermen van gegevens doe je dan ook met bijvoorbeeld wachtwoordbeveiliging zoals .htaccess of login-script. Een robots.txt bestand zou er dan dus zo uit kunnen zien: User-agent: * Disallow:.
lees verder

Wat is een robots.txt en hoe moet je die maken ?

De robots.txt file plaatst u in uw www directory. Dus www.uwdomeinnaam.nl/robots.txt is de plaats waar deze moet komen te staan. Deze file geeft aan hoever de zoekmachines door mogen lopen binnen uw site. Dit bestand wordt wel eens verward met de metatags robots. Deze 2 horen wel samen gebruikt te worden. Zo wilt u bijvoorbeeld een zoekmachines spider liever buiten de deur houden van een map zoals "klanten" en zoals een map "images". Uiteraard is het een verzoek, geen garantie. En als u wilt dat de map /geheim1960 door niemand gevonden gaat worden moet u deze misschien niet op internet zetten, en al helemaal niet in uw robots.txt bestand. Het veilig afschermen van gegevens doet u dan ook met bijvoorbeeld wachtwoordbeveiliging zoals .htaccess of login-script. Een robots.txt bestand zou er dan dus zo uit kunnen zien:  
User-agent: * Disallow: /setup/ Disallow:.
lees verder