Tagarchieven: spiders

Wat is een robots.txt en hoe moet je die maken ?

De robots.txt file plaats je in de www directory. Dus www.jedomeinnaam.nl/robots.txt is de plaats waar deze moet komen te staan. Deze file geeft aan hoever de zoekmachines door mogen lopen binnen een website. Dit bestand wordt wel eens verward met de metatags robots. Deze 2 horen wel samen gebruikt te worden.   Zo wil je bijvoorbeeld een zoekmachines spider liever buiten de deur houden van een map zoals "klanten" en zoals een map "images". Uiteraard is het een verzoek, geen garantie. En als je wilt dat de map /geheim1960 door niemand gevonden gaat worden moet je deze misschien niet op internet zetten, en al helemaal niet in het robots.txt bestand. Het veilig afschermen van gegevens doe je dan ook met bijvoorbeeld wachtwoordbeveiliging zoals .htaccess of login-script. Een robots.txt bestand zou er dan dus zo uit kunnen zien: User-agent: * Disallow:.
lees verder

Spiders

Spiders zijn door de zoekmachines ontwikkelde software programma's die het web afspeuren naar sites, met als doel deze op te nemen in de database van die zoekmachine. Spiders 'lezen' je metatags en zien ook hoever zij jouw site mogen doorzoeken. (index-follow tag) Spiders van de zoekmachines die je kunt verwachten in de log-file staan hieronder. Let op: niet alle spiders laten een spoor achter. Dit is ook afhankelijk van het type statistieken-software die je gebruikt en van bijvoorbeeld de robots file.  
1.Acme.Spider 2.Ahoy! The Homepage Finder 3.Alkaline 4.Arachnophilia 5.ArchitextSpider 6.Aretha 7.ASpider (Associative Spider) 8.Atomz.com Search Robot 9.AURESYS 10.BackRub 11.Big Brother 12.Bjaaland 13.BlackWidow 14.Die Blinde Kuh 15.bright.net caching robot 16.BSpider 17.CACTVS Chemistry Spider 18.Calif 19.Cassandra 20.Digimarc Marcspider/CGI 21.Checkbot 22.churl 23.CMC/0.01 24.Combine System 25.Conceptbot 26.Web Core / Roots 27.CS-HKUST WISE: 28.Cusco 29.CyberSpyder Link Test 30.DeWeb(c) Katalog/Index 31.DienstSpider 32.Digital Integrity Robot 33.Direct Hit Grabber 34.DNAbot 35.DownLoad Express 36.DragonBot 37.DWCP (Dridus' Web Cataloging Project) 38.EIT Link Verifier Robot 39.Emacs-w3 Search Engine 40.ananzi 41.Esther 42.nzexplorer 43.Felix IDE 44.Wild Ferret Web Hopper #1, #2, #3 45.FetchRover 46.fido 47.HSmShSkki 48.KIT-Fireball 49.Fish search 50.Fouineur 51.Robot Francoroute 52.Freecrawl 53.FunnelWeb 54.gazz 55.GCreep 56.GetBot 57.GetURL 58.Golem 59.Googlebot 60.Grapnel/0.01 Experiment 61.Gromit 62.Northern Light.lees verder

Diverse overzichten & Lijsten

Uiteraard is er erg veel te vertellen over Metatags en alles wat er nog meer komt kijken bij website optimalisatie en zoekmachine optimalisatie. Hierbij diverse overzichten & lijsten
lees verder