Tagarchieven: doorzoeken

Spiders

Spiders zijn door de zoekmachines ontwikkelde software programma's die het web afspeuren naar sites, met als doel deze op te nemen in de database van die zoekmachine. Spiders 'lezen' je metatags en zien ook hoever zij jouw site mogen doorzoeken. (index-follow tag) Spiders van de zoekmachines die je kunt verwachten in de log-file staan hieronder. Let op: niet alle spiders laten een spoor achter. Dit is ook afhankelijk van het type statistieken-software die je gebruikt en van bijvoorbeeld de robots file.  
1.Acme.Spider 2.Ahoy! The Homepage Finder 3.Alkaline 4.Arachnophilia 5.ArchitextSpider 6.Aretha 7.ASpider (Associative Spider) 8.Atomz.com Search Robot 9.AURESYS 10.BackRub 11.Big Brother 12.Bjaaland 13.BlackWidow 14.Die Blinde Kuh 15.bright.net caching robot 16.BSpider 17.CACTVS Chemistry Spider 18.Calif 19.Cassandra 20.Digimarc Marcspider/CGI 21.Checkbot 22.churl 23.CMC/0.01 24.Combine System 25.Conceptbot 26.Web Core / Roots 27.CS-HKUST WISE: 28.Cusco 29.CyberSpyder Link Test 30.DeWeb(c) Katalog/Index 31.DienstSpider 32.Digital Integrity Robot 33.Direct Hit Grabber 34.DNAbot 35.DownLoad Express 36.DragonBot 37.DWCP (Dridus' Web Cataloging Project) 38.EIT Link Verifier Robot 39.Emacs-w3 Search Engine 40.ananzi 41.Esther 42.nzexplorer 43.Felix IDE 44.Wild Ferret Web Hopper #1, #2, #3 45.FetchRover 46.fido 47.HSmShSkki 48.KIT-Fireball 49.Fish search 50.Fouineur 51.Robot Francoroute 52.Freecrawl 53.FunnelWeb 54.gazz 55.GCreep 56.GetBot 57.GetURL 58.Golem 59.Googlebot 60.Grapnel/0.01 Experiment 61.Gromit 62.Northern Light.lees verder

Stap 10 – Spiders van de zoekmachines

Spiders zullen je site gaan bezoeken. Spiders zijn robots van zoekmachines die je site automatisch bekijken. Een lijst van Spiders staat bij ons op de site. Let er gelijk op of zo'n spider wel de hele site kan doorzoeken, spideren. Loopt een spider ergens vast, controleer de pagina en breng bijvoorbeeld een nieuwe interne link aan en wacht tot het volgende bezoek van de spider. zoekmachine spidersLet op dat als het druk is bij Google of Fast sowieso de spider 2 maal op bezoek komt voordat er wat gebeurt. Geduld is belangrijk dus niet gelijk weer aanmelden. Je maakt het de spider van een zoekmachines makkelijker door een sitemap aan te bieden. Een veelgebruikte vorm is een XML-sitemap die je eenvoudig kunt maken en op de server plaatst.

Spiders

Bekende namen.
lees verder