Internet-Crawler
Internet-Crawler sind auf Hochleistung optimierte Programme die laufend das Internet und andere Elemente des World Wide Web durchforsten.
Der Unterschied zwischen Robot Suchmaschinen und Webkatalogen besteht darin das die Aufnahme von Dokumenten in den Datenbestand der Suchmaschinen im Gegensatz zu Webkatalogen voll automatisch erfolgt.
Das Ziel eines Internet-Crawlers, welcher auch als Spider bezeichnet wird, ist definiert mit dem Auffinden aller im Web vorhandenen oder für den Index relevanten Dokumenten. Aufgrund des schon angemerkten ständigen Wachstums und der hohen Änderungsrate des World Wide Webs handelt es sich beim Crawling um eine komplexe Aufgabe. Bei der Konstruktion eines Crawlers müssen daher eine Menge von Anforderungen berücksichtigt werden. Auf die Hauptanforderungen und verschiedenen Ausprägungsmöglichkeiten wird im Folgenden näher eingegangen.
Seite drucken