Crawler

Ein Webcrawler ist ein Programm, oft als Bot oder Roboter bezeichnet, das systematisch das Web durchsucht, um Daten von Webseiten zu sammeln. Typischerweise verwenden Suchmaschinen (z. B. Google, Bing etc.) Crawler, um Indizes zu erstellen.