Was ist ein Crawler? Definition, Funktionsweise und die wichtigsten Bot-Arten im Überblick, inklusive Steuerung.