Chociaż niewiele osób nie kojarzy określenia „Crawler” to tak naprawdę miała z nim wiele razy do czynienia. Zwłaszcza dotyczy to pozyconerów i osób zajmujących się budową stron internetowych.
Crawler (od ang. „crawl”- czołgać się) to robot indeksujący, bot wyszukiwarki (automatyczny program) czasem nazywany też pająkiem. Program ten używany jest przez wyszukiwarki internetowe (takie jak Google, Bing) do zbierania informacji ze stron internetowych. Podczas tej czynności poznaje on:
Dane pobrane przez Crawlera jeśli są wartościowe mogą następnie zostać dodane do indeksu wyszukiwarki.
Do najważniejszych czynności jakie wykonuje bot wyszukiwarek zalicza się:
Dzięki takim inspekcją wyszukiwarka zyskuje istotne z jej punktu widzenia informacje na temat witryn internetowych. Czyli np. co ma wyświetlić w wynikach wyszukiwania.
Nie do końca pod tą nazwą możemy także rozumieć narzędzia, które badają (sprawdzają) kod strony internetowej. Takie jak:
Narzędzia te skanują witrynę internetową, a następnie wyświetlają listę istotnych informacji jakie udało im się zebrać. Chodzi o informacje takie jak np. title, description, zawartość alt dla grafik.
Najpopularniejszym botem jest robot Google.
warto przeczytać: