Een crawler, ook wel webcrawler of spider genoemd, is software die zoekmachines gebruiken om webpagina's op internet te bezoeken en te indexeren. De belangrijkste taak is websites bezoeken, de content lezen en informatie verzamelen. Daarmee bouwt de zoekmachine een index op die hij gebruikt om relevante zoekresultaten te tonen.
De crawler volgt links van de ene pagina naar de andere en verzamelt gegevens over de content, de structuur en andere belangrijke kenmerken van elke pagina. Met die gegevens begrijpen zoekmachines waar een webpagina over gaat, zodat ze hem op de juiste plek in de zoekresultaten zetten. Crawlers zorgen dat zoekmachines actuele informatie hebben en gebruikers juiste, relevante zoekresultaten krijgen.