Tugas M8 Web Crawlers
Fitrah Ramadhani 50420501 2IA20 Web Crawlers Pengertian web crawler–atau sering juga disebut spiders — adalah sebuah tool untuk mengindeks dan mengunduh konten dari internet, lalu disimpan ke dalam database mesin pencari. Sehingga saat ada orang yang mencari suatu informasi, mesin pencari akan langsung menampilkan hasil yang relevan dari database tersebut. Setiap mesin pencari yang ada di Internet memiliki web crawler-nya sendiri. Oleh karena itu, jika kita melakukan pencarian dengan keyword yang sama di mesin pencari lain akan menghasilkan hasil yang berbeda pula. Beberapa web crawler lain selain Googlebot adalah sebagai berikut: Bingbot dari Bing Slurp Bot dari Yahoo DuckDuckBot dari DuckDuckGO Baiduspider dari Baidu (mesin pencari dari China) Yandex Bot dari Yandex (mesin pencari dari Rusia) Sogou Spider dari Sogou (mesin pencari dari China) Exabot dari Exalead Alexa Crawler dari Amazon Fungsi Web Crawler Fungsi utama dari web crawler memang mengindeks konten di internet....