Computer Science Holic

Spider bot (Crawl), sebuah mesin yang bekerja secara otomatis tanpa henti untuk mengindeks konten halaman web. Konten halaman web diindekskan untuk membuat lokalisasi basis data pencarian seluruh web di internet. Dengan melakukan indexing, maka pencarian data menjadi lebih cepat. Contoh pengaplikasiannya adalah pada mesin pencari sejenis Google, Bing dan Yahoo. Sistem yang dibutuhkan untuk membangun mesin ini tentunya jaringan yang stabil, sumber energi listrik yang stabil, spesifikasi mesin komputer yang tinggi dan dukungan media penyimpanan yang besar.

Sistem ini lebih dikenal sebagai robot di dunia web. Dari server Apache sendiri telah ada aktivitas untuk menangani robot yang mengakses suatu situs. Anda dapat mengendalikan aktivitas setiap robot yang mengakses situs anda dengan menuliskan skrip di dalam berkas yang bernama "robots.txt" yang diletakkan di root web anda. Silahkan baca informasi mengenai robot web di RobotTxt.Org.

1. Skrip robot.txt http://www.robotstxt.org/robotstxt.html
2. Meta tag robot http://www.robotstxt.org/meta.html
3. Daftar robot yang ter-list http://www.robotstxt.org/db.html

Di dunia internet, ada banyak sekali robot yang bertebaran, terutama robot mesin pencari. Robot mesin pencari mempunyai tugas yang positif. Ada juga robot yang dibuat untuk tujuan negatif, yaitu menyebarkan spam pada kolom komentar situs.

Tiap beberapa waktu robot akan mengakses kembali situs anda untuk mengupdate informasi mereka. Aktivitas robot mesin pencari dapat anda monitoring pada CPanel anda dengan menggunakan fitur standar bernama Awstats. Gambar di bawah ini menunjukkan contoh tampilan monitoring aktivitas robot yang mengunjungi suatu situs.