Senin, 02 Januari 2012

Mengenal GoogleBot dan Sitemap

Googlebot adalah software yang digunakan untuk mencari bot dari Google, yaitu mengumpulkan dokumen-dokumen yang terdapat pada sebuah web dan tentunya, web tersebut sudah terindeks terlebih dahulu oleh Google Seacrh Engine. Googlebot yang dimiliki Google mempunyai 2 sistem kerja, yaitu:

1.   Freshbot
Freshbot akan meng-crawl website dan mencari fresh content. Freshbot akan mengunjungi website yang memiliki frekwensi berubahnya tinggi, serta tergantung pada seberapa cepat berubahnya frekwensi. Jika frekwensi content website Anda tinggi, Freshbot akan sering dating ke rumah Anda dan Googlebot hanya akan mengikuti HrefLink dan SRCLink.

2.   Deepbot
Deepbot akan mencoba untuk mengikuti setiap link dalam sebuah website dan men-download sebanyak mungkin halaman website Anda. Proses ini akan selesai sekitar sebulan sekali.

Memakai Sitemap Untuk membantu Pengindeksan Google
Sitemap adalah  sebuah cara yang sederhana bagi para webmaster untuk menginformasikan kepada Google tentang halaman-halaman pada situs mereka yang bisa di-crawl. Bnetuk paling sederhana Sitemap adalah berupa file XML yang berisi daftar URL sebuah situs, beserta masing-masing Metadata-nya.
Metadata, misalnya kapan terakhir di-udate, seberapa sering URL biasanya berubah, dan tingkat relative keutamaannya terhadap URL lainnya. Metadata ini akan membantu search engine sehingga akan lebih mudah membaca dan mengetahui crawl situs.

Web crawler biasanya akan menmukan halaman sebuah situs dari link-link di dalam situs itu sendiri atau dari situs yang lain. Sebuah Sitemap akan menyediakan data-data link itu dan mengijinkan crawler yang men-support Sitemap untuk menjelajah semua URL yang ada di dalamnya, lalu menganalisa masing-masing URL tersebut dengan menggunakan Metadata yang menyertainya. Namun, menggunakan protocol Sitemap tidak menjamin bahwa halaman-halaman web akan terindeks oleh search engine. www.terselubungcelanadalam.blogspot.com

… to be continued

0 komentar:

Posting Komentar