Hai sobat Ekka,kali ini saya ingin memberi informasi tentang apa itu Goolebot...baca yachhhhhh
Googlebot adalah web crawling Google bot (kadang-kadang juga disebut "spider"). Crawling adalah proses dimana Googlebot menemukan halaman baru dan diperbarui yang akan ditambahkan ke indeks Google.
Kami menggunakan seperangkat komputer besar untuk mengambil (atau "crawl") miliaran halaman di web. Googlebot menggunakan proses algoritmik: program komputer menentukan situs mana yang merangkak, seberapa sering, dan berapa banyak halaman untuk mengambil dari setiap situs.
proses merangkak's Googlebot dimulai dengan sebuah daftar URL halaman web, yang dihasilkan dari proses merangkak sebelumnya dan ditambah dengan Sitemap data yang diberikan oleh webmaster. Sebagai Googlebot setiap kunjungan website ini mendeteksi link (SRC dan HREF) pada setiap halaman dan menambahkannya ke daftar halaman merangkak. Situs baru, perubahan ke situs yang ada, dan link mati dicatat dan digunakan untuk mengupdate indeks Google.
Untuk webmaster: Googlebot dan situs Anda
Bagaimana Googlebot mengakses situs Anda
Untuk sebagian besar situs, Googlebot tidak boleh mengakses situs Anda lebih dari sekali setiap beberapa detik rata-rata. Namun, karena keterlambatan jaringan, mungkin bahwa angka tersebut akan tampak sedikit lebih tinggi selama periode singkat. Secara umum, Googlebot hanya harus mendownload satu salinan dari setiap halaman pada suatu waktu. Jika Anda melihat bahwa Googlebot men-download beberapa kali halaman, itu mungkin karena crawler dihentikan dan dimulai kembali.Googlebot didesain untuk didistribusikan pada beberapa mesin untuk meningkatkan kinerja dan skala karena pertumbuhan web. Juga, untuk mengurangi penggunaan bandwidth, kita menjalankan banyak crawler mesin terletak dekat situs mereka pengindeksan dalam jaringan. Oleh karena itu, Anda log mungkin menunjukkan kunjungan dari beberapa mesin di google.com, semua dengan agen-pengguna Googlebot. Tujuan kami adalah untuk merangkak sebagai banyak halaman dari situs Anda seperti yang kita dapat pada setiap kunjungan tanpa berlebihan's server bandwidth anda.Meminta perubahan dalam tingkat merangkak.
Googlebot memblokir konten di situs Anda
Hampir mustahil untuk menjaga rahasia web server dengan tidak menerbitkan terhubung dengan halaman tersebut. Segera setelah seseorang mengikuti sebuah link dari "rahasia" server anda ke web server lain, "rahasia" Anda URL mungkin muncul dalam tag pengarah dan dapat disimpan dan diterbitkan oleh server web lainnya dalam log referrer nya. Demikian pula, web memiliki link usang dan patah banyak. Setiap kali seseorang menerbitkan link yang salah ke situs Anda atau gagal untuk memperbarui link untuk mencerminkan perubahan dalam server Anda, Googlebot akan berusaha untuk mendownload suatu link yang tidak benar dari situs Anda.Jika Anda ingin mencegah Googlebot merayapi konten di situs Anda, Anda memiliki sejumlah pilihan , termasuk menggunakan robots.txt untuk memblokir akses ke file dan direktori pada server Anda.
Setelah Anda membuat file robots.txt Anda, mungkin ada penundaan kecil sebelum Googlebot menemukan perubahan Anda. Jika Googlebot masih merangkak konten yang telah diblokir dalam robots.txt, periksa bahwa robots.txt ini di lokasi yang benar. Harus berada di direktori atas server (misalnya, www.myhost.com / robots.txt); menempatkan file dalam subdirektori tidak akan memiliki efek apapun.
Jika Anda hanya ingin mencegah pesan kesalahan "File tidak ditemukan" di log server web Anda, Anda dapat membuat file kosong bernama robots.txt. Jika Anda ingin mencegah Googlebot dari berikut link pada halaman situs Anda, Anda dapat menggunakan meta tag nofollow . Untuk mencegah Googlebot mengikuti link individu, menambahkan
rel="nofollow" atribut ke link itu sendiri.Berikut adalah beberapa tips tambahan:
- Uji yang robots.txt Anda bekerja seperti yang diharapkan. The robots.txt alat Uji di Webmaster Tools memungkinkan Anda melihat dengan tepat bagaimana Googlebot akan menafsirkan isi dari file robots.txt Anda. Agen Google-user (tepat cukup)
Googlebot. - Ini sebagai alat Googlebot Ambil di Webmaster Tools membantu Anda memahami bagaimana situs Anda tampaknya Googlebot. Ini dapat sangat berguna ketika pemecahan masalah dengan konten situs Anda atau discoverability dalam hasil pencarian.
Pastikan situs Anda crawlable
Googlebot menemukan situs dengan mengikuti link dari halaman ke halaman. The Crawl kesalahan halaman di Webmaster Tools daftar masalah Googlebot ditemukan saat menjelajahi situs Anda. Kami menyarankan meninjau kesalahan ini merangkak secara teratur untuk mengidentifikasi masalah dengan situs Anda.Jika Anda menjalankan aplikasi AJAX dengan konten yang ingin Anda muncul di hasil pencarian, kami menyarankan meninjau proposal kami untuk membuat konten berbasis AJAX crawlable dan diindeks .
Jika file robots.txt Anda bekerja seperti yang diharapkan, namun situs Anda tidak mendapatkan lalu lintas, berikut adalah beberapa kemungkinan alasan mengapa konten Anda tidak berkinerja baik dalam pencarian .
Masalah dengan spammer dan lain-agen pengguna
Alamat IP yang digunakan oleh Googlebot perubahan dari waktu ke waktu. Cara terbaik untuk mengidentifikasi akses oleh Googlebot adalah menggunakan agen-pengguna (Googlebot). Anda dapat memverifikasi bahwa bot mengakses server Anda benar-benar Googlebot dengan menggunakan reverse DNS lookup.Googlebot dan semua mesin pencari bot terhormat akan menghormati petunjuk dalam robots.txt, tetapi beberapa nogoodniks dan spammer tidak.spam Laporan kepada Google.
Google telah beberapa pengguna lain-agen, termasuk (agen-pengguna Feedfetcher-Google) Feedfetcher. Sejak Feedfetcher permintaan datang dari tindakan nyata oleh pengguna manusia yang telah menambahkan feed untuk mereka home page Google atau Google Reader , dan bukan dari crawler otomatis, Feedfetcher tidak mengikuti pedoman robots.txt. Anda dapat mencegah Feedfetcher mengindeks situs anda dengan mengkonfigurasi server anda untuk melayani, 404 410, atau pesan kesalahan status lainnya untuk agen-pengguna Feedfetcher-Google. Informasi lebih lanjut tentang Feedfetcher.
Gimana sobat Ekka,,mudeng apa mubeng,,,hehehe
Kritik/saran sangat saya butuhkan,,trimzzz
Hay sobat,gimana bacaan artikel diatas,menarik bukan.Tapi inget jangan hanya kopas ya sobb.kasih komentar juga atau isi buku tamunya biar tambah ramai,,makasih sobat
GET UPDATE VIA EMAIL
Dapatkan kiriman artikel yang terbaru
Dari Kami langsung ke email anda!
Dari Kami langsung ke email anda!
0 komentar:
Posting Komentar
Hai sobat Ekka,kasih komentar kalau tidak mudeng ok . .