Crawlingadalah Cara Googlebot menemukan halaman yang diperbaharui dan akan menambahkannya ke indeks Google. Proses penjelajahan dimulai dengan sebuah daftar URL halaman web, yang dihasilkan dari proses berdasarkan perayapan sebelumnya ( indeks ), dan ditambah dengan Sitemap data yang diberikan oleh webmaster. Googlebot akan melihat isi website tersebut, mendeteksi link pada setiap halaman dan menambahkannya ke dalam daftar perayapan halaman ( indeks ) . Situs baru, dan perubahan pada situs yang ada, dan link mati dicatat dan digunakan untuk memperbarui indeks Google.
Catatan: Untuk mengetahui LINK mati atau rusak sangatlah sulit. Pemecahannya adalah buang artikel lama Anda ( yang menurut Anda lama atau sudah kadaluarsa informasinya ) karena tidak menutup kemungkinan terdapatnya link mati atau rusak. Umumnya bagi BLOG penyedia download software atau banyak menggunakan eksternal link.
Cara mengatasi crawl error menggunakan webmaster tool, salah satu cara optimasi blog adalah dengan cara menghapus kesalahan perayapan yang terjadi saat Google melakukan crawling terhadap blog Anda. Semua berjuan agar proses crawling Blog Anda menjadi lancar, Setiap kesalahan perayapan (crawl error) akan menghambat dan mengganggu search engine dalam proses meng-crawl dan mengindeks blog Anda.
Penyebab paling umum crawl erroradalah menghapus artikel yang sudah dipublish dan telah terindeks oleh google. Ketika seseorang mengklik link ( yang sudah anda hapus ) maka Mesin Pencari Google akan mengindeks link error dan akan muncul halaman yang bertulisan Crawl Error 404 Not Found, artinya URL yang diminta tidak ditemukan.
Jika crawl error terjadi pada kotak komentarpenyebabnya ketika ada pengunjung yang meninggalkan link artikelnya di blog Anda dan artikel tersebut dihapus oleh pemiliknya maka muncul peringatan Url Not Found (tidak ditemukan).
BACA JUGA >> Cara Mengoptimalkan SEO di tahun 2016
MENGATASI CRAWL ERROR PADA BLOG
► 1. Login ke halaman Dashboard Google Webmaster Tools.
► 2. Pilih blog yang ingin anda periksa
► 3. Kemudian pada sidebar sebelah kiri, klik KESEHATAN ► KESALAHAN PERAYAPAN
► 4. Centang semua crawl error
► 5. Klik Tandai sebagai yang Telah diperbaiki
► 6. Kemudian Klik Ok
Akan ada pesan : Kesalahan ini tidak akan dicantumkan lagi (tetapi mungkin akan muncul kembali jika masalah tidak diatasi)
Jadi jika pada kesempatan berikutnya anda mengecek lagi tapi masih tersisa beberapa crawl error yang tidak bisa diperbaiki. Maka lakukan langkah 1 (satu) sampai 3 (tiga) diatas, sehingga langkah yang ke
► 4. Klik Not Found.
► 5. Anda akan dibawa ke halaman Crawl Errors. Di halaman ini akan ditunjukkan URL yang Not Found. Kemudian Anda Copy URL tersebut.
► 6. Kemudian masuk ke Pengoptimalan ► Hapus URL► Kemudian klik Buat Permintaan Penghapusan Baru
► 7. Lalu Paste URL Not found yang dicopy tadi, Kemudian klik Terus ( Continue )
► 8. Lalu akan ada 3 pilihan dalam menghapus URL
► URL akan dihapus dari hasil pencarian Google dan cache
► URL akan dihapus dari cache saja
► URL akan dihapus dari direktori Google
► 9. Kemudian Klik untuk Kirim Permintaan
Error 404 100% disebabkan oleh link rusak atau broken link
BACA JUGA >> Cara Cepat Mencari dan Menghapus Link Rusak ( Broken Link ) Di Blog
BACA JUGA >> Cara Cepat Mencari dan Menghapus Link Rusak ( Broken Link ) Di Blog