Robotnya Aja Gak Ngelarang Masuk
Entah kenapa, Google Webmaster Tools tiba-tiba menorehkan peringatan bahwa crawler mereka tidak lagi dapat mengunjungi blog ini gara-gara dilarang masuk oleh si robot penjaga alias robots.txt. Setelah saya lakukan pengecekan, sama sekali tidak ada perubahan dari file tersebut, baik dari isi maupun tanggal terakhir modifkasi. Crawler tetap boleh masuk. Bahkan lebih tepatnya, semua crawler mesin pencari boleh masuk. Nah, kalau robotnya aja gak ngelarang masuk, terus siapa yang ngelarang yah? Apa mungkin robot tetangga sebelah bisa tukeran shift ama robot di blog ini?
Akibat dari kebodohan kesalahan Webmaster Tools ini, index untuk blog ini menurun drastis. Bahkan nyaris habis. Hanya tersisa 65 halaman pada saat artikel ini ditulis.
Efek dominonya, pengunjung yang datang dari Google juga turun terpangkas. Tinggal puluhan atau sedikit ratus saja dari yang sebelumnya sepuluh trilyun karung pengunjung per hari.
Berhubung Supplemental Result sudah tidak lagi terlalu berpengaruh pada SEO, dan alasan utama saya menggunakan robots.txt adalah agar terhindar dari Supplemental Result, maka akhirnya saya memutuskan untuk menghapus dulu file tersebut untuk sementara waktu. Sebelumnya sempat ada kebimbangan, apakah sitemap atau robots.txt yang sebenarnya bermasalah, karena tidak sedikit yang menyebabkan bahwa sitemap kerap menimbulkan masalah dalam peng-index-an sebuah situs. Namun karena pesan yang tercantum di Webmaster Tools adalah mengenai robots.txt, akhirnya pilihan itu yang saya ambil. Semoga tidak salah.
Untuk melihat hasilnya, seperti biasa dibutuhkan waktu setidaknya 1-2 minggu ke depan. Yah, daripada bete, konsen ke redesign dulu aja deh 
Update: 1.5 hari setelah robots.txt dihapus, Webmaster Tools melaporkan bahwa crawler sudah boleh masuk. Sekarang tinggal menunggu full crawl mereka yang berikutnya. Semoga bisa mengembalikan index blog ini yang kini hanya tersisa 52 biji.
PS:
(1) Gambar diambil dari http://farm3.static.flickr.com/2227/1557379926_e54aacdbee_b.jpg
(2) Turut berduka cita atas gugurnya 20 blog milik Bocah.
PPS: CAN membuka lowongan gelombang kedua untuk posisi content writer (fulltime). Baca detilnya di sini.
Anda dapat meletakkan link Anda di sini. Mau tahu caranya?
nebeng ah
nebeng juga
Telat maning telat maning son, kpeiben kiye?
wis nebeng wae lahh
wah ganti tampang neh mas cosa…..
keduaaxxxx
nebeng….
iya om….
buat apa merhatiin SEO, blognya kan udah dapet pengunjung tetap..
redesign no. 1
kok seminggu ini dari rekan2 sejawat dengernya bad news terus sih..atau yg good news nya ga dipublikasi ya..ehm moga2 aja gitu
soalnya kalo good news-nya dipublikasikan ntar pada minta traktir
ooo jadi gitu ya sekarang… good newsnya disimpen sndiri… awas ya!!!
Hemm.. perang robot kali… seperti di film Transformers itu loh
top markotop bos designnya (oot), bisa buatin aku juga ndak?.
hihihih ….ayuk:
tp itu bukan saya loh
:
wah yang ini materinya agak berat bagi saya …tapi gak apa, yang penting bisa nambah ilmu walau kurang paham.
berat gimana maksudnya?
waw…harus langsung cek google webmaster juga nih…
kayak tukul aja pake bilang puluhan triliyun karung
sebelax..
ada hubungannya sama designnya nggak ya?
gak. Kalo liat dari tgl yg di-screenshot, last access tgl 20, berarti robots.txt yg bikin error dibaca sekitar tgl 20-an jg.
Padahal robotnya Mbah Google ini rajin sekali lho… Saking rajinnya kadang2 dalam waktu sejam setelah publish post udah keindeks, padahal gak pernah di-ping lho
wah ko masalah qt sma ya om? Web Q setelah ganti baju eh malah ga keindex2 ma tuh robot! Robot yahoo + google lagi jalan breng jd mereka males berkunjung he2! Salam super
Robot bukan manusiaaaa…
kecuali robot gedek 
Robot gedek mah medeni (menakutkan, red)…
hooo trilyunan karung mas pengunjungnya ckckckck..emang beda kl seleb beneran, ampe si crawler ngantri buat masuk ke blognya om cosa..
weleh…weleh….weleh….
makin pushing..
kalau mbah dukun boleh masuk ga’? hehehe
walah blognya mas cosa yg karungan aja digituin
apalgi blog punya sayaaa yg cuma amplopan angpaw
musti segera meluncur ke webmaster tools ama digitalpoint nih
tengkyuh infonya mass
brem.. brem… bremm… eng ing eng
Kalo di blogspot, robotnya gimana ? Boleh masuk ato tidak .. ?
Mohon pencerahannya mbah….
ya
Ikut berduka cita ,mas cosa.any way untuk desain kali ini lebih mudah navigasinya.dan terkesan lebih moderen dengan tonjolan simetrisnya, serta lebih clean.
say ada pertanayaan mas kalo diijinkan, redain pada sebuah blog juga situs secara radikal apa berpengaruh pada search enggine? dan kalao bertahap seperti cosaaranda.com ini(redesain secara bagian perbagian/ serta navigasi tempatnya tidak berubah banyak) apa lebih menguntungkan? mohon pencerahan…. semoga redesain kali ini menambah nuansa baru. citarasa dan keindahan baru dalam blogosphere.
Terus terang saya menyukai daftar postingan di klom sebelah kanan dalam single page dan index blog ini. intinya navigasinya cool abiz. salam
Syaifudin zuhri
aku jawab di postingan yg baru
oh ya lupa avatarku kok gak muncul terus cuamn tulisan, kanapa ya
coba ganti avatar aja
belom syukuran kali, makanya ndak keluar
Hemmm, off-page SEO, on-page SEO …. Kalau nggak salah SEOMoz malah menyarankan kita nggak perlu submit Sitemap ke Google dan Yahoo. Gimana menurut Mas Cosa?
kalo aku sih tetep submit sitemap aja
Kedua puluh duaxxx…yatta!
Google robot ama autobot kuat yg mana ya?
ya jelas kuat Google robot lah, liat aja tiap hari dia jalan2 ke triliyunan situs ae.. kalo autobot mah cepet capeknya, pa lagi kalo bensinnya habis…
Kok bisa ya. … … …
lha.. ganti design….
baru tau aku…
Memang mending redisgn dulu bung cosa..daripada mikirin robot…syukur-syukur bisa bikin robot yang kayak tranformer …anak saya suka robot itu…
ilmunya lom sampe sana
skrg baru tahap nonton filmnya dulu aja, hehehe
Penyebab dilarang masuk ma robot kenapa ya?aku pernah ngalamin juga trus gmn cara mengatasinya? sorry newbie
kalo normal, di dalam robots.txt ada baris kode yg ngelarang crawler untuk masuk
kalo gak normal, ya emang crawlernya Google yg lagi bego :)
untuk ngatasinnya bisa dengan cara pamungkas, hapus robots.txt. Kalo file ini gak ada, otomatis crawler akan langsung masuk (asal ada backlink dari situs lain ato udah terindex sebelumnya)
Ternyata, google juga manusia…..
Thx infonya.
aku sih masih takut redesign web ku, malah nanti jadi amburadul. Ibarat bongkar radio tapi gak bisa masang lagi.
dikit2 aja modifnya mas, kyk yg aku lakuin skrg ini. Jgn lupa dibackup dulu themenya, biar ntar kalo ada apa2 gak usah beli radio baru
Meski index google nol tetep rame kok mas.Gak masalah kan?
om bagi templatenya dong !
buat bocah yang sabar yah sekarang udah saatnya bayumukti yang keluar dari sarang
nyoba komen !!! dari kemaren gak masuk ;))
sering tuh om saya ngalamin kaya gini….
mas cosa,robot.txt saya niru dari punya mas cosa nih,jangan2 error juga yah?
weks,error terus di tempatku komennya..help2
Mas Cosa, sorry nyela di luar topik, temanku mau daftar situs ini ke e-mail dia tapi pakai google mail kok ga bisa ya?akhirnya bikin e-mail di yahoo tq
google merekomendasikan utk tidak pasang file robots.txt bila memang tidak ada yg perlu diblok dari situs ybs. bahkan robots.txt yang berukuran 0 KB alias kosong sekalipun.
Mas Cosa, gimana caranya menghapus file robot.txt? Atau tidak memasang robot.txt? Saya mengalami kasus serupa. Ada 20-an pages tidak ter-index karena Google menengarai ada bloking dari robot.txt. Padahal, perasaan saya nggak pernah buat file robot.txt. Tahu juga barusan. Hehehe. Apa default bawaan Blogger/Blogspot ya? Mohon pencerahannya Mas, untuk menghapus robot.txt caranya bagaimana. Thanks a bunch!