Pengenalan Custom Robots.txt Blogger dan Pengaruhnya terhadap SEO (1/2)
Sekitar lebih dari satu bulan yang lalu, Blogger memperkenalkan fitur search preferences, untuk mengatur berbagai setting optimasi SEO secara on page. Salah satu yang paling penting adalah pengaturan/kostumisasi robots.txt. Bukan berarti fitur lain dari search preferences tidak penting, namun semuanya sudah dicover dengan hack yang jauh-jauh hari sudah kita lakukan, yaitu dengan penggunaan meta tags, yang fungsinya sama dan sampai saat ini jauh lebih efektif.
Artikel ini terdiri dari dua bagian:
Artikel ini terdiri dari dua bagian:
- Pengenalan dan Fungsi Perintah Robots.txt, yang sedang sobat baca pada halaman ini, dan
- Case Study dan Penggunaan Robots.txt pada Blogger.
Introduction to Robots.txt Functions
Setelah hampir satu bulan mencoba, kini saatnya saya menyampaikan secuil presentasi mengenai fitur custom robots.txt Blogger ini.
Sebelumnya, jika masih ada dari sobat yang masih kurang familiar dengan robots.txt, akan saya berikan gambaran sedikit. Penggunaan robots.txt adalah untuk memberikan informasi pada robot crawler - baik milik search engine, aggregator, maupun robot-robot pengindeks yang lain - bahwa suatu website, direktori, atau file/halaman web tertentu TIDAK BOLEH diindeks. Sebagai contoh, sobat tidak ingin beberapa halaman blog (misal about, sitemap, label, dll) diindeks oleh search engine, maka sobat dapat menggunakan perintah \pada robots.txt agar beberapa halaman tersebut tidak diindeks. Maka sebenarnya penggunaan awal dari robots.txt adalah untuk melarang, DISALLOW, baru kemudian pada perkembangannya ada perintah mengijinkan, ALLOW.
Sebelum ada fitur robots.txt, kita menggunakan meta indeks untuk mengatur ini (noindex, nofollow). Namun setelah fitur custom robots.txt blogger diperkenalkan, kita dapat dengan mudah mengontrol pengindeks-an.
Robots.txt pada dasarnya berisi dua baris perintah, yang pertama adalah identitas user agent (crawler, robot perayap), dan kedua adalah perintah pelarangan.
user-agent: *
Disallow:
Perintah di atas diterjemahkan sebagai berikut: User Agent diisi dengan tanda bintang yang berarti mengacu kepada SEMUA crawler, baik milik search engine maupun yang lain, misalnya: feed agregator (bahkan robot autoblog!). Sedangkan Disallow tidak diisi/kosong berarti semua, baik root direktori, sub direktori, dan file, BOLEH diakses oleh crawler.
Jika ingin melarang crawler mengakses website, maka kita memberikan perintah dengan tanda / (slash), yang berarti robot crawler tidak boleh mengakses seluruh isi web/blog.
user-agent: *
Disallow: /
Namun jika ingin melarang indeks pada direktori atau halaman tertentu, kita tuliskan tanda / diikuti dengan nama direktorinya. Contoh misalnya sobat tidak ingin crawler mengindeks semua halaman statis maka penulisannya adalah:
user-agent: *
Disallow: /p (sesuai dengan nama direktori halaman statis Blogger)
Allow: /
Allow: / ditambahkan untuk mengizinkan crawler mengizinkan root directory, direktori lain, dan halaman lain diindeks. Arti dari perintah di atas adalah crawler boleh mengindeks semua kecuali halaman-halaman statis. Sebenarnya Allow: / tidak ditambahkan pun tidak masalah, namun untuk memastikan, Google kemudian memperkenalkan dan merekomendasikan perintah tersebut.
Jika ingin mengacu pada robot crawler milik SE tertentu yang tidak boleh mengindeks, sedangkan yang lain boleh, sobat harus menambahkan nama user-agentnya, pada baris lain. Contoh ini akan menggunakan Googlebot, milik Google.
user-agent: *
Disallow:
user-agent: GooglebotYup, tentunya sekarang sobat bisa dengan mudah mengartikan perintah robots.txt di atas.
Disallow: /p
Allow: /
Posting ini berlanjut ke bagian ke dua yaitu Case Study (Studi Kasus) Robots.txt dan Penggunaannya Pada Blogger. So, go on to part 2. :)
Pengenalan Custom Robots.txt Blogger dan Pengaruhnya terhadap SEO (1/2)
Written by: Ahmad Khoirul Azmi
Thanks for reading! Suka dengan artikel ini? Please link back artikel ini dengan codedi bawah atau share dengan sharing buttons di atas. Copy paste wajib dengan ijin saya, serta menggunakan link sumber seperti di bawah. Gunakan etika. Saya akan berlakukan DMCA COMPLAINT secara langsung tanpa pemberitahuan atas copas tanpa mengikuti ketentuan yg berlaku.
Written by: Ahmad Khoirul Azmi
Thanks for reading! Suka dengan artikel ini? Please link back artikel ini dengan codedi bawah atau share dengan sharing buttons di atas. Copy paste wajib dengan ijin saya, serta menggunakan link sumber seperti di bawah. Gunakan etika. Saya akan berlakukan DMCA COMPLAINT secara langsung tanpa pemberitahuan atas copas tanpa mengikuti ketentuan yg berlaku.
Terima kasih banyak sobat. Info Singkat-nya bermanfaat sekali.
Sebelumnya salam kenal ka :)
saya ingin bertanya kenapa setiap saya posting dan yang terindex di search engine adalah deskripsi blog bukan deskripsi artikel tersebut ?...agar yang terindex deskripsi artikelnya gimana tu ka ? :D
Terimakasih...
@Ramdani, Salam kenal juga.
Silahkan langsung simak solusinya disini:
mengatasi duplicate meta description
dapat info baru lagi nich, Terima kasih mas Ahmad Khoirul Azmi saya lanjut ke part 2 lagi, jangan lupa mampir di blog sederhana saya, semoga saja SPAM blog saya Tidak Sampai 1394 seperti punya mas..... :D :D
@Suwardi: Terima kasih. Hahaha, iya itu spamnya jumlahnya sampe keterlaluan. Terima kasih selalu berkunjung ke bukarahasia selama bertahun2, haha...
fitur Thread Comment-nya punya mas tidak bekerja yach ?? seiring waktu spam-nya juga bertambah terus secara tragis pedahal kemarin saya baru nulis di komentar atas sekarang sudah bisa di lihat jumlahnya naik drastis ,saran saya matikan otomatis saja mas fitur link aktifnya, sekalian saran mas perbaiki thu mas fitur Thread Comment-nya sebenrnya kalau ada buku tamu kritikan tidak saya tulis di sini mas, jadi maaf kalau tidak sesuai dengan artikel yang di bahas. heheeeeee
sipp
ok sob.. terima kasih ilmunya..
Mantap infonya.mudah2an ane bisa lebih paham tentang robots.txt
wah.. mas nya kuliah di solo yaa? saya orang Solo lhoh.. salam kenal.. isi artikelnya bagus-bagus..
@Zameda: Yup, tepatnya bukan kuliah, tapi menguliahi, hehe.. Salam kenal juga and terima kasih sudah berkunjung :)
wah nice info kawan, paham-paham membingungkan ini :)
trima kasih ginfonya,wlwpun ane masih bingung ^ ^
Mantaps gan, terima kasih ya...Fany
untuk cara pemasangan agar seo menigkat gmna ???
Bagus Banget Gan,. Semoga ini biSa bermanfaat buat semua pengguna blogger. terimakasih.. tingkatan terus ilmunya. hehe,..
kalau aku kurang beitu memperhatikan robots.txt ini
thanks, buat nambah wawasan sangat ok ni
Thanks gan, tips seonya sangat membantu kemajuan blog ane.
terus berkarya
mau dong min, blog-ku dicantumin di blogroll..
http://www.fatihatsariss.co.cc/
blogwalking..saya newbie..mkasih infonya
Mas mau tanya untuk Robots.txt ini jumlah baris tetapkan? maksudnya tidak boleh melebihi jumlah baris yang sudah di tentukan yakni 6 baris, dapat di lihat melalui webmaster tools. Soalnya pernah baca untuk wordpress bisa sampai beberapa baris yang SEO banget karena langsung pada target pas di coba di blogger malah dapat konfirmasi Robot.txt tidak sesuai format.
Kalo ingin menambah tapi tidak berdasarkan baris, format berikut betul tidak?
User-agent: *
Disallow: /search/ Googlebot
Allow: /
atau
User-agent: */ Googlebot
Disallow: /search
Allow: /
Sebenarnya jumlah baris masih bisa di update tidak mas kalo kita menggunakan custom Robot.txt ini? Atau hanya sebatas bisa di ubah saja tanpa menambah baris?
Terimaksih infonya
Baru tau nih fungsi robots.txt
Ssiipp...
sebenarnya gk beda jauh sama ep robot....
blognya bagus rapih :)
kalau saya lagi coba perbanyak blogwalking gan
kalo penerapan robot tex yang benar dan tepat itu bgm ya gan,,,
tolong di jelaskan cara pemakaian robot text yang tepat
Tengkiu Mas... rahasia yang selama ini saya cari akhirnya ketemu juga... izin sedot ilmunya Mas...
Kalo seing robotnya tdk benar malah berbahaya, bisa bisa malah di cuekin ama mesin pencari, yg tdk paham tentang seting robot mendingan ngga usah di aktifkan,pake meta tage saja yang manual
thanks boss,.. ini snagat bermanfaat sekali bagi saya jadi saya paham fungsi perintah2 untuk robot.txt.. sukses buat admin..
jadi binggung gan..
setiap blog beda beda sarannya buat Robot.txt ini
lebih baik mana, disetting seperti diatas atau dibiarkan disabled gan?....trima kasih sebelumnya..
Sehubungn dengan tentang SEO, saya punya masalah pada blog sya yg sementara saya cari solusinya kepada blogger2 yang saya anggap sudah berpengalamn dalam hal SEO Blog.
Sebelumnya minta maaf bukannya mau bertindak sebagai spammer pada postingan ini. Jika punya waktu luang untuk berkunjung ke blog saya di artikel ini :
http://agungtalaga.blogspot.com/2012/11/ada-apa-dengan-meta-tag-blog-saya.html
dan sya harap bisa membantu saya dalam memecahkan msalah yang saya dapatkan pada blog saya tsb. Makasih juga sebelumnya jika sdh mau berkunjung balik ke blog saya sob...
salam kenal kang..
trima kasih info nya,,,
coba saya terapin mas, semoga berhasil.
KEREN BOS !!!
Paham sekrang sya hehe thanks
numpang tanya dong gan kalau begini benar tidak :
User-agent: Googlebot
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*?*
Disallow: /*?
User-agent: ia_archiver
Disallow: /User-agent: duggmirror
Disallow: /User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /trackback/
Disallow: /feed/
Disallow: /tag/
Disallow: /author/
Disallow: /category/Sitemap: http://cctvdanservice.blogspot.com/sitemap.xml
Sitemap: http://cctvdanservice.blogspot.com/sitemap.xml.gz
@Alex:
Hey. Tidak perlu sepanjang itu dan bukan itu. Setting robots.txt yang anda tuliskan itu adalah untuk WordPress. Untuk blogger, defaultnya saja sudah cukup.
Bagian yang bisa anda pakai dari setting di atas adalah ini:
User-agent: Googlebot
ini(penulisan di atas salah):
User-agent: ia_archiver
Disallow: /
User-agent: duggmirror
Disallow: /
User-agent: *
dan ini:
http://cctvdanservice.blogspot.com/sitemap.xml
Sitemap blogger tidak ada dalam bentuk gzip (kompres).
Harap berhati2 melakukan setting robots.txt. Karena akibatnya bisa fatal, google bisa jadi terhalangi mengindeks halaman yang seharusnya diindeks. Dapat saran darimana setting di atas? Karena itu untuk wordpress.
Saran saya, tidak perlu melakukan setting robots.txt kecuali benar-benar penting. Semua setting default yang ditulis oleh Blogger dan Google sudah sangat tepat dan tidak perlu diubah lagi, sekali lagi, kecuali penting banget, misalnya anda ingin halaman archive, halaman mobile template, dll tidak diindeks Google.
ouh gitu gan... jadi cukup di default aja apa copy punya agan ? makasi gan sudah ngejelasin
Dibiarkan saja, kembalikan seperti semula. karena yang saya contohkan di atas sama dengan defaultnya :)
ok....gan.
mau tanya lagi boleh kan hahaha maklum gan newbie banget.
kalau saya ketik di google dengan pencarian cctv online kenapa tidak tampil ya gan mala sampai 1000 page kg nongol, tetapi kalau saya ketik dengan pencarian cctvdanservice baru ada di page utama.
menurut agan salah dimana ya.
dan kenpa di alexa juga no data.
trima kasih gan atas bimbingan nya.
Yang pertama anda ketikkan adalah keyword umum yang sering digunakan oleh banyak orang, sekaligus oleh banyak halaman web.
Yang kedua kata tanpa pemisahan, lebih identik ke nama website, dan juka nama website anda paling dekat, maka dengan mudah tampil di hal satu. Ini biasa, wajar.
Yang pertama lah esensi dari SEO, persaingan di search engine. Tentu website anda kalah telak karena belum mendapatkan upaya SEO. Jadi lakukan SEO mulai sekarang, dengan baik tentunya
http://buka-rahasia.blogspot.com/2011/04/cara-meningkatkan-seo-blogspot.html
Soal alexa, itu yang terjadi pada website yang biasanya masih baru, Alexa belum mendapatkan data yang memadai untuk menampilkan ranking. Sumber data utama adalah traffic, jika traffic masih sangat kecil, cuma satu dua tiga orang saja yang datang tiap harinya, maka data belum bisa dimunculkan.
uhmmm...ok tq ya boss penjelasan nya.
Terima Kasih info diatas, tapi saya mau bertanya.
Blog saya bermasalah dengan index google, jadi waktu itu saya kan ganti template, terus update artikel. Dan setelah 2 hari tidak bisa terindex, saya ingat-ingat ternyata waktu itu saya pernah menggunakan " robots.txt " ini, kasus ini sama dengan kasus bang @Alex yang ada diatas tadi. Kodenya sama percis....
Kira-kira gimana cara supaya blog saya menjadi terindex lagi ? Apakah penggunaan robots.txt ini penting ? Saya tidak ingin memakai robots.txt ini karena di blog saya tidak ada yang terlalu penting.
Mohon penjelasannya, bantuannya, dan pencerahannya :D
Terima Kasih
Jawaban saya tunggu ya !
Email : lathif.nurdiansyah@gmail.com
Website (BLOG) : Mas Atip Blog *maaf karena kalau saya menaruh link sama saja melanggar peraturan di Buka Rahasia Blog ini.
*Thanks
Hai, Matikan saja fungsin robots.txt dan otomatis settingnya akan kembali ke default, atur ke don't set. Berhati-hati bermain dengan robots.txt, karena setting ini pada setiap platform web/blog berbeda tergantung kebutuhan.
waduh...master numpang tanya lagi ya...
saya punya website tidak sengaja kehapus di webmaster google. dan akhir nya sampai sekarang website saya tidak ada di search google...dan saya coba add url ulang sampai sekarang pun belum nampil di search
dan pesan dari google :
A verified user has blocked or unblocked sitelinks for this site: http://www.teknicmax.pusku.com/.
The links shown below some sites in our search results, called sitelinks, are meant to help users navigate your site. Our systems analyze the link structure of your site to find shortcuts that will save users time and allow them to quickly find the information they're looking for. The process of creating Sitelinks is completely automated, but if you think that the sitelinks displayed for your site are inappropriate or incorrect, you can block them so that they no longer appear.
mohon master solusi nya... thanks
mantab abis.....
Informasi yang anda lampirkan di atas berhubungan dengan sitelinks dan tidak berhubungan langsung dengan indeks. Jadi sebenarnya tidak ada kaitannya. Jangan gunakan add url, tapi langsung tambahkan melalui Google Webmaster Tools, dengan akun Google yang sama seperti dulu mendaftarkan.
iya sudah master..saya sudah masukan kembali tetapi tidak muncul" apakah dari template bermasalah ?
tapi seingat saya, waktu itu saya coba" menghapus url permanent dari webmaster indeks dan cookie juga saya hapus dari webmaster.
Itu juga tidak ada kaitan dengan template. apakah anda juga sudah melakukan verifikasi dengan menggunakan meta tag setelah mendaftarkan web tsb?
saya belum berani otak-atik settingan robot.txt, takut salah
sama dgn bro rudy bond takut salah, main natural aja ahh,,, sy pribadi milih non aktifkan robots.txt agar semua isi perut blog kita di crawl, biar lambat tp selamat, hehehehe,,,,
haduuh bingung saya om...
:-(
beberapa waktu yang lalu saya memasang robot.txt di salah satu blog ane. tp apesnya jumlah visitor koq malah semakin berkurang. bingung ane salahnya dimana? :(
Berarti ada kesalahan. Matikan robots.txt manual setting, nanti setting robots.txt otomatis akan kembali seperti default-nya.
Boss ini aku chek di sitemap sampean pake robot txt cheker ternyata ada yang salah...Jadi yang bener yang mana ?
Analyzing file http://buka-rahasia.blogspot.com/robots.txt
This robots.txt file has some errors. They are marked in pink color.
You can find some warnings at the bottom of the analysis
yang saya pake adalah robots.txt dari setting blogger langsung, tidak saya edit sama sekali, jadi itu yang sudah direkomendasikan. Kalopun dianggap ada masalah, yang jelas Google telah membacanya dengan baik.
master apakan ini udah bener
User-agent: Mediapartners-Google
Disallow:
User-agent: Googlebot
Disallow: /search
Disallow: /?m=1
Disallow: /?m=0
Disallow: /*?m=1
Disallow: /*?m=0
Disallow: /search?updated-min=
Disallow: /search?updated-max=
Disallow: /search/label*?updated-min=
Disallow: /search/label*?updated-max=
Allow: /
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://www.fajar-pakong.com/feeds/posts/default?orderby=UPDATED
belum mudeng ane masalah robot.txt
makasih infonya...sangat bermanfaat. ^_^
salam skali2 mampir gan. tuntutilmu69.blogspot.com
masih newbie..^_^ sapa tau d saran2nya
Keren euy tips nya, detail dan penjelasannya tidak bertele-tele, mantab, tengkiu
kenapa yas etiap saya terapkan metode ini, selalu keluar pesan di webmaster toll, situs anda dalam keadaaan parah katanya
kasih saya isi robots.txt yang dibaca Google ya. Dicopy aja trus di paste di komentar.
Post a Comment