Pengenalan Custom Robots.txt Blogger dan Pengaruhnya terhadap SEO (1/2)

blogger robots.txt
Bagi sobat yang sudah terbiasa dengan WordPress (org/self hosted) tentunya sudah sangat akrab dengan Robots.txt. Dengan robots.txt kita dapat melakukan berbagai macam kostumisasi perintah untuk mengizinkan/tidak mengizinkan robot crawler search engine melakukan crawl terhadap direktori atau halaman tertentu. Robots.txt WordPress sebenarnya adalah virtual dan bukan file fisik sebenarnya, sehingga kostumisasi jadi lebih mudah. Tentunya ini menjadi keuntungan tersendiri buat SEO. Dan kini, Blogger telah memiliki fitur yang sama.

Sekitar lebih dari satu bulan yang lalu, Blogger memperkenalkan fitur search preferences, untuk mengatur berbagai setting optimasi SEO secara on page. Salah satu yang paling penting adalah pengaturan/kostumisasi robots.txt.   Bukan berarti fitur lain dari search preferences tidak penting, namun semuanya sudah dicover dengan hack yang jauh-jauh hari sudah kita lakukan, yaitu dengan penggunaan meta tags, yang fungsinya sama dan sampai saat ini jauh lebih efektif.

Artikel ini terdiri dari dua bagian:
  1. Pengenalan dan Fungsi Perintah Robots.txt, yang sedang sobat baca pada halaman ini, dan
  2. Case Study dan Penggunaan Robots.txt pada Blogger.

Introduction to Robots.txt Functions

Setelah hampir satu bulan mencoba, kini saatnya saya menyampaikan secuil presentasi mengenai fitur custom robots.txt Blogger ini.

Sebelumnya, jika masih ada dari sobat yang masih kurang familiar dengan robots.txt, akan saya berikan gambaran sedikit. Penggunaan robots.txt adalah untuk memberikan informasi pada robot crawler - baik milik search engine, aggregator, maupun robot-robot pengindeks yang lain - bahwa suatu website, direktori, atau file/halaman web tertentu TIDAK BOLEH diindeks. Sebagai contoh, sobat tidak ingin beberapa halaman blog (misal about, sitemap, label, dll) diindeks oleh search engine, maka sobat dapat menggunakan perintah \pada robots.txt agar beberapa halaman tersebut tidak diindeks. Maka sebenarnya penggunaan awal dari robots.txt adalah untuk melarang, DISALLOW, baru kemudian pada perkembangannya ada perintah mengijinkan, ALLOW.

Sebelum ada fitur robots.txt, kita menggunakan meta indeks untuk mengatur ini (noindex, nofollow). Namun setelah fitur custom robots.txt blogger diperkenalkan, kita dapat dengan mudah mengontrol pengindeks-an.

Robots.txt pada dasarnya berisi dua baris perintah, yang pertama adalah identitas user agent (crawler, robot perayap), dan kedua adalah perintah pelarangan. 
user-agent: *
Disallow:
Perintah di atas diterjemahkan sebagai berikut: User Agent diisi dengan tanda bintang yang berarti mengacu kepada SEMUA crawler, baik milik search engine maupun yang lain, misalnya: feed agregator (bahkan robot autoblog!). Sedangkan Disallow tidak diisi/kosong berarti semua, baik root direktori, sub direktori, dan file, BOLEH diakses oleh crawler.

Jika ingin melarang crawler mengakses website, maka kita memberikan perintah dengan tanda / (slash), yang berarti robot crawler tidak boleh mengakses seluruh isi web/blog.
user-agent: *
Disallow: /
Namun jika ingin melarang indeks pada direktori atau halaman tertentu, kita tuliskan tanda / diikuti dengan nama direktorinya. Contoh misalnya sobat tidak ingin crawler mengindeks semua halaman statis maka penulisannya adalah:
user-agent: *
Disallow: /p  (sesuai dengan nama direktori halaman statis Blogger)
Allow: /
Allow: / ditambahkan untuk mengizinkan crawler mengizinkan root directory, direktori lain, dan halaman lain diindeks. Arti dari perintah di atas adalah crawler boleh mengindeks semua kecuali halaman-halaman statis. Sebenarnya Allow: / tidak ditambahkan pun tidak masalah, namun untuk memastikan, Google kemudian memperkenalkan dan merekomendasikan perintah tersebut.

Jika ingin mengacu pada robot crawler milik SE tertentu yang tidak boleh mengindeks, sedangkan yang lain boleh, sobat harus menambahkan nama user-agentnya, pada baris lain. Contoh ini akan menggunakan Googlebot, milik Google.
user-agent: *
Disallow: 
user-agent: Googlebot
Disallow: /p
Allow: /
Yup, tentunya sekarang sobat bisa dengan mudah mengartikan perintah robots.txt di atas.

Posting ini berlanjut ke bagian ke dua yaitu Case Study (Studi Kasus) Robots.txt dan Penggunaannya Pada Blogger. So, go on to part 2. :)

Pengenalan Custom Robots.txt Blogger dan Pengaruhnya terhadap SEO (1/2)
Written by: Ahmad Khoirul Azmi
Thanks for reading! Suka dengan artikel ini? Please link back artikel ini dengan codedi bawah atau share dengan sharing buttons di atas. Copy paste wajib dengan ijin saya, serta menggunakan link sumber seperti di bawah. Gunakan etika. Saya akan berlakukan DMCA COMPLAINT secara langsung tanpa pemberitahuan atas copas tanpa mengikuti ketentuan yg berlaku.

add a comment 64 Comment(s):

File Professional said...

Terima kasih banyak sobat. Info Singkat-nya bermanfaat sekali.

Ramdani said...

Sebelumnya salam kenal ka :)

saya ingin bertanya kenapa setiap saya posting dan yang terindex di search engine adalah deskripsi blog bukan deskripsi artikel tersebut ?...agar yang terindex deskripsi artikelnya gimana tu ka ? :D

Terimakasih...

Ahmad Khoirul Azmi said...

@Ramdani, Salam kenal juga.
Silahkan langsung simak solusinya disini:
mengatasi duplicate meta description

Suwardi Unggit said...

dapat info baru lagi nich, Terima kasih mas Ahmad Khoirul Azmi saya lanjut ke part 2 lagi, jangan lupa mampir di blog sederhana saya, semoga saja SPAM blog saya Tidak Sampai 1394 seperti punya mas..... :D :D

Ahmad Khoirul Azmi said...

@Suwardi: Terima kasih. Hahaha, iya itu spamnya jumlahnya sampe keterlaluan. Terima kasih selalu berkunjung ke bukarahasia selama bertahun2, haha...

Suwardi Unggit said...

fitur Thread Comment-nya punya mas tidak bekerja yach ?? seiring waktu spam-nya juga bertambah terus secara tragis pedahal kemarin saya baru nulis di komentar atas sekarang sudah bisa di lihat jumlahnya naik drastis ,saran saya matikan otomatis saja mas fitur link aktifnya, sekalian saran mas perbaiki thu mas fitur Thread Comment-nya sebenrnya kalau ada buku tamu kritikan tidak saya tulis di sini mas, jadi maaf kalau tidak sesuai dengan artikel yang di bahas. heheeeeee

Afrix Kancil said...

sipp

Denddy Gustiana said...

ok sob.. terima kasih ilmunya..

asriyatno said...

Mantap infonya.mudah2an ane bisa lebih paham tentang robots.txt

Zameda Igga said...

wah.. mas nya kuliah di solo yaa? saya orang Solo lhoh.. salam kenal.. isi artikelnya bagus-bagus..

Ahmad Khoirul Azmi said...

@Zameda: Yup, tepatnya bukan kuliah, tapi menguliahi, hehe.. Salam kenal juga and terima kasih sudah berkunjung :)

banyaknama.blogspot.com said...

wah nice info kawan, paham-paham membingungkan ini :)

tipstrick said...

trima kasih ginfonya,wlwpun ane masih bingung ^ ^

filter air said...

Mantaps gan, terima kasih ya...Fany

Alfiandoang said...

untuk cara pemasangan agar seo menigkat gmna ???

huanyushop said...

Bagus Banget Gan,. Semoga ini biSa bermanfaat buat semua pengguna blogger. terimakasih.. tingkatan terus ilmunya. hehe,..

Ramzi said...

kalau aku kurang beitu memperhatikan robots.txt ini
thanks, buat nambah wawasan sangat ok ni

Omivan said...

Thanks gan, tips seonya sangat membantu kemajuan blog ane.

terus berkarya

Fatih Anfield Gank said...

mau dong min, blog-ku dicantumin di blogroll..

http://www.fatihatsariss.co.cc/

Kaos Malika said...

blogwalking..saya newbie..mkasih infonya

Suhendri Mr said...

Mas mau tanya untuk Robots.txt ini jumlah baris tetapkan? maksudnya tidak boleh melebihi jumlah baris yang sudah di tentukan yakni 6 baris, dapat di lihat melalui webmaster tools. Soalnya pernah baca untuk wordpress bisa sampai beberapa baris yang SEO banget karena langsung pada target pas di coba di blogger malah dapat konfirmasi Robot.txt tidak sesuai format.

Kalo ingin menambah tapi tidak berdasarkan baris, format berikut betul tidak?

User-agent: *
Disallow: /search/ Googlebot
Allow: /

atau

User-agent: */ Googlebot
Disallow: /search
Allow: /

Berbagi Kreativitas said...

Sebenarnya jumlah baris masih bisa di update tidak mas kalo kita menggunakan custom Robot.txt ini? Atau hanya sebatas bisa di ubah saja tanpa menambah baris?

itsfi said...

Terimaksih infonya

Internet maniac said...

Baru tau nih fungsi robots.txt
Ssiipp...

zankmaxim said...

sebenarnya gk beda jauh sama ep robot....

Twit Marketing said...

blognya bagus rapih :)

lagu kord gitar said...

kalau saya lagi coba perbanyak blogwalking gan

bloggers info said...

kalo penerapan robot tex yang benar dan tepat itu bgm ya gan,,,

iklan internet murah said...

tolong di jelaskan cara pemakaian robot text yang tepat

Hairul Rantesigi said...

Tengkiu Mas... rahasia yang selama ini saya cari akhirnya ketemu juga... izin sedot ilmunya Mas...

bloggers info said...

Kalo seing robotnya tdk benar malah berbahaya, bisa bisa malah di cuekin ama mesin pencari, yg tdk paham tentang seting robot mendingan ngga usah di aktifkan,pake meta tage saja yang manual

softwareshareku said...

thanks boss,.. ini snagat bermanfaat sekali bagi saya jadi saya paham fungsi perintah2 untuk robot.txt.. sukses buat admin..

gubukmedia.com said...

jadi binggung gan..

setiap blog beda beda sarannya buat Robot.txt ini

son billy said...

lebih baik mana, disetting seperti diatas atau dibiarkan disabled gan?....trima kasih sebelumnya..

Agung Talaga said...

Sehubungn dengan tentang SEO, saya punya masalah pada blog sya yg sementara saya cari solusinya kepada blogger2 yang saya anggap sudah berpengalamn dalam hal SEO Blog.

Sebelumnya minta maaf bukannya mau bertindak sebagai spammer pada postingan ini. Jika punya waktu luang untuk berkunjung ke blog saya di artikel ini :

http://agungtalaga.blogspot.com/2012/11/ada-apa-dengan-meta-tag-blog-saya.html

dan sya harap bisa membantu saya dalam memecahkan msalah yang saya dapatkan pada blog saya tsb. Makasih juga sebelumnya jika sdh mau berkunjung balik ke blog saya sob...

doma99 said...

salam kenal kang..
trima kasih info nya,,,

cupangsuperfighter said...

coba saya terapin mas, semoga berhasil.

Yogie G. Kurniawan said...

KEREN BOS !!!
Paham sekrang sya hehe thanks

alex salawangi said...

numpang tanya dong gan kalau begini benar tidak :
User-agent: Googlebot
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*?*
Disallow: /*?
User-agent: ia_archiver
Disallow: /User-agent: duggmirror
Disallow: /User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /trackback/
Disallow: /feed/
Disallow: /tag/
Disallow: /author/
Disallow: /category/Sitemap: http://cctvdanservice.blogspot.com/sitemap.xml
Sitemap: http://cctvdanservice.blogspot.com/sitemap.xml.gz

Ahmad Khoirul Azmi said...

@Alex:
Hey. Tidak perlu sepanjang itu dan bukan itu. Setting robots.txt yang anda tuliskan itu adalah untuk WordPress. Untuk blogger, defaultnya saja sudah cukup.

Bagian yang bisa anda pakai dari setting di atas adalah ini:
User-agent: Googlebot

ini(penulisan di atas salah):
User-agent: ia_archiver
Disallow: /
User-agent: duggmirror
Disallow: /
User-agent: *

dan ini:
http://cctvdanservice.blogspot.com/sitemap.xml

Sitemap blogger tidak ada dalam bentuk gzip (kompres).

Harap berhati2 melakukan setting robots.txt. Karena akibatnya bisa fatal, google bisa jadi terhalangi mengindeks halaman yang seharusnya diindeks. Dapat saran darimana setting di atas? Karena itu untuk wordpress.

Saran saya, tidak perlu melakukan setting robots.txt kecuali benar-benar penting. Semua setting default yang ditulis oleh Blogger dan Google sudah sangat tepat dan tidak perlu diubah lagi, sekali lagi, kecuali penting banget, misalnya anda ingin halaman archive, halaman mobile template, dll tidak diindeks Google.

alex salawangi said...

ouh gitu gan... jadi cukup di default aja apa copy punya agan ? makasi gan sudah ngejelasin

Ahmad Khoirul Azmi said...

Dibiarkan saja, kembalikan seperti semula. karena yang saya contohkan di atas sama dengan defaultnya :)

alex salawangi said...

ok....gan.
mau tanya lagi boleh kan hahaha maklum gan newbie banget.
kalau saya ketik di google dengan pencarian cctv online kenapa tidak tampil ya gan mala sampai 1000 page kg nongol, tetapi kalau saya ketik dengan pencarian cctvdanservice baru ada di page utama.
menurut agan salah dimana ya.
dan kenpa di alexa juga no data.
trima kasih gan atas bimbingan nya.

Ahmad Khoirul Azmi said...

Yang pertama anda ketikkan adalah keyword umum yang sering digunakan oleh banyak orang, sekaligus oleh banyak halaman web.
Yang kedua kata tanpa pemisahan, lebih identik ke nama website, dan juka nama website anda paling dekat, maka dengan mudah tampil di hal satu. Ini biasa, wajar.

Yang pertama lah esensi dari SEO, persaingan di search engine. Tentu website anda kalah telak karena belum mendapatkan upaya SEO. Jadi lakukan SEO mulai sekarang, dengan baik tentunya
http://buka-rahasia.blogspot.com/2011/04/cara-meningkatkan-seo-blogspot.html

Soal alexa, itu yang terjadi pada website yang biasanya masih baru, Alexa belum mendapatkan data yang memadai untuk menampilkan ranking. Sumber data utama adalah traffic, jika traffic masih sangat kecil, cuma satu dua tiga orang saja yang datang tiap harinya, maka data belum bisa dimunculkan.

alex salawangi said...

uhmmm...ok tq ya boss penjelasan nya.

Lathif Nurdiansyah said...

Terima Kasih info diatas, tapi saya mau bertanya.

Blog saya bermasalah dengan index google, jadi waktu itu saya kan ganti template, terus update artikel. Dan setelah 2 hari tidak bisa terindex, saya ingat-ingat ternyata waktu itu saya pernah menggunakan " robots.txt " ini, kasus ini sama dengan kasus bang @Alex yang ada diatas tadi. Kodenya sama percis....

Kira-kira gimana cara supaya blog saya menjadi terindex lagi ? Apakah penggunaan robots.txt ini penting ? Saya tidak ingin memakai robots.txt ini karena di blog saya tidak ada yang terlalu penting.

Mohon penjelasannya, bantuannya, dan pencerahannya :D

Terima Kasih

Jawaban saya tunggu ya !

Email : lathif.nurdiansyah@gmail.com
Website (BLOG) : Mas Atip Blog *maaf karena kalau saya menaruh link sama saja melanggar peraturan di Buka Rahasia Blog ini.

*Thanks

Ahmad Khoirul Azmi said...

Hai, Matikan saja fungsin robots.txt dan otomatis settingnya akan kembali ke default, atur ke don't set. Berhati-hati bermain dengan robots.txt, karena setting ini pada setiap platform web/blog berbeda tergantung kebutuhan.

alex salawangi said...

waduh...master numpang tanya lagi ya...
saya punya website tidak sengaja kehapus di webmaster google. dan akhir nya sampai sekarang website saya tidak ada di search google...dan saya coba add url ulang sampai sekarang pun belum nampil di search

dan pesan dari google :
A verified user has blocked or unblocked sitelinks for this site: http://www.teknicmax.pusku.com/.

The links shown below some sites in our search results, called sitelinks, are meant to help users navigate your site. Our systems analyze the link structure of your site to find shortcuts that will save users time and allow them to quickly find the information they're looking for. The process of creating Sitelinks is completely automated, but if you think that the sitelinks displayed for your site are inappropriate or incorrect, you can block them so that they no longer appear.

mohon master solusi nya... thanks

mh najiib said...

mantab abis.....

Ahmad Khoirul Azmi said...

Informasi yang anda lampirkan di atas berhubungan dengan sitelinks dan tidak berhubungan langsung dengan indeks. Jadi sebenarnya tidak ada kaitannya. Jangan gunakan add url, tapi langsung tambahkan melalui Google Webmaster Tools, dengan akun Google yang sama seperti dulu mendaftarkan.

alex salawangi said...

iya sudah master..saya sudah masukan kembali tetapi tidak muncul" apakah dari template bermasalah ?
tapi seingat saya, waktu itu saya coba" menghapus url permanent dari webmaster indeks dan cookie juga saya hapus dari webmaster.

Ahmad Khoirul Azmi said...

Itu juga tidak ada kaitan dengan template. apakah anda juga sudah melakukan verifikasi dengan menggunakan meta tag setelah mendaftarkan web tsb?

Rudy Bond said...

saya belum berani otak-atik settingan robot.txt, takut salah

FananNco.com said...

sama dgn bro rudy bond takut salah, main natural aja ahh,,, sy pribadi milih non aktifkan robots.txt agar semua isi perut blog kita di crawl, biar lambat tp selamat, hehehehe,,,,

otaxiri said...

haduuh bingung saya om...
:-(

D' Herbanet said...

beberapa waktu yang lalu saya memasang robot.txt di salah satu blog ane. tp apesnya jumlah visitor koq malah semakin berkurang. bingung ane salahnya dimana? :(

Ahmad Khoirul Azmi said...

Berarti ada kesalahan. Matikan robots.txt manual setting, nanti setting robots.txt otomatis akan kembali seperti default-nya.

Oyin Ayashi said...

Boss ini aku chek di sitemap sampean pake robot txt cheker ternyata ada yang salah...Jadi yang bener yang mana ?

Analyzing file http://buka-rahasia.blogspot.com/robots.txt
This robots.txt file has some errors. They are marked in pink color.
You can find some warnings at the bottom of the analysis

Ahmad Khoirul Azmi said...

yang saya pake adalah robots.txt dari setting blogger langsung, tidak saya edit sama sekali, jadi itu yang sudah direkomendasikan. Kalopun dianggap ada masalah, yang jelas Google telah membacanya dengan baik.

Malfin kecewa said...

master apakan ini udah bener
User-agent: Mediapartners-Google
Disallow:

User-agent: Googlebot
Disallow: /search
Disallow: /?m=1
Disallow: /?m=0
Disallow: /*?m=1
Disallow: /*?m=0
Disallow: /search?updated-min=
Disallow: /search?updated-max=
Disallow: /search/label*?updated-min=
Disallow: /search/label*?updated-max=
Allow: /

User-agent: *
Disallow: /search
Allow: /

Sitemap: http://www.fajar-pakong.com/feeds/posts/default?orderby=UPDATED

belum mudeng ane masalah robot.txt

steven said...

makasih infonya...sangat bermanfaat. ^_^
salam skali2 mampir gan. tuntutilmu69.blogspot.com
masih newbie..^_^ sapa tau d saran2nya

Harga Promo Terbaru said...

Keren euy tips nya, detail dan penjelasannya tidak bertele-tele, mantab, tengkiu

Admin Rungan said...

kenapa yas etiap saya terapkan metode ini, selalu keluar pesan di webmaster toll, situs anda dalam keadaaan parah katanya

Ahmad Khoirul Azmi said...

kasih saya isi robots.txt yang dibaca Google ya. Dicopy aja trus di paste di komentar.

Post a Comment

Silahkan tinggalkan komentar untuk respon/pertanyaan. Jika ingin menuliskan kode di dalam komentar, convert dulu dengan HTML Encoder. Centang "Notify me" untuk mengetahui balasannya. Maaf apabila komentar dibalas dalam waktu lama atau tidak terbalas karena saya tidak online setiap hari. Atau biar lebih cepat dan enakan bisa kontak lewat Facebook. KOMENTAR BERISI LINK & tidak sesuai dengan Comment Policy akan langsung dihapus.Karena banyaknya spam, komentar sekarang di-moderasi sebelum diterbitkan. Thanks.
Smashed Spams: 11362

Recent Comments

Tautweb.com

  • Menulis Artikel Blog

    Tips dan panduan menulis artikel blog berkualitas dan menarik (dalam beberapa seri).

  • Template Blog Terbaik

    Review dan daftar situs pembuat dan penyedia template blogger berkualitas dan tentunya terbaik.

  • Strategi SEO 2015

    Hal apa saja yang wajib menjadi bagian dari strategi SEO di tahun ini? Simak ulasan lengkapnya di sini.

  • Artikel SEO Friendly

    Tips membuat artikel yang memenuhi syarat SEO sekaligus tetap menjaga kualitasnya.

  • Belajar HTML & CSS

    5 situs rekomendasi untuk mempelajari HTML dan CSS dari tingkat dasar.

© 2010-2015 Buka Rahasia Blogspot | Template by Dicas Blogger | Modified & Enhanced by Ahmad Khoirul Azmi

 ContactPrivacy PolicyComment PolicySitemap