Cara Setting Robot.txt di Blogger

Cara Setting Robot.txt di Blogger - Artikel ini saya tulis sehubungan dengan keiinginan saya mengaktifkan kembali blog saya ini yang sudah mati 1 tahun. Sebelum itu mungkin sering orang bertanya apa itu Robot.txt?? istilah ini sering sekali keluar menyangkut dengan aplikasi berbasis web. Setelah mencari ke beberapa situs akhirnya saya menemukan maksud dan fungsi dari Robot.txt itu. Berikut penjelasan yang telah saya temukan serta cara setting Robot.txt di Blogger.

Apa Itu Robot.txt?

Standar pengecualian robot , juga dikenal sebagai protokol pengecualian robot atau protokol robots.txt, adalah sebuah ketentuan untuk mencegah web crawler dan robot web lain, dari pengaksesan seluruh atau sebagian situs web. Robot ini berguna untuk mengontrol halaman-halaman tertentu agar tidak diindeks oleh spider mesin pencari, atau situs jejaring sosial seperti Friendster, Facebook, dan Twitter. Jika Anda ingin lebih jelas dan detailnya Anda bisa membaca dari situs Wikipedia dalam bahasa Indonesia.

Cara Setting Robot.txt di Blogger

Semua plaform Blogger sudah memiliki robot.txt didalamnya. Secara default robot.txt di blogspot seperti dibawah ini:


User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://www.kalink.id/feeds/posts/default?orderby=UPDATED


Kode diatas dapat dijelaskan menjadi :

1. User-agent: Mediapartners-Google: User agent milik google menandakan bahwa blog ini partner dari google. Kode ini juga difungsikan untuk robot Google Adsense yang membantu mereka untuk menampilkan iklan yang relevan di blog Anda sesuai niche blog Anda. 
2. Disallow: Yang tidak di perbolehkan tidak ada. 
3. User-agent: Semua robot search engine/mesin pencari berisikan * atau dapat diartikan semua. 
4. Disallow: /search: Tidak di perbolehkan merayapi folder seach dll, seperti search/label dan seterusnya. Itu berarti link memiliki kata kunci pencarian setelah nama domain akan diabaikan. seperti yang saya katakan search/label/blog tidak akan di index. 
5. Allow: /: Mengizinkan semua halaman untuk di rayapi, kecuali yang di larang di atas. Tanda "/" mengacu pada homepage dan berarti robot dapat merayapi homepage blog kita. 
6. Sitemap: http://www.kalink.id/feeds/posts/default?orderby=UPDATED: Sitemap atau alamat feeds blog. Kode ini mengacu pada setimap blog, yang akan mempermudah robot untuk merayapi dan mengindex setiap artikel di terbitkan.

Catatan: Sitemap di atas hanya dapat memberi tahu web crawler sekitar 25 artikel yang baru di terbitkan dan jika Anda ingin mengoptimalkan agar lebih dari itu, Anda bisa merubahnya menjadi sitemap sebagai berikut:


Sitemap: http://www.kalink.id/atom.xml?redirect=false&start-index=1&max-results=500

Sitemap di atas untuk memberi tahu bahwa artikel Anda di kisaran 500, jika Anda memiliki lebih dari 500 artikel Anda bisa menggunakan sitemap di bawah ini:

Sitemap: http://www.kalink.id/atom.xml?redirect=false&start-index=500&max-results=1000



Dan setelah mengetahui makna kode dalam default robot.txt pada blogger, berikut jika anda ingin memodifikasi robot.txt, saya sarankan anda untuk lebih berhati-hati ketika memodifikasi robot.txt. Pada saat ini sitemap yang saya gunakan di blog ini sebagai  berikut

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /p/about.html
Allow: /
Sitemap: http://www.kalink.id/feeds/posts/default?orderby=UPDATED

Jika ingin menggunakan kode robot.txt seperti diatas silahkan. Saya menggunakan kode robot.txt di atas karena menjaga agar tidak terjadi kesalahan pada situs saya, Jadi saya memilih yang simpel saja. Nah untuk sitemap saya menggunakan itu karena artikel di situs ini masih kurang dari 80 artikel, maka saya belum menggunakan yang lebih dari 500.

Nah kode di bawah ini adalah untuk mencegah duplikat konten yang terdapat di blog Anda, itu bisa disebabkan karena di akses dari mobile phone. Anda bisa mencegahnnya dengan setting robot.txt di blogger Anda dengan kode berikut:

User-agent: Mediapartners-Google
Disallow:
User-agent: Googlebot
Disallow: /search
Disallow: /?m=1
Disallow: /?m=0
Disallow: /*?m=1
Disallow: /*?m=0
User-agent: *
Disallow: /search
Sitemap: http://www.kalink.id/feeds/posts/default?orderby=UPDATED

Cara Menambah Custom Robot.txt di Blogger

Berikut cara menambahkan custome robot.txt di blogger

• Masuk ke blog blogger Anda.
• Arahkan ke Setelan -> Preferensi penelusuran -> Pada tab perayap dan pengindeksan pilih robot.txt -> Edit -> Yes 
  
• Sekarang masukkan kode robot.txt yang ingin anda masukkan. Anda dapat mengambil salah satu dari contoh diatas
• Klik tombol Simpan Perubahan.
• Dan selesai!

Share this post