Cara menambahkan Kustom Robots.txt file dalam Blogger

Dalam salah satu posting saya sebelumnya saya telah membahas tentang pengaturan Kustom Robot Header Tag untuk blogger supaya blog lebih SEO Friendly. Jika Anda telah membaca posting itu maka saya harap anda mengerti dengan pentingnya kustom robots header tag sebuah blog di peringkat pencarian. Dan dalam tutorial hari ini kita akan membahas tentang istilah Kustom Robots.txt serta tentang penggunaan dan manfaatnya. Saya juga akan memberitahu Anda bagaimana untuk menambahkan file kustom robots.txt di blogger. Jadi mari mulai tutorialnya.

Apa itu Robots.txt?
Robots.txt adalah file teks yang berisi beberapa baris kode sederhana. Hal ini disimpan di website atau server blog yang menginstruksikan web crawler tentang bagaimana cara indeks dan merangkak blog Anda dalam hasil pencarian. Itu berarti Anda dapat membatasi setiap halaman web di blog Anda dari web crawler, sehingga tidak bisa terindeks di search engine seperti halaman label blog Anda, halaman demo Anda atau halaman lain yang tidak penting untuk mendapatkan diindeks. Selalu ingat bahwa crawler pencarian memindai file robots.txt sebelum merangkak atau menjelajahi setiap halaman web.

Setiap blog host di blogger memiliki file robots.txt default yang merupakan sesuatu yang terlihat seperti ini:

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: / search
Allow: /
Sitemap: http://example.blogspot.com/feeds/posts/default?orderby=UPDATED

Penjelasan

Kode ini dibagi menjadi tiga bagian. Kita akan belajar pengertian masing-masing dari kode itu dan bagaimana menambahkan file kustom robots.txt di blog blogspot.

• User-agent: Mediapartners-Google

Kode ini untuk robot Google Adsense yang membantu mereka untuk melayani iklan yang lebih baik di blog Anda. Entah Anda menggunakan Google Adsense di blog Anda atau tidak.

• User-agent: *

Ini adalah untuk semua robot yang ditandai dengan tanda bintang ( * ). Dalam pengaturan default blog kita, link label dibuat terbatas ketika diindeks oleh crawler pencarian, itu berarti web crawler tidak akan mengindeks link halaman label kita karena kode di bawah ini.

• Disallow: / search

Itu berarti link yang memiliki kata kunci pencarian  setelah nama domain akan diabaikan. Lihat di bawah contoh yang merupakan link dari halaman label bernama SEO.

http://mustofaazka.blogspot.com/search/label/Tips%20SEO

Dan jika kita menghapus Disallow: / search  dari kode di atas, maka crawler akan mengakses seluruh blog kita untuk mengindeks dan merangkak semua halaman konten dan web.

• Allow: /  

Mengacu pada Homepage yang berarti web crawler dapat merangkak dan homepage indeks blog kita.

• Disallow Particular Post

Sekarang kira jika kita ingin mengecualikan posting tertentu dari pengindeksan maka kita dapat menambahkan kode di bawah.

Disallow: /yyyy/mm/post-url.html

Berikut yyyy  dan mm  mengacu pada tahun penerbitan dan bulan pos masing-masing. Misalnya jika kita telah menerbitkan sebuah posting pada tahun 2013 di bulan Maret maka kita harus menggunakan format di bawah.

Disallow: /2013/03/post-url.html

Untuk membuat tugas ini menjadi mudah, Anda dapat menyalin URL pos dan menghapus nama blog dari awal.

• Disallow Particular Page

Jika kita perlu melarang halaman tertentu di indeks oleh mesin pencari, maka kita dapat menggunakan metode yang sama seperti di atas. Cukup salin URL halaman dan menghapus alamat blog seperti ini:

Disallow: /p/page-url.html

• Sitemap: http://example.blogspot.com/feeds/posts/default?orderby=UPDATED

Kode ini mengacu pada sitemap blog kita. Dengan menambahkan link di sitemap, di sini kita bisa mengoptimalkan tingkat  crawling blog kita. Berarti setiap kali web crawler memindai file robots.txt, mereka akan menemukan jalan menuju sitemap, di mana semua link dari postingan yang telah diterbitkan berada.

Web crawler akan merasa mudah untuk merangkak semua postingan kita. Oleh karena itu, kemungkinan baik bahwa web crawler merangkak semua posting blog kita tanpa mengabaikan satu pun.
Catatan: sitemap ini hanya akan memberitahu web crawler tentang 25 posting baru. Jika Anda ingin meningkatkan jumlah link dalam sitemap Anda, kemudian mengganti sitemap standar bekerja untuk 500 posting terbaru pertama, maka lihat dibawah ini.

Sitemap: http://example.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500

Jika Anda memiliki lebih dari 500 posting diterbitkan di blog Anda, maka Anda dapat menggunakan dua peta situs seperti di bawah ini:

Sitemap: http://example.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500
Sitemap: http://example.blogspot.com/atom.xml?redirect=false&start-index=500&max -results = 1000

Menambahkan Kustom robots.txt untuk Blogger
Sekarang bagian utama dari tutorial ini adalah bagaimana menambahkan  kustom robots.txt di blogger, di bawah ini adalah langkah-langkah untuk menambahkannya.

1. Pergi ke blog blogger Anda.
2. Arahkan ke Settings >>  Preferensi Pencarian >> Crawlers dan pengindeksan >> Kustom robots.txt >> Edit >> Ya
3. Sekarang paste kode file robots.txt Anda dalam kotak.
4. Klik tombol Save Changes.
5. Kamu selesai!

Bagaimana Memeriksa Berkas Robots.txt Anda?

Anda dapat memeriksa file ini di blog Anda dengan menambahkan robots.txt  di akhir URL blog Anda di browser. Lihatlah contoh di bawah ini.

http://www.mustofaazka.blogspot.com/robots.txt

Setelah Anda mengunjungi URL file robots.txt Anda akan melihat seluruh kode yang Anda gunakan dalam file robots.txt kustom Anda. Lihat di bawah gambar.

Jika anda tidak bisa meng-copy file-file kode diatas silahkan download di sini

Kata-kata akhir!
Ini adalah tutorial lengkap tentang cara menambahkan file kustom robots.txt di blogger. saya mencoba untuk membuat tutorial ini secara sederhana dan informatif mungkin. Tapi tetap jika Anda memiliki keraguan silahkan mencari pengalaman dari yang lain. Jangan menaruh kode di pengaturan robots.txt kustom Anda tanpa mengetahui dan memahami tentang hal itu. Thanks telah membaca tutorial ini. Jika Anda suka maka silakan berbagi posting ini di profil media sosial Anda. Selamat Blogging! dan salam sukses selalu.