Apa itu Robots.txt?
Robots.txt adalah file yang memberi tahu crawler mesin telusur apa halaman untuk dirayapi dan apa yang tidak. Cukup, Anda dapat mengecualikan halaman demo blog Anda, label halaman, halaman arsip dan lainnya yang Anda anggap tidak penting. Perayap mesin telusur selalu memindai file robots.txt sebelum merayapi blog apa pun.Jadi mari kita mulai menambahkan perbaiki SEO hebat ini ke blog Anda.
Menambahkan Robots.txt ke Blog Blogger (Blogspot):
Untuk menambahkan file Custom Robots.txt ke blog Anda, ikuti langkah-langkah dasar yang disebutkan di bawah ini:
- Pergi ke blog blogger Anda.
- Navigasikan ke Settings >> Search preferences ››
- Crawlers and indexing ›› Custom robots.txt ›› Edit ›› Yes
- Sekarang tempel kode file robots.txt di bawah ini dalam kotak diatas.
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://example.blogspot.com/feeds/posts/default?orderby=UPDATED
Ingatlah untuk mengubah url yang disorot (example.blogspot.com) dengan alamat blog Anda.
- Klik tombol Save changes.
Bagaimana Cara Memeriksa File Robots.txt Anda?
Cukup tambahkan /robots.txt setelah alamat blog Anda dan Anda akan diperlihatkan file robots.txt Anda. Lihatlah contoh di bawah ini :
Saya harap Anda semua dengan mudah menambahkan file robots.txt kustom di blog Anda. Jika Anda memiliki pertanyaan tentang salah satu tutorial blogspot, tulis komentar di bawah ini.




