File robots.txt
menyediakan serangkaian instruksi untuk memudahkan bot mesin pencari membuat peta halaman situs dan menentukan halaman mana yang harus ditampilkan dalam hasil pencarian. Tanpa file ini, mesin pencari akan mengindeks semua konten bahkan bagian/halaman yang ingin Anda sembunyikan.
Instruksi dari file ini cukup jelas dan mudah untuk dibuat, file robots.txt
hanya terdiri dari satu atau beberapa aturan untuk memblokir atau mengizinkan crawling ke halaman tertentu, file ini juga dapat digunakan untuk memblokir bot jahat yang mungkin berdampak negatif pada kinerja situs.
Berikut ini adalah file robots.txt
dengan dua aturan sederhana:
User-agent: * Allow: / Disallow: /search Sitemap: https://your_domain.blogspot.com/sitemap.xml
User-agent
, nama bot mesin pencari. Penulisan*
untuk menentukan aturan yang berlaku untuk semua jenis user-agent.Allow
, semua user-agent diizinkan untuk meng-crawl seluruh situs. Ini dapat dihilangkan karena perilaku defaultnya adalah user-agent diizinkan untuk meng-crawl seluruh halaman.Disallow
, melarang atau memblokir user-agent untuk meng-crawl halaman tertentu. Pada contoh di atas, user-agent tidak diizinkan untuk meng-crawl URL apa pun yang dimulai denganhttps://your_domain.blogspot.com/search
.Sitemap
, memberi tahu user-agent di mana letak peta situs, ganti dengan URL situs Anda.
Contoh dengan lebih dari satu instruksi pemblokiran:
User-agent: * Allow: / Disallow: /search Disallow: /p/contact.html Disallow: /2023/02/post_title.html Sitemap: https://your_domain.blogspot.com/sitemap.xml
Ikuti panduan ini untuk mengaktifkan robots.txt
- Di dasbor Blogger, buka Setelan.
- Gulir ke bawah hingga Anda menemukan grup Crawler dan pengindeksan.
- Klik tombol sakelar pada Aktifkan robots.txt khusus.
- Tempelkan file
robots.txt
baru ke dalam kolom robots.txt kustom, Anda dapat menyalin salah satu file contoh di atas. - Pastikan untuk langsung memeriksa perubahan pada file robots.txt dengan menambahkan
/robots.txt
di akhir URL blog Anda, misalnya:https://your_domain.blogspot.com/robots.txt
.