Panduan Pengaturan Pemasangan Robot.txt

File robots.txt menyediakan serangkaian instruksi untuk memudahkan bot mesin pencari membuat peta halaman situs dan menentukan halaman mana yang harus ditampilkan dalam hasil pencarian. Tanpa file ini, mesin pencari akan mengindeks semua konten bahkan bagian/halaman yang ingin Anda sembunyikan.

Instruksi dari file ini cukup jelas dan mudah untuk dibuat, file robots.txt hanya terdiri dari satu atau beberapa aturan untuk memblokir atau mengizinkan crawling ke halaman tertentu, file ini juga dapat digunakan untuk memblokir bot jahat yang mungkin berdampak negatif pada kinerja situs.

Berikut ini adalah file robots.txt dengan dua aturan sederhana:

User-agent: *
Allow: /
Disallow: /search

Sitemap: https://your_domain.blogspot.com/sitemap.xml

• User-agent, nama bot mesin pencari. Penulisan * untuk menentukan aturan yang berlaku untuk semua jenis user-agent.
• Allow, semua user-agent diizinkan untuk meng-crawl seluruh situs. Ini dapat dihilangkan karena perilaku defaultnya adalah user-agent diizinkan untuk meng-crawl seluruh halaman.
• Disallow, melarang atau memblokir user-agent untuk meng-crawl halaman tertentu. Pada contoh di atas, user-agent tidak diizinkan untuk meng-crawl URL apa pun yang dimulai dengan https://your_domain.blogspot.com/search.
• Sitemap, memberi tahu user-agent di mana letak peta situs, ganti dengan URL situs Anda.

Contoh dengan lebih dari satu instruksi pemblokiran:

User-agent: *
Allow: /
Disallow: /search
Disallow: /p/contact.html
Disallow: /2023/02/post_title.html

Sitemap: https://your_domain.blogspot.com/sitemap.xml

Ikuti panduan ini untuk mengaktifkan robots.txt

1. Di dasbor Blogger, buka Setelan.
2. Gulir ke bawah hingga Anda menemukan grup Crawler dan pengindeksan.
3. Klik tombol sakelar pada Aktifkan robots.txt khusus.
4. Tempelkan file robots.txt baru ke dalam kolom robots.txt kustom, Anda dapat menyalin salah satu file contoh di atas.
5. Pastikan untuk langsung memeriksa perubahan pada file robots.txt dengan menambahkan /robots.txt di akhir URL blog Anda, misalnya: https://your_domain.blogspot.com/robots.txt.

Download