Template Blogger Premium DISINI

Panduan Pengaturan Pemasangan Robot.txt

Panduan Pengaturan Robots.txt Menambahkan Robot.txt ke Blogger
Harap tunggu 0 detik...
Selamat! Link Berhasil Dimuat.
Gulir ke Bawah dan klik Buka Link untuk membuka Link Tujuan

File robots.txt menyediakan serangkaian instruksi untuk memudahkan bot mesin pencari membuat peta halaman situs dan menentukan halaman mana yang harus ditampilkan dalam hasil pencarian. Tanpa file ini, mesin pencari akan mengindeks semua konten bahkan bagian/halaman yang ingin Anda sembunyikan.

Instruksi dari file ini cukup jelas dan mudah untuk dibuat, file robots.txt hanya terdiri dari satu atau beberapa aturan untuk memblokir atau mengizinkan crawling ke halaman tertentu, file ini juga dapat digunakan untuk memblokir bot jahat yang mungkin berdampak negatif pada kinerja situs.

Panduan Pengaturan Pemasangan Robot.txt

Berikut ini adalah file robots.txt dengan dua aturan sederhana:

User-agent: *
Allow: /
Disallow: /search

Sitemap: https://your_domain.blogspot.com/sitemap.xml
  • User-agent, nama bot mesin pencari. Penulisan * untuk menentukan aturan yang berlaku untuk semua jenis user-agent.
  • Allow, semua user-agent diizinkan untuk meng-crawl seluruh situs. Ini dapat dihilangkan karena perilaku defaultnya adalah user-agent diizinkan untuk meng-crawl seluruh halaman.
  • Disallow, melarang atau memblokir user-agent untuk meng-crawl halaman tertentu. Pada contoh di atas, user-agent tidak diizinkan untuk meng-crawl URL apa pun yang dimulai dengan https://your_domain.blogspot.com/search.
  • Sitemap, memberi tahu user-agent di mana letak peta situs, ganti dengan URL situs Anda.

Contoh dengan lebih dari satu instruksi pemblokiran:

User-agent: *
Allow: /
Disallow: /search
Disallow: /p/contact.html
Disallow: /2023/02/post_title.html

Sitemap: https://your_domain.blogspot.com/sitemap.xml

Ikuti panduan ini untuk mengaktifkan robots.txt

  1. Di dasbor Blogger, buka Setelan.
  2. Gulir ke bawah hingga Anda menemukan grup Crawler dan pengindeksan.
  3. Klik tombol sakelar pada Aktifkan robots.txt khusus.
  4. Tempelkan file robots.txt baru ke dalam kolom robots.txt kustom, Anda dapat menyalin salah satu file contoh di atas.
  5. Pastikan untuk langsung memeriksa perubahan pada file robots.txt dengan menambahkan /robots.txt di akhir URL blog Anda, misalnya: https://your_domain.blogspot.com/robots.txt.

Posting Komentar

Cara Berkomentar bagi yang tidak memiliki blog:
1. Klik select profile --> pilih "Name/URL".
2. Isi nama Anda dan isi dengan alamat facebook Anda.
3. Klik "Lanjutkan".
4. Ketik komentar Anda.
5. Klik "Publish".
6. Centang "CAPTCHA" yang menyatakan bahwa Anda bukan robot.
7. Klik "Publish".
Cookie Consent
We serve cookies on this site to analyze traffic, remember your preferences, and optimize your experience.
Oops!
It seems there is something wrong with your internet connection. Please connect to the internet and start browsing again.
AdBlock Detected!
We have detected that you are using adblocking plugin in your browser.
The revenue we earn by the advertisements is used to manage this website, we request you to whitelist our website in your adblocking plugin.
Site is Blocked
Sorry! This site is not available in your country.