Cara Setting Robots.txt Untuk Blogger 2023 Tanpa Error

 

Cara Setting Robot.txt Blogger

"Memasang robot txt di blogger tidak akan menjadikan website kamu lebih cepat di index".  Itu adalah fakta pertama yang wajib kamu ketahui dalam hal melakukan setting robot txt. Banyak orang yang berpendapat bahwa memasang robot txt dapat mempercepat index sebuah website.

Kenyataan sebenarnya, robot txt itu adalah sebuah aturan yang dapat dapat membatasi dan melakukan selection bagian mana dari website kamu yang akan di index oleh google.

Dan tidak hanya itu saja melakukan setting robot txt di blogger juga sangat berguna, karena kamu dapat menolak dan memblok bot khusus atau mesin pencari dengan melakukan costum robot txt.

1 Cara Setting Robot Txt di Blogger

Berikut adalah cara memasang robot txt di blogspot, disini saya akan memberikan beberapa pilihan robot txt yang dapat kamu pasang di website kamu. Sekaligus saya akan menerangkan fungsi dari robot txt tersebut.

1. Jika kamu sudah berada dihalaman dashboard blog kamu silahkan masuk kebagian Setelan lalu cari Crawler dan Pengindeksan setelah itu silahkan kamu aktifkan robot txt dengan menekan switch button dan pilih menu robot.txt kostum  seperti pada gambar dibawah ini.




2. Setelah kamu melakukan persis sepert gambar diatas, pada kolom box yang muncul masukkan kode dibawah ini dan ganti khairpedia.blogspot.com dengan alamat website kamu.

User-agent: *
Allow: /
Disallow: /search

Sitemap: https://www.khairpedia.blogspot.com/sitemap.xml

3. Jika kamu sudah melakukannya dengan benar maka tampilannya akan seperti berikut ini. jika sudah silahkan kamu klik simpan

Sesimpel itulah cara setting robot.txt blogspot, namun untuk menambah wawasan kamu disini saya jelaskan sedikit tentang fungsi dari kode diatas.

#User Agent =  Jenis Crawler yang digunakan oleh google untuk mengindex website kamu, ada banyak jenis user agent yang digunakan oleh google untuk melakukan index. kamu dapat baca disini Google Crwaler Index Overview

#Disallow = Disallow adalah perintah yang diberikan ke google bot agar halaman atau bagian tersebut tidak dindex oleh google. Misalnya kamu tidak ingin mengindex halaman kontak blog kamu dapat membuat command seperi berikut.

Disallow:/p/kontak.html

#Allow = Allow adalah perintah untuk memberitahu google bot halaman mana saja yang diizinkan untuk diindex oleh google.

#Sitemap = Sitemap adalah database url / image / tag / dan keseluruhan data penting di website kamu yang disimpan dalam format Xml

1.2 Cara Menghilangkan di Index meski diblokir robot Txt

Pada kesempatan kali ini juga saya akan sekalian memberikan tips mengatasi error google console diindex meski diblokir robot.txt. Cara memperbaiki error ini sangat mudah caranya adalah merubah kode robot.txt kamu dengan kode dibawah ini.

User-agent: *
Allow: /
Disallow:

Sitemap:https://www.khairpedia.blogspot.com/sitemap.xml

Mungkin seperti itulah pembahasan kita hari ini mengenai cara setting robot.txt blogger, dan menghilangkan di index meski diblokir robot.txt. Semoga tutorial ini bermanfaat untuk para blogger yang sedang memulai karir blognya.