Cara Menggunakan Robot.txt Dan Setting Robot Header Tags Pada Blog Blogspot | Coretan Si Blog

The Robot Exclusion Standard, atau tak jarang kita kenal sebagai Robots Exclusion Protocol atau robots.txt protokol, merupakan suatu konvensi untuk mencegah suatu web crawler yang bekerja sama dengan robot web lain untuk mengakses semua tahap dari suatu website yang apabila dilihat dengan cara terbuka.

Robot yang selalu sering dipakai mesin pencari untuk mengkategorikan serta mengarsip website web, atau web master untuk mengkoreksi Source code. Dari berbagai postingan yang saya baca, pemakainan robot.txt ini sangat berguna untuk mendongkrak SEO blog kita.

Misalkan ada halaman yang tidak ingin kita tampilkan terhadap publik serta mesin pencari, maka kita bisa menggunakan fungsi robot.txt ini untuk memblokir halaman tersebut. Blogger telah mendukung kegunaaan ini serta ini menunjukkan bahwa blogger terus memudahkan kita untuk mengoptimasi SEO blog kita.

Kalo belum mengerti juga, Anda bisa mendaftarkan blog di google websmaster disini. Lalu lihat pada kesalahan perayapan, kegunaaan pemblokiran bakal diperbuat oleh robot.txt ini.

Cara Mengaktifkan Serta Setting Robot.txt:

1. Log in ke blogger dengan akun blogger anda.

2. Klik setelan > Preferensi penelusuran / Search preferences.

3. Pada tab perayap serta pengindeksan pilih robot.txt.

4. Serta masukkan perintah dibawah ini:

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /

Sitemap: http://coretansiblog.blogspot.com/feeds/posts/default?orderby=UPDATED

Ganti url http://coretansiblog.blogspot.com dengan url blog anda.

Keterangan:
Kelompok baris pertama adalah info user agent milik google menandakan bahwa blog ini adalah partner dari google, faktor ini memudahkan bagi anda yang ingin memakai jasa google adsense supaya iklan yang nantinya ditampilkan relevan dengan isi blog anda, juga mengumumkan bahwa blog kita dapat diakses menggunakan mesin pencari.

Kelompok baris kedua adalah info untuk semua mesin crawler search engine. Disana terdapat keterangan tulisan disallow:/search yag menandakan semua robot mesin pencari tak boleh mengindeks page label. yang ini digunakan untuk menegah duplikasi postingan yang sangat tak disukai oleh google.

Kelompok baris ketiga adalah sitemap yang digunakan untuk memudahkan mesin pencari mengindeks blog anda
Tanda "/" adalah tanda home page anda sehingga jangan hanya meletakkan tanda ini pada kolom disallow sebab berdampak mesin pencari tak dapat mengindex home anda.

5. Klik simpan perubahan.

Cara setting Robot Header Tags

1. Tetap di menu setting Search preferences / Preferensi penelusuran

2. Pada tahap paling bawah ada menu Custom robots header tags. Kemudian klik edit.

3. Pilih yes

4. Bakal muncul kotak settingan, samakan setingan seperti pada dibawah ini

5. Save changes

Satu lagi catatan supaya berhati-hati untuk memakai cara fungsi ini sebab apabila salah dalam menerapkan blog kamu yang diabaikan oleh mesin pencari.