Cara Setting Robots.txt Blogger dan Custom Robot Header Tags yang Aman

Mengatur file robots.txt dan custom robot header tags di Blogger sangat penting untuk memastikan blog Anda terindeks dengan benar oleh mesin pencari seperti Google. Pengaturan yang tepat bisa membantu meningkatkan SEO dan visibilitas blog Anda di hasil pencarian. Namun, jika salah mengatur, justru bisa menyebabkan blog tidak terindeks sama sekali.

Dalam artikel ini, kita akan membahas cara setting robots.txt dan custom robot header tags yang aman dan direkomendasikan, khususnya untuk pengguna platform Blogger (Blogspot).

Apa Itu Robots.txt?

Robots.txt adalah file yang digunakan untuk mengatur akses crawler mesin pencari ke halaman-halaman di situs Anda. Dengan file ini, Anda bisa mengizinkan atau memblokir bagian tertentu dari blog agar tidak diindeks oleh mesin pencari.

Contohnya:

txt
User-agent: *
Disallow: /search
Allow: /

Penjelasan:

• User-agent: * berarti aturan berlaku untuk semua crawler.

• Disallow: /search mencegah mesin pencari mengindeks halaman pencarian internal.

• Allow: / mengizinkan halaman lainnya untuk diindeks.

Cara Mengaktifkan Robots.txt Khusus di Blogger

1. Masuk ke dashboard Blogger Anda.

2. Pilih menu Setelan (Settings).

3. Scroll ke bawah hingga bagian Crawlers dan pengindeksan (Crawlers and indexing).

4. Aktifkan opsi Aktifkan konten robots.txt khusus.

5. Klik tombol Edit robots.txt khusus, lalu masukkan kode berikut:

txt
User-agent: *
Disallow: /search
Allow: /

Sitemap: https://namabloganda.blogspot.com/sitemap.xml

Ganti namabloganda dengan URL blog Anda.

Apa Itu Custom Robot Header Tags?

Custom robot header tags adalah tag meta yang memberikan instruksi tambahan kepada mesin pencari tentang bagaimana halaman blog Anda harus diindeks.

Cara Mengaktifkan Custom Robot Header Tags di Blogger

1. Masih di menu Setelan, aktifkan Tag header robot khusus.

2. Anda akan melihat beberapa opsi untuk:

   • Halaman Beranda

   • Arsip dan halaman penelusuran

   • Postingan dan halaman

Pengaturan yang Aman dan Direkomendasikan

Berikut adalah pengaturan yang umum digunakan untuk blog pribadi atau profesional:

1. Beranda

• Centang: all, max-snippet:-1, max-image-preview:large, max-video-preview:-1

2. Arsip dan halaman penelusuran

• Centang: noindex, nofollow

Penjelasan:

• Mencegah halaman arsip dan pencarian diindeks karena tidak bernilai SEO tinggi dan bisa menyebabkan duplikat konten.

3. Postingan dan halaman

• Centang: all, max-snippet:-1, max-image-preview:large, max-video-preview:-1

Pengaturan ini memungkinkan seluruh artikel/postingan Anda diindeks secara maksimal oleh mesin pencari.

Kesimpulan

Mengatur robots.txt dan custom robot header tags di Blogger dengan benar adalah langkah penting dalam mengoptimalkan SEO blog Anda. Dengan mengikuti panduan ini:

• Anda mencegah duplikat konten dari halaman pencarian internal.

• Anda mengizinkan mesin pencari untuk mengindeks konten utama blog Anda.

• Anda memberikan kontrol penuh atas bagaimana blog ditampilkan di hasil pencarian.

Selalu periksa hasilnya di Google Search Console untuk memastikan blog Anda terindeks dengan baik.