Panduan Setting Robots.txt di Blogger untuk SEO Optimal

Setiap bot perayapan mesin pencari (crawler) pertama-tama akan mengakses file robots.txt pada sebuah situs web untuk memahami aturan perayapan yang diterapkan. Dalam konteks SEO blog Blogger, file robots.txt memainkan peran penting dalam mengarahkan crawler agar fokus pada konten yang relevan dan menghemat anggaran perayapan.

Artikel ini memberikan panduan membuat file robots.txt khusus yang dioptimalkan untuk Blogger serta memahami dampaknya terhadap kinerja situs di Google Search Console.

Apa Fungsi File Robots.txt?

File robots.txt bertugas memberi tahu mesin pencari halaman mana yang boleh dan tidak boleh dirayapi. Berikut adalah fungsi utama file ini:

Mengontrol Aktivitas Perayapan: File ini dapat mengizinkan atau melarang bot tertentu untuk merayapi bagian tertentu dari situs.
Mendeklarasikan Peta Situs: File robots.txt dapat digunakan untuk menyatakan lokasi sitemap agar mesin pencari seperti Google, Bing, atau Yandex lebih mudah menemukan dan mengindeks konten.
Mengelola Anggaran Perayapan: Dengan membatasi perayapan pada halaman yang tidak relevan seperti arsip, label, atau pencarian internal, bot dapat diarahkan untuk fokus pada halaman yang lebih penting.

Selain itu, fungsi tag meta robots melengkapi pengaturan ini dengan mengontrol apakah halaman tertentu harus diindeks dan muncul dalam hasil pencarian (SERP) atau tidak.

Robots.txt Bawaan Blogger

Untuk mengoptimalkan file robots.txt di Blogger, penting memahami struktur bawaan dari platform ini. Berikut adalah pengaturan default file robots.txt di Blogger:

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /

Sitemap: https://www.example.com/sitemap.xml

Penjelasan:

User-agent: Mediapartners-Google – Mengizinkan Google AdSense untuk merayapi seluruh situs.
User-agent: – Melarang bot lain merayapi halaman pencarian internal (/search).
Allow: / – Mengizinkan perayapan di luar bagian yang dilarang.
Sitemap: Menyatakan lokasi sitemap posting untuk membantu bot menemukan dan mengindeks konten.

Namun, pengaturan default ini masih memungkinkan perayapan pada halaman arsip, yang dapat menyebabkan masalah konten duplikat.

Mengoptimalkan File Robots.txt untuk Blogger

Untuk meningkatkan SEO, file robots.txt dapat dimodifikasi agar lebih efisien. Berikut adalah langkah-langkah optimasi:

Blokir Perayapan Halaman Pencarian dan Arsip: Tambahkan aturan berikut untuk mencegah perayapan pada halaman yang tidak relevan:
```
Disallow: /search*
Disallow: /20*
```
“/search*” melarang perayapan pada semua halaman pencarian dan label, sedangkan “/20*” mencegah perayapan pada arsip yang biasanya berformat tahun publikasi.
Izinkan Perayapan Halaman dan Postingan Penting: Tambahkan aturan berikut untuk memastikan postingan tetap dapat dirayapi:
```
Allow: /*.html
```
Tambahkan Sitemap untuk Halaman dan Postingan: Pastikan menyertakan kedua jenis sitemap:
```
Sitemap: https://www.example.com/sitemap.xml
Sitemap: https://www.example.com/sitemap-pages.xml
```
“Sitemap-pages.xml” membantu bot menemukan halaman statis di Blogger.

Contoh file robots.txt yang dioptimalkan:

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search*
Disallow: /20*
Disallow: /feeds*
Allow: /*.html

Sitemap: https://www.example.com/sitemap.xml
Sitemap: https://www.example.com/sitemap-pages.xml

Ganti example.com dengan domain Blogger, seperti namaanda.blogspot.com atau domain kustom lainnya.

Efek di Google Search Console

Setelah menerapkan pengaturan ini, laporan di Google Search Console mungkin menunjukkan halaman yang diblokir oleh robots.txt. Pastikan halaman yang diblokir adalah halaman yang memang tidak relevan untuk SERP, seperti:

File Robots.txt memungkinkan perayap untuk merayapi seluruh situs web.
Tag Meta Robots melarang halaman yang tidak penting untuk diindeks.

Jika ada halaman penting yang tidak sengaja terblokir, perbaiki pengaturan robots.txt dan perbarui indeks di Google Search Console.

Kesimpulan

File robots.txt yang dioptimalkan dengan baik untuk Blogger dapat membantu menghemat anggaran perayapan, mengurangi risiko konten duplikat, dan meningkatkan kinerja SEO situs. Dengan memblokir perayapan pada halaman yang tidak relevan dan memfokuskan bot pada konten utama, blog akan lebih efektif muncul di hasil pencarian.

Semoga panduan ini bermanfaat untuk setting robots.txt di Blogger. Selamat mencoba dan semoga sukses meningkatkan peringkat blog!

Agung Jaka Nugraha