Cara Custom Robots.txt Blogger yang SEO Friendly

Table of Contents

Robots.txt Blogger merupakan salah satu hal yang perlu diperhatikan agar blog kita dapat di-crawling (dirayapi) dan SEO di mata mesin pencari. Robots.txt memiliki peran penting dalam mengelola bagaimana blog atau website berinteraksi dengan search engine.

Pada pembahasan kali ini, Mediafima akan membahas tentang kegunaan Robots.txt dan bagaimana Cara Custom Robots.txt pada Blogger agar SEO Friendly.

Apa itu Robots.txt?

Robots.txt adalah file yang berisi instruksi untuk robot perayap mesin pencari agar dapat mengatur halaman mana pada situs blog yang ingin ditampilkan di mesin pencari dan halaman mana yang ingin disembunyikan.

File ini tentunya sangat penting karena dapat membantu untuk mengatur perayapan dan mencegah halaman yang tidak diinginkan tampil di hasil pencarian.

Kenapa Robots.txt Penting untuk Blogger?

Bagi pengguna Blogger, robots.txt berfungsi untuk : 

• Mengontrol akses perayapan halaman 
• Mencegah pengindeksan konten/halaman duplikat (label, arsip, pencarian).
• Meyembunyikan direktori yang berisi file atau informasi sensitif blog dari mesin pencari sehingga tidak tampil di SERP (Search Engine Result Page).
• Menentukan lokasi peta situs atau Sitemap XML pada blog sehingga semua halaman penting bisa ditemukan oleh mesin pencari.

Jika diatur dengan pengaturan yang benar, Robots.txt akan membuat blog lebih cepat terindeks dan tentunya akan meningkatkan performa SEO.

Cara Mengaktifkan Custom Robots.txt di Blogger

Langkah 1 - Masuk ke Menu Dashboard

Silahkan login terlebih dahulu ke Dashboard akun blogger kalian.

Langkah 2 - Buka Settings/Setelan → Crawlers dan Pengindeksan

Scroll ke bawah pada menu Settings sampai menemukan bagian Crawlers and Indexing.

Langkah 3 - Aktifkan Robots.txt Custom

Setelah menemukan bagian Crawlers dan Pengindeksan, Aktifkan opsi robots.txt kustom.

Langkah 4 - Masukkan Kode Pengaturan Robots.txt

Silahkan copy dan masukkan kode robots.txt SEO friendly yang sudah disiapkan dibawah, lalu klik Save.

Contoh Robots.txt yang SEO Friendly untuk Blogger

Dibawah ini adalah contoh robots.txt aman dan SEO Friendly yang bisa kalian gunakan : 

User-agent: *

Disallow: /search

Allow: /

Sitemap: https://namablogkamu.blogspot.com/sitemap.xml

Ganti namablogkamu.blogspot.com Sesuaikan dengan nama blog kalian.

Penjelasan :

• User-agent: * → Berlaku untuk semua mesin pencari.
• Disallow: /search → Melarang mesin pencari/search engine mengindeks halaman pencarian & label.
• Allow: / → Mengizinkan semua halaman utama/artikel diindeks mesin pencari.
• Sitemap: → Memberi tahu lokasi sitemap dari blog supaya mesin pencari lebih cepat merayapi konten.

Tips Optimasi Robots.txt Agar Lebih SEO Friendly

• Selalu tambahkan URL sitemap blog.
• Jangan blokir halaman artikel.
• Selalu update robots.txt jika ada perubahan pada struktur blog.

Kesimpulan

Mengatur robots.txt di Blogger adalah langkah sederhana tapi penting untuk optimasi SEO. Dengan pengaturan yang tepat dan sesuai, blog akan bisa lebih cepat terindeks, terhindar dari duplikat konten, dan tampil lebih SEO di mata mesin pencari/search engine.