Robots.txt adalah file kecil yang sering diabaikan publisher WordPress, padahal satu baris yang salah di dalamnya bisa membuat seluruh situs tidak lagi dikunjungi Googlebot. File ini bukan alat untuk menyembunyikan halaman dari hasil pencarian, melainkan instruksi tentang bagian situs mana yang boleh diambil oleh crawler dan bagian mana yang sebaiknya tidak. Bagi publisher yang pendapatannya bergantung pada traffic pencarian dan iklan AdSense, memahami robots.txt bukan pekerjaan teknis semata, melainkan bagian dari menjaga agar artikel tetap ditemukan, dirender dengan benar, dan dimonetisasi secara normal.
Artikel ini menjelaskan cara kerja robots.txt di WordPress secara spesifik, termasuk fakta bahwa WordPress tidak membuat file fisik secara bawaan, aturan resmi Google yang wajib dipatuhi, contoh konfigurasi yang aman untuk situs berita dan media, kesalahan paling umum yang pernah membuat situs kehilangan traffic, serta cara mengujinya di Google Search Console sebelum dan sesudah perubahan. Semua aturan yang disebut di sini mengacu pada dokumentasi resmi Google Search Central dan perilaku inti WordPress, sementara penilaian tentang “patokan praktik” akan ditandai dengan jelas sebagai praktik umum, bukan aturan resmi.
- Poin Kunci
- Daftar Isi
- 1. Apa Itu Robots.txt dan Apa yang Sebenarnya Ia Atur
- 2. Cara Kerja Robots.txt di WordPress: File Virtual, Bukan File Fisik
- 3. Aturan Resmi Google: Empat Field yang Didukung dan Cara Google Memilih Aturan
- 4. Contoh Robots.txt yang Aman untuk Situs WordPress Publisher
- 5. Tiga Cara Mengedit Robots.txt di WordPress
- 6. Robots.txt dan AdSense: Yang Perlu Diperhatikan Publisher
- 7. Kesalahan Umum yang Paling Sering Merugikan Situs
- 8. Cara Menguji Robots.txt di Google Search Console
- 9. Kapan Robots.txt Bukan Solusinya
- 10. FAQ
- Apakah situs WordPress membutuhkan file robots.txt?
- Di mana letak file robots.txt di WordPress?
- Apakah Disallow di robots.txt menghapus halaman dari Google?
- Bolehkah memblokir /wp-content/ di robots.txt?
- Bagaimana cara memblokir crawler AI seperti GPTBot di WordPress?
- Berapa lama perubahan robots.txt berlaku di Google?
- Kesimpulan
- Sumber resmi yang dirujuk
Poin Kunci
- Robots.txt mengatur crawling, bukan indexing: URL yang diblokir tetap bisa muncul di hasil pencarian bila ada situs lain yang menautkannya.
- WordPress tidak membuat file robots.txt fisik secara bawaan; file yang Anda lihat di
domain.com/robots.txtdibuat secara virtual setiap kali diminta. - Google hanya mendukung empat field:
User-agent,Disallow,Allow, danSitemap. Field lain seperticrawl-delaydannoindexdiabaikan. - File fisik di root server selalu mengalahkan file virtual WordPress dan editor plugin SEO.
- Jangan pernah memblokir file CSS, JavaScript, dan gambar yang dibutuhkan Googlebot untuk merender halaman, karena itu merusak penilaian kualitas halaman dan bisa berdampak pada iklan.
- Bot iklan Google (AdsBot) harus disebut namanya secara eksplisit;
User-agent: *tidak mencakupnya. - Setiap perubahan wajib diuji lewat laporan robots.txt dan alat inspeksi URL di Google Search Console.
Daftar Isi
- Apa Itu Robots.txt dan Apa yang Sebenarnya Ia Atur
- Cara Kerja Robots.txt di WordPress: File Virtual, Bukan File Fisik
- Aturan Resmi Google: Empat Field yang Didukung dan Cara Google Memilih Aturan
- Contoh Robots.txt yang Aman untuk Situs WordPress Publisher
- Tiga Cara Mengedit Robots.txt di WordPress
- Robots.txt dan AdSense: Yang Perlu Diperhatikan Publisher
- Kesalahan Umum yang Paling Sering Merugikan Situs
- Cara Menguji Robots.txt di Google Search Console
- Kapan Robots.txt Bukan Solusinya
- FAQ
- Kesimpulan
1. Apa Itu Robots.txt dan Apa yang Sebenarnya Ia Atur
Robots.txt adalah file teks biasa yang diletakkan di root domain, misalnya https://bangekomedia.com/robots.txt, dan berisi instruksi bagi crawler mesin pencari tentang URL mana yang boleh mereka ambil. File ini mengikuti Robots Exclusion Standard, yang kini distandardisasi dalam RFC 9309. Setiap barisnya berbentuk field: nilai, dan crawler yang patuh akan membaca file ini sebelum menjelajahi situs.
Hal pertama yang harus dipahami dengan benar adalah batas kewenangan file ini. Menurut dokumentasi Google Search Central, robots.txt mengontrol crawling, bukan indexing. Artinya, perintah Disallow hanya meminta crawler untuk tidak mengambil konten di URL tersebut. URL yang diblokir masih bisa terindeks dan muncul di hasil pencarian, biasanya tanpa deskripsi, apabila halaman lain menautkannya. Di laporan indeksasi Google Search Console, kondisi ini muncul sebagai status “Diindeks, tetapi diblokir oleh robots.txt”.
Kesalahpahaman inilah yang paling sering menimbulkan masalah. Banyak pemilik situs menulis Disallow dengan maksud menyembunyikan halaman dari Google, lalu heran ketika URL itu tetap muncul di hasil pencarian. Bila tujuannya adalah agar halaman tidak tampil di hasil pencarian, alat yang benar adalah meta tag robots dengan nilai noindex pada halaman itu sendiri atau header X-Robots-Tag pada respons server, bukan robots.txt. Justru sebaliknya, bila halaman diblokir di robots.txt, Googlebot tidak bisa membaca tag noindex yang ada di halaman tersebut, sehingga halaman bisa tetap terindeks. Dua mekanisme ini saling bertentangan bila dipakai bersamaan pada URL yang sama.
Fungsi utama robots.txt menurut Google ada tiga: mengelola beban crawl agar server tidak kewalahan menerima permintaan crawler, menghemat crawl budget dengan mengarahkan crawler menjauhi halaman yang tidak penting seperti hasil pencarian internal atau halaman admin, dan memberi tahu crawler lokasi sitemap. Untuk situs WordPress dengan ratusan artikel, fungsi kedua ini yang paling terasa manfaatnya: crawler tidak membuang waktu pada URL duplikatif sehingga halaman artikel yang benar-benar penting lebih cepat ditemukan dan diperbarui di indeks.
Ada satu hal penting lain yang sering dilupakan: robots.txt bukan alat keamanan. Menulis path sensitif ke dalam robots.txt sama saja dengan mengumumkan keberadaan path itu kepada siapa pun yang membukanya, karena file ini bisa diakses publik. Jalur admin, folder cadangan, atau halaman internal tidak menjadi aman hanya karena ditulis dalam Disallow. Keamanan yang sesungguhnya tetap harus berasal dari autentikasi, pembatasan akses server, dan praktik keamanan WordPress yang benar.
2. Cara Kerja Robots.txt di WordPress: File Virtual, Bukan File Fisik
WordPress memperlakukan robots.txt dengan cara yang mengejutkan banyak pemilik situs baru: instalasi WordPress baru tidak memiliki file robots.txt fisik di server. Ketika seseorang atau crawler meminta domain.com/robots.txt, WordPress menjalankan fungsi do_robots() dan membangun isi file itu secara dinamis pada saat permintaan datang, lalu mengirimkannya sebagai respons. File ini disebut file virtual.
Isi bawaan file virtual WordPress untuk situs publik kurang lebih seperti ini:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://contoh.com/wp-sitemap.xml
Artinya, semua crawler diminta tidak mengambil halaman di bawah /wp-admin/, kecuali file admin-ajax.php yang memang dibutuhkan banyak fitur situs, dan diberitahu lokasi sitemap inti WordPress. Perlu dicatat bahwa sejak WordPress 5.3, WordPress tidak lagi menambahkan Disallow: / ketika pengaturan “Search engine visibility” dicentang; sebagai gantinya WordPress memakai meta tag robots pada setiap halaman.
Ada tiga perilaku penting dari file virtual ini. Pertama, Anda tidak akan menemukannya bila mencari lewat FTP atau file manager hosting, karena memang tidak ada file di disk. Kedua, file fisik selalu menang: bila Anda mengunggah file robots.txt sungguhan ke folder root server, yaitu folder yang sama dengan wp-config.php, server web akan melayani file itu langsung dan fungsi virtual WordPress tidak pernah berjalan. Ketiga, pengaturan di dasbor WordPress bernama “Search engine visibility” pada menu Pengaturan lalu Membaca, bila dicentang, membuat WordPress menyajikan robots.txt yang memblokir semua crawler. Ini adalah jebakan klasik saat memindahkan situs dari staging ke live: centang itu tertinggal, dan seluruh situs hilang dari pencarian.
Implikasi praktisnya jelas: sebelum mengedit apa pun, periksa dulu versi mana yang sedang aktif. Buka domain-anda.com/robots.txt di jendela privat dan lihat isinya. Bila ada file fisik, perubahan lewat editor plugin SEO atau filter kode tidak akan berpengaruh sama sekali sampai file fisik itu dihapus. Banyak pemilik situs menghabiskan waktu berjam-jam mengubah pengaturan plugin tanpa hasil karena tidak menyadari file fisik lama masih ada di server.
3. Aturan Resmi Google: Empat Field yang Didukung dan Cara Google Memilih Aturan
Google hanya mendukung empat field dalam robots.txt, dan ini adalah aturan resmi yang tercantum dalam dokumentasi Google Search Central. Field-field tersebut adalah User-agent, Disallow, Allow, dan Sitemap. Field lain yang kadang terlihat di contoh-contoh lama, seperti crawl-delay dan noindex, tidak diproses oleh Google. Google secara resmi mengumumkan sejak 1 September 2019 bahwa mereka berhenti memproses aturan noindex yang ditulis di robots.txt.
Berikut penjelasan masing-masing field dan aturan penulisannya:
| Field | Fungsi | Aturan penulisan |
|---|---|---|
User-agent | Menentukan crawler mana yang dikenai aturan di bawahnya; wajib menjadi baris pertama setiap grup | Tanda bintang * berarti semua crawler, kecuali crawler AdsBot yang harus disebut eksplisit |
Disallow | Path yang tidak boleh diambil oleh crawler yang disebutkan | Harus diawali /; bila merujuk direktori harus diakhiri /; nilai kosong diabaikan |
Allow | Path yang boleh diambil, biasanya untuk membuat pengecualian di dalam direktori yang diblokir | Sama seperti Disallow; nilai path membedakan huruf besar dan kecil |
Sitemap | Alamat absolut sitemap situs | Bisa ditulis di mana saja dalam file dan boleh diulang untuk beberapa sitemap |
Nama field tidak membedakan huruf besar dan kecil, tetapi nilai path membedakan huruf besar dan kecil. Contoh resmi dari Google: Disallow: /file.asp berlaku untuk https://www.example.com/file.asp, tetapi tidak berlaku untuk https://www.example.com/FILE.asp. Karakter # menandai komentar yang diabaikan saat pemrosesan. File harus disimpan dengan encoding UTF-8; Google dapat mengabaikan karakter di luar rentang UTF-8 sehingga aturan yang mengandung karakter tersebut bisa tidak berfungsi.
Google mendukung dua karakter wildcard dalam path: tanda bintang * yang berarti nol atau lebih karakter apa pun, dan tanda dolar $ yang berarti akhir URL. Contohnya, Disallow: /*.pdf$ hanya memblokir URL yang berakhiran .pdf, sedangkan Disallow: /?s= memblokir URL pencarian internal WordPress yang diawali parameter ?s=.
Cara Google memilih aturan bila ada beberapa aturan yang cocok dengan satu URL juga sudah ditentukan secara resmi. Aturan dengan path yang paling panjang, alias paling spesifik, yang menang. Bila dua aturan memiliki panjang yang sama, aturan yang paling tidak membatasi yang dipakai, artinya Allow mengalahkan Disallow. Selain itu, untuk satu crawler hanya ada satu grup yang berlaku, yaitu grup dengan User-agent yang paling spesifik cocok dengan namanya; grup lain diabaikan, dan urutan grup dalam file tidak berpengaruh.
Dua batas teknis lain perlu diketahui sebagai patokan resmi. Google hanya membaca 500 KiB pertama dari file robots.txt dan mengabaikan sisanya, jadi file yang sangat panjang harus diringkas menjadi aturan yang lebih umum. Google juga umumnya menyimpan cache robots.txt hingga 24 jam, sehingga perubahan yang Anda buat tidak langsung berlaku; perlu waktu sampai Google mengambil ulang file tersebut. Inilah sebabnya pengujian setelah perubahan tidak boleh dilakukan dengan terburu-buru.
4. Contoh Robots.txt yang Aman untuk Situs WordPress Publisher
Untuk sebagian besar situs WordPress milik publisher, file bawaan WordPress sebenarnya sudah cukup baik. Perubahan hanya diperlukan bila ada kebutuhan spesifik. Berikut contoh konfigurasi yang aman dan konservatif untuk situs berita atau media dengan ratusan artikel:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Disallow: /?p=
Disallow: /wp-login.php
Disallow: /wp-content/plugins/
Allow: /wp-content/uploads/
Sitemap: https://bangekomedia.com/wp-sitemap.xml
Mari bedah maksud setiap barisnya. Baris Disallow: /wp-admin/ dan Allow: /wp-admin/admin-ajax.php adalah bawaan WordPress dan sebaiknya dipertahankan. Baris Disallow: /?s= mencegah crawler menghabiskan waktu pada halaman hasil pencarian internal, yang isinya hampir selalu duplikatif dan tidak bernilai bagi pembaca dari mesin pencari. Baris Disallow: /?p= mencegah crawl pada URL pratinjau lama berbasis ID posting. Baris Disallow: /wp-login.php menghalangi crawler mengunjungi halaman login, meskipun ini bukan pengganti keamanan login. Baris Disallow: /wp-content/plugins/ menghemat crawl pada file-file plugin, sementara Allow: /wp-content/uploads/ memastikan gambar dan media tetap bisa di-crawl dan tampil di hasil pencarian gambar.
Ada beberapa hal yang secara tegas tidak boleh diblokir. Jangan memblokir folder /wp-includes/ secara menyeluruh, jangan memblokir file CSS dan JavaScript, dan jangan memblokir folder uploads. Googlebot membutuhkan file-file tersebut untuk merender halaman sebagaimana dilihat pengguna. Bila rendering gagal, Google tidak bisa menilai kualitas halaman dengan benar, dan penilaian itu berpengaruh pada peringkat serta pada cara iklan ditampilkan. Praktik lama yang memblokir seluruh /wp-content/ atau /wp-includes/ berasal dari era ketika crawler bekerja berbeda, dan kini justru merugikan.
Satu pengecualian penting berkaitan dengan iklan. Google memiliki crawler iklan bernama AdsBot yang memeriksa halaman untuk penayangan iklan AdSense. User-agent: * tidak mencakup AdsBot, sehingga aturan yang Anda tulis untuk semua crawler tidak otomatis berlaku bagi AdsBot. Bila Anda ingin mengatur perilaku AdsBot secara khusus, sebut namanya secara eksplisit, misalnya dengan grup tersendiri. Namun untuk kebanyakan publisher, membiarkan AdsBot mengakses seluruh halaman artikel adalah pilihan yang benar, karena AdsBot perlu membaca halaman untuk menayangkan iklan yang relevan.
Bila situs Anda memakai plugin SEO seperti Yoast SEO atau Rank Math, sitemap yang tercantum sebaiknya mengarah ke sitemap plugin tersebut, misalnya sitemap index Yoast, bukan sitemap inti WordPress. Jangan mencantumkan dua sitemap yang berbeda isinya secara bersamaan tanpa alasan, karena itu hanya membingungkan crawler.
5. Tiga Cara Mengedit Robots.txt di WordPress
Ada tiga cara mengedit robots.txt di WordPress, dan aturan terpentingnya adalah memilih satu cara lalu konsisten menggunakannya. Mencampur ketiganya adalah sumber konflik paling umum, karena masing-masing cara bekerja pada lapisan yang berbeda dan file fisik selalu mengalahkan dua cara lainnya.
Cara pertama adalah melalui editor plugin SEO. Pada Yoast SEO, buka menu SEO lalu Tools lalu File editor, kemudian buat atau edit file robots.txt. Pada Rank Math, aktifkan Advanced Mode terlebih dahulu, lalu buka Rank Math SEO lalu General Settings lalu Edit robots.txt. Cara ini paling mudah bagi kebanyakan pemilik situs karena tidak perlu menyentuh server. Namun perlu diingat bahwa editor plugin bekerja pada file virtual; bila ada file fisik di root server, perubahan di editor plugin tidak akan terlihat sama sekali.
Cara kedua adalah mengunggah file fisik melalui SFTP atau file manager hosting. Buat file teks biasa bernama robots.txt, tulis aturannya, lalu unggah ke folder root situs, yaitu folder yang sama dengan wp-config.php. Cara ini sederhana dan membuat file terpisah dari kode, tetapi justru karena terpisah itulah ia mudah terlupakan. Banyak kasus situs yang robots.txt-nya tidak berubah meski plugin sudah diatur, ternyata disebabkan file fisik lama yang masih tertinggal dari instalasi sebelumnya.
Cara ketiga adalah memakai filter robots_txt di dalam kode, misalnya pada child theme atau plugin kecil khusus situs. Filter ini tersedia sejak WordPress 3.0 dan hanya mengubah file virtual. Contoh kode yang menambahkan aturan untuk memblokir crawler AI tertentu adalah sebagai berikut:
add_filter( 'robots_txt', function ( $output, $public ) {
$output .= "\nUser-agent: GPTBot\nDisallow: /\n";
return $output;
}, 10, 2 );
Kode ini menambahkan grup baru yang melarang GPTBot mengakses seluruh situs. Parameter $public adalah penanda dari WordPress sendiri tentang apakah situs disetel sebagai publik, sehingga aturan ini otomatis hilang pada salinan staging yang disetel untuk menolak mesin pencari. Cara ini cocok untuk pengembang karena aturan tersimpan bersama kode dan bisa dilacak perubahannya, tetapi tidak disarankan bagi pemilik situs yang tidak nyaman mengedit kode.
Apa pun cara yang dipilih, langkah terakhirnya selalu sama: buka domain-anda.com/robots.txt di jendela privat dan pastikan isinya sudah berubah. Cache halaman dan CDN kadang masih menyajikan versi lama, jadi bila perubahan belum terlihat, bersihkan cache terlebih dahulu sebelum menyimpulkan bahwa edit Anda gagal.
6. Robots.txt dan AdSense: Yang Perlu Diperhatikan Publisher
Bagi publisher AdSense, robots.txt memiliki dua kaitan langsung dengan pendapatan: rendering halaman dan crawl oleh bot iklan. Keduanya sering luput dari perhatian karena efeknya tidak langsung terlihat sebagai error, melainkan sebagai penurunan kualitas penilaian halaman dan relevansi iklan.
Pertama, soal rendering. Google menilai halaman berdasarkan tampilannya setelah dirender, termasuk CSS dan JavaScript yang dimuat. Bila robots.txt memblokir file-file tersebut, Googlebot melihat halaman yang rusak atau kosong sebagian. Halaman yang tidak bisa dirender dengan baik berisiko dinilai berkualitas rendah, dan halaman berkualitas rendah cenderung mendapat iklan bernilai lebih rendah atau bahkan pembatasan penayangan. Ini adalah salah satu alasan mengapa aturan lama yang memblokir /wp-includes/ atau seluruh /wp-content/ sangat merugikan publisher modern.
Kedua, soal AdsBot. AdsBot adalah crawler khusus Google yang memeriksa halaman untuk keperluan penayangan iklan. Seperti dijelaskan sebelumnya, User-agent: * tidak mencakup AdsBot, sehingga aturan umum Anda tidak memengaruhinya kecuali Anda menyebut namanya. Praktik yang aman bagi kebanyakan publisher adalah tidak membatasi AdsBot sama sekali pada halaman artikel. Bila Anda menambahkan grup khusus untuk AdsBot, pastikan Anda memahami konsekuensinya, karena memblokir AdsBot dari halaman artikel berarti Google tidak bisa memeriksa konten halaman untuk iklan.
Ketiga, soal halaman yang tidak seharusnya dimonetisasi. Bila situs Anda memiliki halaman tertentu yang tidak ingin dimonetisasi atau tidak ingin di-crawl, seperti halaman hasil pencarian internal atau halaman arsip tanggal yang sangat panjang, memblokirnya di robots.txt membantu memusatkan crawl pada halaman artikel yang bernilai. Namun keputusan semacam ini adalah patokan praktik, bukan aturan resmi, dan harus diuji dampaknya lewat Search Console sebelum dianggap berhasil.
Perlu ditegaskan bahwa robots.txt tidak bisa dipakai untuk menyembunyikan konten yang melanggar kebijakan AdSense. Menyembunyikan halaman dari Googlebot tidak membuat halaman itu lolos dari peninjauan kebijakan, karena peninjauan bisa dilakukan melalui jalur lain. Bila ada halaman yang bermasalah dari sisi kebijakan, solusinya adalah memperbaiki atau menghapus kontennya, bukan menyembunyikannya di robots.txt.
7. Kesalahan Umum yang Paling Sering Merugikan Situs
Kesalahan pertama dan paling fatal adalah baris Disallow: / yang tertinggal dari lingkungan staging. Satu baris ini memblokir seluruh situs dari semua crawler. Ini sering terjadi saat situs dipindahkan dari staging ke live dan pengaturan “Search engine visibility” lupa dimatikan, atau saat file robots.txt staging tersalin ke server produksi. Gejalanya adalah traffic pencarian turun drastis dalam hitungan hari, dan di Search Console muncul peringatan bahwa halaman diblokir oleh robots.txt. Pencegahannya sederhana: jadikan pengecekan domain.com/robots.txt sebagai bagian dari checklist setiap kali ada migrasi atau perubahan besar.
Kesalahan kedua adalah memblokir file CSS, JavaScript, dan gambar. Seperti dijelaskan sebelumnya, ini merusak rendering dan penilaian halaman. Aturan seperti Disallow: /wp-content/ atau Disallow: /wp-includes/ masih banyak beredar di contoh-contoh lama dari forum, padahal keduanya sudah tidak sesuai dengan cara kerja Googlebot saat ini. Bila Anda menyalin robots.txt dari contoh lama, periksa setiap barisnya dan hapus aturan yang memblokir aset rendering.
Kesalahan ketiga adalah memakai robots.txt untuk menyembunyikan halaman dari hasil pencarian. Seperti sudah dijelaskan, Disallow tidak menghapus halaman dari indeks. Bila Anda menemukan URL yang diblokir tetapi tetap muncul di hasil pencarian, solusinya bukan menambah aturan, melainkan memakai noindex pada halaman itu dan memastikan halaman tersebut tidak diblokir agar Googlebot bisa membaca tag noindex-nya.
Kesalahan keempat adalah menulis noindex atau crawl-delay di robots.txt dengan harapan Google memprosesnya. Google tidak mendukung kedua field tersebut. Sejak September 2019, aturan noindex di robots.txt diabaikan sepenuhnya. Crawl-delay juga diabaikan oleh Google, meskipun Bing masih menghormatinya. Bila Anda benar-benar perlu membatasi laju crawl Googlebot, gunakan pengaturan crawl rate di Google Search Console, bukan robots.txt.
Kesalahan kelima adalah mencampur file fisik dan file virtual tanpa menyadarinya. Gejalanya adalah perubahan di editor plugin tidak pernah terlihat di file yang disajikan. Solusinya adalah memeriksa lewat FTP atau file manager apakah ada file robots.txt di root server, lalu memutuskan satu sumber kebenaran dan menghapus yang lain.
Kesalahan keenam adalah aturan yang terlalu luas karena wildcard yang tidak dipahami. Contohnya, Disallow: /search tidak hanya memblokir halaman /search, tetapi juga semua URL yang diawali string itu, termasuk artikel yang kebetulan berjudul dengan kata search di awal slug-nya. Karena pencocokan dilakukan dari awal path, aturan yang dimaksudkan untuk satu direktori bisa memblokir jauh lebih banyak URL daripada yang dibayangkan. Selalu uji aturan wildcard sebelum menerapkannya.
Kesalahan ketujuh adalah lupa bahwa path membedakan huruf besar dan kecil. Disallow: /Admin/ tidak memblokir /admin/, dan sebaliknya. Di WordPress hal ini jarang menjadi masalah karena path bawaan memakai huruf kecil, tetapi bisa menjadi masalah bila situs memiliki direktori kustom dengan huruf besar.
8. Cara Menguji Robots.txt di Google Search Console
Setiap perubahan robots.txt wajib diuji, dan Google Search Console menyediakan dua alat resmi untuk itu. Alat pertama adalah laporan robots.txt, yang menampilkan isi file robots.txt yang terakhir diambil Google, tanggal pengambilannya, dan daftar error bila ada. Buka laporan ini setelah Anda mengubah file untuk memastikan Google sudah mengambil versi terbaru. Ingat bahwa Google menyimpan cache hingga 24 jam, jadi bila laporan masih menampilkan versi lama, tunggu dan periksa kembali keesokan harinya.
Alat kedua adalah alat inspeksi URL. Masukkan URL artikel atau halaman yang penting, lalu periksa apakah Google melaporkan halaman itu sebagai dapat di-crawl atau diblokir oleh robots.txt. Alat ini juga bisa dipakai untuk meminta pengindeksan ulang setelah Anda memperbaiki aturan yang sebelumnya memblokir halaman penting. Bila sebuah artikel penting ternyata diblokir, inspeksi URL akan menunjukkannya secara eksplisit, dan Anda bisa langsung memperbaiki aturan yang menyebabkannya.
Selain dua alat resmi tersebut, ada beberapa pemeriksaan manual yang sebaiknya dilakukan. Pertama, buka domain-anda.com/robots.txt di jendela privat dan baca isinya baris demi baris. Kedua, periksa apakah ada file fisik di root server yang mungkin mengalahkan file virtual. Ketiga, setelah perubahan besar, pantau laporan “Halaman” di Search Console selama beberapa hari untuk memastikan tidak ada lonjakan halaman yang berstatus diblokir atau tidak terindeks.
Satu hal yang perlu diingat: pengujian dengan alat pihak ketiga bisa membantu, tetapi hasil akhirnya harus dikonfirmasi lewat Search Console, karena hanya Search Console yang menunjukkan bagaimana Google benar-benar membaca file Anda. Alat pihak ketiga memakai interpretasi mereka sendiri, yang umumnya sama, tetapi tidak bisa menggantikan data langsung dari Google.
9. Kapan Robots.txt Bukan Solusinya
Ada beberapa kebutuhan yang sering keliru dialamatkan ke robots.txt. Pertama, bila tujuannya adalah menyembunyikan halaman dari hasil pencarian, jawabannya adalah noindex, bukan Disallow. Kedua, bila tujuannya adalah melindungi konten sensitif, jawabannya adalah autentikasi dan pembatasan akses, karena robots.txt bisa dibaca siapa saja. Ketiga, bila tujuannya adalah membatasi beban server dari crawler yang agresif dan tidak patuh, robots.txt tidak akan membantu, karena crawler yang tidak patuh mengabaikan file ini; yang dibutuhkan adalah pembatasan di level server atau firewall.
Keempat, bila masalahnya adalah halaman duplikat hasil parameter URL, seperti versi cetak atau hasil filter yang tidak berujung, robots.txt bisa membantu sebagian, tetapi solusi yang lebih tepat sering kali adalah canonical tag atau penanganan parameter di Search Console. Kelima, bila masalahnya adalah konten yang sudah terlanjur terindeks dan ingin segera dihapus dari hasil pencarian, robots.txt justru memperlambat proses, karena Googlebot yang diblokir tidak bisa membaca perintah penghapusan di halaman tersebut. Dalam kasus ini, biarkan halaman bisa di-crawl, pasang noindex, dan ajukan penghapusan sementara lewat Search Console bila perlu.
Memahami batas ini sama pentingnya dengan memahami cara menulis aturan. Robots.txt adalah alat yang sempit dan spesifik: ia mengatur siapa boleh mengambil apa, dan tidak lebih dari itu. Menggunakan alat yang tepat untuk setiap masalah adalah bagian dari pengelolaan situs yang sehat.
10. FAQ
Apakah situs WordPress membutuhkan file robots.txt?
Tidak wajib, tetapi sangat disarankan. WordPress sudah membuat file virtual secara otomatis dengan aturan dasar yang aman. File ini membantu mengarahkan crawler menjauhi halaman admin dan memberi tahu lokasi sitemap. Yang perlu dilakukan publisher adalah memeriksa isinya, bukan serta-merta membuat file baru.
Di mana letak file robots.txt di WordPress?
Secara bawaan tidak ada file fisiknya. File virtual dibuat oleh fungsi do_robots() setiap kali URL /robots.txt diminta. Bila Anda mengunggah file fisik ke folder root server, file fisik itulah yang dilayani dan file virtual tidak lagi dipakai.
Apakah Disallow di robots.txt menghapus halaman dari Google?
Tidak. Disallow hanya meminta crawler tidak mengambil halaman tersebut. Halaman yang diblokir masih bisa muncul di hasil pencarian bila ada situs lain yang menautkannya, biasanya tanpa deskripsi. Untuk menghapus halaman dari hasil pencarian, gunakan tag noindex pada halaman itu.
Bolehkah memblokir /wp-content/ di robots.txt?
Tidak disarankan. Memblokir seluruh /wp-content/ juga memblokir folder uploads yang berisi gambar artikel serta file CSS dan JavaScript yang dibutuhkan Googlebot untuk merender halaman. Blokirlah direktori plugin secara spesifik bila perlu, dan biarkan folder uploads tetap bisa di-crawl.
Bagaimana cara memblokir crawler AI seperti GPTBot di WordPress?
Tambahkan grup khusus dengan User-agent bernama crawler tersebut, misalnya User-agent: GPTBot diikuti Disallow: /. Cara termudah tanpa kode adalah memakai editor robots.txt di plugin SEO, sedangkan cara berbasis kode memakai filter robots_txt di child theme atau plugin kecil. Ingat bahwa setiap crawler AI memiliki nama user-agent sendiri, sehingga memblokir satu nama tidak memblokir yang lain.
Berapa lama perubahan robots.txt berlaku di Google?
Google umumnya menyimpan cache robots.txt hingga 24 jam, sehingga perubahan tidak langsung berlaku. Setelah mengubah file, periksa laporan robots.txt di Google Search Console untuk memastikan Google sudah mengambil versi terbaru, lalu pantau status halaman selama beberapa hari.
Kesimpulan
Robots.txt adalah file kecil dengan dampak besar. Bagi publisher WordPress, tiga hal yang paling penting adalah memahami bahwa WordPress menyajikan file ini secara virtual, mematuhi aturan resmi Google tentang empat field yang didukung, dan tidak pernah memblokir file yang dibutuhkan untuk rendering halaman. Satu baris Disallow: / yang tertinggal bisa menghapus seluruh situs dari pencarian, sementara aturan yang menyalin contoh lama bisa merusak penilaian halaman tanpa disadari.
Langkah praktis yang bisa dilakukan hari ini adalah membuka domain-anda.com/robots.txt dan membaca isinya, memeriksa apakah ada file fisik yang mengalahkan file virtual, memastikan tidak ada aturan yang memblokir CSS, JavaScript, atau gambar, lalu menguji hasilnya di Google Search Console. Bila semuanya sudah benar, biarkan file bawaan WordPress bekerja dan hanya ubah bila ada kebutuhan yang jelas. Pengelolaan robots.txt yang baik bukan tentang menulis aturan sebanyak-banyaknya, melainkan tentang menulis sesedikit mungkin dengan pemahaman yang benar.
Sumber resmi yang dirujuk
- Google Search Central — “Create and Submit a robots.txt File” (developers.google.com/search/docs/crawling-indexing/robots/create-robots-txt): aturan resmi tentang empat field yang didukung, wildcard, prioritas aturan, batas 500 KiB, cache 24 jam, dan penghentian pemrosesan
noindexdi robots.txt sejak 1 September 2019. - Google Search Central — “Introduction to robots.txt” (developers.google.com/search/docs/crawling-indexing/robots/intro-to-robots-txt): penjelasan bahwa robots.txt mengatur crawling, bukan indexing, dan URL yang diblokir tetap bisa terindeks.
- RFC 9309 — Robots Exclusion Protocol: standardisasi formal protokol robots.txt.
- WordPress Developer Documentation — fungsi
do_robots()dan filterrobots_txt: perilaku file virtual WordPress dan cara mengeditnya lewat kode. - Google Search Central — laporan robots.txt dan alat inspeksi URL di Google Search Console: cara resmi menguji dan memverifikasi robots.txt.