Apakah saya benar-benar memerlukan file robots.txt?
Dengan tidak adanya file robots.txt maka artinya kita tidak akan bisa mengkontrol search engine dari pekerjaannya untuk spidering dan indexing pada websitemu, karena tidak semua jeroan sebuah website dibutuhkan oleh search-engine. Artinya keberadaan robots.txt sangat dianjurkan pada setiap website.
Jika kamu ingin mengirimkan sitemap XML dari website-mu untuk kebutuhan mesin pencari, maka hal ini adalah di mana mesin pencari akan mencari sitemap XML website-mu kecuali kamu telah men-setup-nya pada Google Webmaster Tools.
Kami sangat menyarankan bahwa jika website kamu tidak memiliki file robots.txt, maka segera buatlah.
Dimanakah letak file robots.txt? Lalu, gimana pula cara membuat file robots.txt?
File robots.txt secara umum biasanya berada di folder root domain situs kamu. Kamu hanya perlu mengakses situs FTP client atau melalui web panel file manager untuk menemukannya.
Sama seperti file teks biasa, dan kamu dapat membukanya dengan editor teks seperti Notepad atau Notepad ++. Jika kamu tidak menemukan file robots.txt pada root website kamu, maka kamu bisa langsung membuatnya.
Yang perlu kamu lakukan adalah membuat sebuah file teks baru pada komputer Anda dan menyimpannya sebagai robots.txt. Selanjutnya, hanya perlu meng-upload ke folder root situs Anda. Atau, kamu bisa membuatnya langsung melalui web panel hosting (Cpanel, Webuzo dll).
Bagaimana menggunakan file robots.txt ini?
Format untuk robots.txt file sebenarnya cukup sederhana. Baris pertama biasanya nama User-Agent. User-Agent sendiri adalah sebuah nama bot search-engine dimana bot tersebut akan berkomunikasi dengan website/blog kamu. Misalnya, Googlebot atau Bingbot. Kamu dapat menggunakan tanda bintang * memerintahkan semua bot.
Baris berikutnya adalah dengan membolehkan (Allow) atau tidak diperbolehkan (Disallow) bagi spider dari masing² search engine tersebut untuk meng-crawling sebagian atau pun keseluruhan data website kamu termasuk file² dan folder² yang berada didalamnya sehingga search-engine bisa mengetahui bagian mana dari website kamu yang ingin mereka index, dan mana yang kamu tidak ijinkan untuk diindeks.
Contoh file robots.txt:
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /readme.html
Pada contoh file robots.txt diatas, kita telah memerintahkan semua bot search-engine untuk mengindeks direktori upload data gambar. Dalam dua baris selanjutnya kita memberikan batasan kepada mereka untuk tidak melakukan indexing pada direktori WordPress Plugin dan file readme.html.
Mengoptimalkan File robots.txt Anda untuk kekuatan SEO
Dalam pedoman pada Google Webmaster Tools, Google menyarankan para webmaster untuk tidak menggunakan robots.txt untuk menyembunyikan konten berkualitas rendah. Jika kamu sedang berpikir tentang penggunaan robots.txt untuk menghentikan Google dari indexing kategori, tanggal, dan halaman arsip lain, maka hal tersebut sebenernya sangat tidak menguntungkan.
Ingat, tujuan robots.txt adalah memerintahkan bot tentang apa yang harus dilakukan dengan konten website kita saat merka melakukan spidering. Artinya, sebenernya hal tersebut tidak menghentikan bots meng-crawling website kamu :P
Ada juga WordPress Plugin yang memungkinkan kamu untuk menambahkan meta tag seperti nofollow dan noindex pada sebuah atau beberapa halaman arsip. WordPress SEO plugin juga memungkinkan kamu untuk melakukan hal² ini. Saya tidak mengatakan bahwa kamu harus melakukan deindexed pada sebuah atau beberapa halaman arsip, tetapi jika kamu melakukannya, maka itu adalah salah satu cara yang tepat.
Kamu tidak perlu menambahkan halaman login dashboard agar tidak di-crawling, admin direktori atau halaman pendaftaran kedalam file robots.txt karena halaman login dan registrasi sudah memiliki tag noindex yang ditambahkan sebagai meta tag secara otomatis oleh WordPress itu sendiri.
Kamu bisa menambahkan pemblokiran readme.html file ke dalam robots.txt. File readme.html ini dapat digunakan oleh seseorang untuk mencoba² mencari tahu versi WordPress yang kamu pakai saat ini, maka mereka dapat dengan mudah mengakses file dengan hanya browsing ke file tersebut secara langsung.
Di sisi lain jika seseorang sedang iseng menjalankan query² berbahaya untuk menemukan situs WordPress menggunakan versi tertentu, maka tag disallow ini dapat melindungi website kamu dari serangan massa itu.
Kamu juga bisa melakukan pembatasan pada WordPress plugin direktori. Hal ini akan memperkuat keamanan situs kamu jika seseorang sedang mencari-cari dengan menggunakan plugin² yang memang memiliki security yang sangat lemah dan rentan untuk bisa melakukan eksploitasi sebuah serangan.
Menambahkan file XML Sitemap ke dalam robots.txt
Jika kamu menggunakan Yoast's WordPress SEO plugin atau beberapa plugin yang lain untuk menghasilkan XML sitemap, maka plugin tersebut akan mencoba secara otomatis menambahkan sitemap kamu yang terkait kedalam robots.txt file. Namun jika gagal, maka plugin tersebut akan menunjukkan sebuah atau beberapa link ke XML Sitemaps yang kamu dengan mudah dapat menambahkan kedalam file robots.txt secara manual seperti ini:
Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml
Seperti apakah seharusnya sebuah file robots.txt yang ideal?
Sejujurnya, banyak blog populer menggunakan file robots.txt dengan sangat sederhana. Isinya juga bervariasi, tergantung pada kebutuhan spesifik situs kamu:
User-agent: *
Disallow:
Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml
File robots.txt ini hanya mengatakan bahwa semua bot diijinkan untuk indexing semua konten dan menyediakan link ke situs XML sitemaps.
Berikut adalah salah satu contoh lain dari robots.txt file;
User-Agent: *
Allow: /?display=wide
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /readme.html
Disallow: /refer/
Sitemap: http://www.domain.com/post-sitemap.xml
Sitemap: http://www.domain.com/page-sitemap.xml
Sitemap: http://www.domain.com/deals-sitemap.xml
Sitemap: http://www.domain.com/hosting-sitemap.xml
