Cara Membuat Robots.txt

 Blog security
Cara Membuat Robots.txtby Jonoon.Cara Membuat Robots.txtRobots.txt merupakan file yang terdapat dalam root directory dari suatu situs yang berfungsi untuk mengontrol halaman tertentu agar dapat diindex maupun tidak diindex oleh search engine. Untuk settingan default, sebuah blog yang tidak memiliki robots.txt maka secara otomatis keseluruhan halaman blog akan dijelajahi dan diindex oleh search engine. Ini membuat bagian-bagian penting yang seharusnya tidak di index malah […]

cara membuat robot.txtRobots.txt merupakan file yang terdapat dalam root directory dari suatu situs yang berfungsi untuk mengontrol halaman tertentu agar dapat diindex maupun tidak diindex oleh search engine.

Untuk settingan default, sebuah blog yang tidak memiliki robots.txt maka secara otomatis keseluruhan halaman blog akan dijelajahi dan diindex oleh search engine. Ini membuat bagian-bagian penting yang seharusnya tidak di index malah ke index search engine. Selain itu  cara  menyembunyikan direktory blog dari bowser juga sangat penting untuk menonaktifkan akses file-file penting dari pengunjung. Karena suatu kerugian besar buat kita jika file-file rahasia dapat dilihat oleh orang lain.

Kasus diatas dapat terjadi bagi pengguna self hosting. Bayangkan jika direktori wp-admin, wp-content/plugins, wp-content/cache, wp-includes dll keindex oleh search engine. Maka robots.txt sangat di perlukan bagi pengguna blog self hosting. Dengan robots.txt kita dapat mencegah spider search engine untuk mengubrak-abrik file-file penting tersebut.

Berbeda kasus untuk pengguna wordpress dan blogspot, direktori mereka sudah otomatis tidak bisa di akses oleh penggunanya. Jadi cukup aman tanpa robots.txt. Kalaupun ingin membuat robots.txt mereka hanya bisa menempatkaknnya didalam theme di bagian header. Ini dapat dilakukan manual maupun menggunakan plugin. Untuk wordpress bisa pakai plugin KB Robots.txt.

Dengan memblokir direktori tertentu atau file tertentu menggunakan robots.txt akan membuat blog atau website lebih SEO friendly, dikarenakan waktu yang dibutuhkan search engine untuk meng-index blog kita jadi lebih cepat (karena spider search engine hanya mengindex yang di prioritaskan saja). Ini merupakan salah satu cara agar blog kita cepat diindex oleh search engine.

Cara membuat robots.txt di blog self hosting.

  1. Masuk ke cPanel > /public_html
  2. Buat new file dan beri nama robots.txt
  3. Lalu isikan file robots.txt tersebut sesuai yang anda inginkan.
  4. Sebagai contoh, nih saya kasih robots.txt ala kaplik.com
    User-agent: Googlebot
    Disallow: /*.php$
    Disallow: /*.css$
    Disallow: /*.js$
    Disallow: /*.inc$
    Disallow: /*?
    Disallow: /*/2$
    Disallow: /*/3$
    Disallow: /*/4$
    Disallow: /*/5$
    Disallow: /*/6$
    Disallow: /*/7$
    Disallow: /*/8$
    Disallow: /*?comments=true$
    Disallow: /*?postcomment=true$
    
    User-agent: ia_archiver
    Disallow: /
    
    User-agent: duggmirror
    Disallow: /
    
    User-agent: *
    Disallow: /wp-login.php
    Disallow: /wp-register.php
    Disallow: /wp-admin/
    Disallow: /cgi-bin/
    Disallow: /wp-includes/
    Disallow: /wp-content/cache/
    Disallow: /wp-content/plugins/
    Disallow: /wp-content/themes/
    Disallow: /trackback/
    Disallow: /feed/
    Disallow: /author/
    Disallow: /search/
    
    Sitemap: http://namadomain.com/sitemap.xml
    Sitemap: http://namadomain.com/sitemap.xml.gz

Setelah anda mengotak-atik file robots.txt, jangan lupa di cek valid atau tidaknya robots.txt anda. Bisa saja kemungkinan banyak yang error karena salah ketik/tulis.

Untuk mengecek robots.txt anda, bisa pakai Robots.txt Checker. Setelah sampai disana tinggal masukan url robots.txt anda. Contoh http://namadomain.com/robots.txt.

Author: 

Saya adalah pemilik Kaplik.Com, Tujuan saya menulis adalah untuk berbagi pengetahuan maupun pengalaman kepada semua pembaca. Buat yang ingin tanya-tanya bisa langsung Contact ke Google +1, atau bisa melalui facebook. Thanks...

21 Responses

  1. Bocah Blogs08/12/2012 at 20:38Reply

    Mantab,
    menambah wawasan saya

Leave a Reply