Cara Membuat File Robots.txt untuk Optimasi Website

0

Berbagai upaya ingin saya lakukan untuk Optimasi Website dimulai dari memilih nama domain, menggunakan kata kunci, membuat artikel, dan memasang berbagai plugin yang mendukung SEO, termasuk plugin yang satu ini yang telah berhasil saya setting yaitu plugin robots.txt.

 

Robots.txt adalah sebuah file yang berisi kode-kode yang berfungsi untuk menginstruksikan robot-robot search engine untuk dapat menjelajahi dan mengindex seluruh atau sebagian halaman  website/blog.

Mengapa saya katakan sebagian halaman saja ? Karena tidak semua file atau folder harus di index oleh search engine, misalkan folder admin atau folder yang berisi dokumen-dokumen penting.

Robots.txt pun akan meningkatkan SEO blog anda, karena robots.txt dapat mencegah blog anda dari duplikat konten.

Robot-robot search engine paling tidak suka bila menemukan duplikat konten dari blog anda, bila robot search engine menemukan duplikat konten maka blog anda akan terkena pinalti dari search engine yang bersangkutan.

Berikut contoh cara seting  robots.txt  :

User-agent: Googlebot
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*?*
Disallow: /*?
User-agent: ia_archiver
Disallow: /User-agent: duggmirror
Disallow: /User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /trackback/
Disallow: /feed/
Disallow: /tag/
Disallow: /author/
Disallow: /category/Sitemap: http://namadomainanda.com/sitemap.xml
Sitemap: http://namadomainanda.com/sitemap.xml.gz

Cara membuat file robots.txt  ini mudahsaja, anda hanya tinggal membuka notepad kemudian copy code di atas laluberi nama robots.txt. Setelah itu anda upload ke server anda sejajar dengan wp-admin, wp-content dll. Sehingga nanti alamat robots.txt anda menjadi :http://namadomainanda.com/robots.txt

Namun jika anda merasa kesulitan untuk membuat file robots.txt  secara manual ada cara lain yang paling mudah dapat anda lakukan yaitu menggunakan plugin dari mesin wordpress yang dapat langsung di download dan langsung anda install kedalam website anda. Berikut ini plugin yang dapat anda download : http://wordpress.org/extend/plugins/kb-robotstxt/

Cara  Menginstal dan Menggunakan  KB Robots.Txt :

Download dan install plugin KB Robots.txt terlebih dahulu.

  1. Setelah itu buka Settings » KB Robots.txt
  2. Isikan kotak yang sudah di sediakan dengan perintah-perintah sesuai dengan keinginan anda atau anda bisa gunakan perintah-perintah yang diambil langsung dari wordpress.org

Setelah anda melakukan install dan setting maka untuk memastikan bahwa setting yang anda lakukan sudah baik dan benar, maka disarankan untuk melakukan pengecekan terhadap file robots.txt  apakah sudah valid atau belum, untuk itu anda dapat menggunakan tools berikutini  : http://tool.motoricerca.info/robots-checker.phtml atau search di google dan ketik“ file robots.txt checker”

Dan pastikan bahwa apa yang anda setting sudah mendapatkan validasi dari robots.txt  checker  seperti symbol  berikut ini :
Valid Robots.txt

Jika anda melakukannya dengan benar sesui petunjuk saya rasa  tidak ada masalah, dan jika menemui kendala ulangi lagi dan perhatikan kembali karakter huruf dan tulisan  yang ada jangan sampai salah tulis atau ketik.

Memasang beberapa plugin kedalam website adalah sah-sah saja, namun yang perlu diperhatikan adalah manfaat dari plugin itu sendiri dan disesuaikan dengan kebutuhan anda untuk optimasi website, karena disini anda harus memperhitungkan kapasitas hosting yang anda miliki. Jika perlu anda dapat menambah kapasitas hosting yang anda milik dengan menghubungi pihak hosting tentunya.

Selamat mencoba semoga bermanfaat.

Leave A Reply

Your email address will not be published.