Perintah yang difungsikan untuk membatasi dan mengontrol mesin pencari dalam merambani (meng-index) halaman web kita.
Mana halaman yang tidak ingin dipublikasikan dan mana halaman yang ingin dipublikasikan..
kita bisa mengaturnya melalui robots.txt ini.
Perintah yang digunakan adalah DISALLOW dan ALLOW.
DISALLOW: melarang untuk dirambani.
ALLOW: mengizinkan untuk dirambani.
Pada dashboard blogger tampilan baru, cara untuk menyeting robot.txt sangat dipermudah, tidak perlu repot-repot lagi untuk upload file robots.txt
Menu Setelan • Preferensi Penelusuran • robot.txt khusus
Perintah umum (recommended google) adalah:
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow:
Sitemap: http://www.romli.net/feeds/posts/default?orderby=updated
Untuk penggunaan di blogger tinggal copy teks diatas lalu paste di kolom teks area pengaturan robots.txt khusus.
*Alamat sitemap ganti dengan alamat sitemap anda.
Arti dari perintah robots.txt:
User-agent: Mediapartners-Google
Robot pengindex Mediapartners-Google (google adsense) dibolehkan untuk mengindex.
Disallow:
Tidak ada larangan untuk merambani (karena tidak terdapat / dibelakangnya)
Dalam perintah ini untuk mempermudah google adsene dalam menyesuaikan penayangan iklan dengan konten situs anda.
User-agent: *
Tanda bintang berarti "seluruh robot peng-index" dibolehkan untuk mengindex.
Disallow:
Tidak ada larangan untuk merambani (karena tidak terdapat / dibelakangnya)
Jika ingin melarang perambanan di semua halaman, tambahi / dibelakangnya
Disallow: /
Bila ingin halaman tertentu saja yang dilarang untuk dirambani tambahkan nama halaman tersebut setelah / misal:
Disallow: /search
Berarti melarang untuk merambani halaman search
Allow: /
Memperbolehkan untuk merambani semua halaman (kebalikan dari Disallow)
Sitemap:
Alamat sitemap anda.
Membantu mesin pencari untuk mempermudah dan mempercepat melakukan perambanan di web kita.
Untuk melihat secara langsung hasil editan robots.txt kita.
Setelah menyimpannya, kita tinggal menambahkan /robots.txt di belakang URL kita
Misal: http://www.romli.net/robots.txt
Sebagai perbandingan, kunjungi link berikut..
http://www.mcanerin.com/EN/search-engine/robots-txt.asp
Anda akan diajak untuk membuat robots.txt dengan generator tool.
Semoga bermanfaat..
sumber: romli
Tidak ada komentar:
Posting Komentar