Fungsi Robots.Txt

Penjabaran sederhana tentang Robots.txt adalah..
Perintah yang difungsikan untuk membatasi dan mengontrol mesin pencari dalam merambani (meng-index) halaman web kita.

Mana halaman yang tidak ingin dipublikasikandan mana halaman yang ingin dipublikasikan..
kita bisa mengaturnya melalui robots.txt ini.

Perintah yang digunakan adalah DISALLOW dan ALLOW.
DISALLOW: melarang untuk dirambani.
ALLOW: mengizinkan untuk dirambani.

Pada dashboard blogger tampilan baru, cara untuk menyeting robot.txt sangat dipermudah, tidak perlu repot-repot lagi untuk upload file robots.txt

Menu Setelan • Preferensi Penelusuran • robot.txt khusus







Perintah umum (recommended google) adalah:

User-agent: Mediapartners-Google Disallow: User-agent: * Disallow: Sitemap: http://www.romli.net/feeds/posts/default?orderby=updated



Untuk penggunaan di blogger tinggal copy teks diatas lalu paste di kolom teks area pengaturan robots.txt khusus.
*Alamat sitemap ganti dengan alamat sitemap anda.



Arti dari perintah robots.txt:

User-agent: Mediapartners-Google
Robot pengindex Mediapartners-Google (google adsense) dibolehkan untuk mengindex.

Disallow:
Tidak ada larangan untuk merambani (karena tidak terdapat /dibelakangnya)
Dalam perintah ini untuk mempermudah google adsene dalam menyesuaikan penayangan iklan dengan konten situs anda.

User-agent: *
Tanda bintang berarti "seluruh robot peng-index" dibolehkan untuk mengindex.

Disallow:
Tidak ada larangan untuk merambani (karena tidak terdapat / dibelakangnya)

Jika ingin melarang perambanan di semua halaman, tambahi /dibelakangnya
Disallow: /

Bila ingin halaman tertentu saja yang dilarang untuk dirambani tambahkan nama halaman tersebut setelah / misal:
Disallow: /search
Berarti melarang untuk merambani halaman search

Allow: /
Memperbolehkan untuk merambani semua halaman (kebalikan dari Disallow)

Sitemap:
Alamat sitemap anda.
Membantu mesin pencari untuk mempermudah dan mempercepat melakukan perambanan di web kita.

Untuk melihat secara langsung hasil editan robots.txt kita.
Setelah menyimpannya, kita tinggal menambahkan /robots.txt di belakang URL kita
Misal: http://www.romli.net/robots.txt

Sebagai perbandingan, kunjungi link berikut..
http://www.mcanerin.com/EN/search-engine/robots-txt.asp
Anda akan diajak untuk membuat robots.txt dengan generator tool.