Robots.txt Editor

Deskripsi

Robots.txt adalah editor visual untuk File Pengecualian Robot dan perangkat lunak penganalisis log. Hal ini memungkinkan pengguna untuk dengan cepat dan mudah membuat file robots.txt yang diperlukan untuk menginstruksikan spider mesin pencari, yang merupakan bagian dari situs Web tidak diindeks dan dibuat dapat dicari oleh publik Web umum dan kemudian mengidentifikasi laba-laba, yang tidak tetap pada instruksi tersebut. Program ini menyediakan cara bagi pengguna untuk masuk ke FTP atau server jaringan lokalnya dan kemudian memilih dokumen dan direktori yang tidak dapat dicari. Melalui program ini Anda akan dapat menghasilkan file robots.txt standar industri secara visual; mengidentifikasi laba-laba jahat dan tidak diinginkan dan melarangnya dari situs Anda; perayap mesin pencari langsung ke halaman yang sesuai untuk situs multibahasa; jauhkan laba-laba dari area sensitif dan pribadi situs Web Anda; melacak kunjungan laba-laba dan banyak lagi. Pembaruan dan peningkatan program gratis tanpa batas waktu; jumlah situs Web yang tidak terbatas untuk digunakan.