Untuk kamu yang belum begitu mengerti tentang robot txt menurut saya lebih baik gunakan bawaan saja karena cukup berbahaya seperti yang pernah saya sendiri alami sebelum index saya banyak di ambil oleh google ada kesalahan yang saya buat saya salah menuliskan domain yang seharus nya https://fery.my.id malah saya tulis https://wwwffery.com di akhir www saya lupa menggunakan [.] dan ternyata setelah saya cek di page one di tuliskan bahwa ada kesalahan dari robots anda setelah saya cek benar ada nya kesalahan penulisan domain jadi hati-hari
untuk melihat robot txt saya silakan buka link milik saya di https://fery.my.id/robots.txt atau bisa langsung copy paste script di bawah ini
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://fery.my.id/sitemap.xmlsilakan ganti kode kuning dengan domain milik anda jangan sampe salah penulisan nya karena jika salah akan di abaikan dengan mesin pencari , saya sendiri memperbolehkan semua user-agent membaca isi dari blog milik saya dan saya memblokir index pencarian /search
selain domain https://fery.my.id/search maka semau nya akan di index ke google
hasil nya dari search engine google , bing dan yahoo hasil pencarian domain milik saya meningkat dan umur domain yang saya miliki ini baru 2 bulan di akhir tahun 2017 saya baru order domain ini karena domain yang lama meninggal karena lupa di perpanjang hehe
silakan simak gambar untuk melihat robot khusus milik saya, ini hanya refrensi silakan cari settingan lain jika tidak setuju dengan settingan milik saya
jika ingin melihat hasil pencarian blog saya silakan gunakan keyword site:https://fery.my.id atau gunakan seoquake