Cara Menghentikan Mesin Pencari dari Merambah Situs WordPress

Baru-baru ini, salah satu pengguna kami bertanya kepada kami bagaimana mereka dapat menghentikan mesin telusur merayapi dan mengindeks situs WordPress mereka? Ada banyak skenario ketika Anda ingin menghentikan mesin telusur merayapi situs web Anda atau mencantumkannya di hasil penelusuran. Dalam artikel ini, kami akan menunjukkan cara menghentikan mesin telusur merayapi situs WordPress.

Mengapa dan Siapa yang Ingin Berhenti Mesin Pencari

Untuk sebagian besar situs web, mesin telusur adalah sumber traffic terbesar. Anda mungkin bertanya, mengapa ada orang yang ingin memblokir mesin telusur?

Saat memulai, banyak orang tidak tahu cara membuat lingkungan pengembangan lokal atau situs pementasan. Jika Anda mengembangkan situs web Anda hidup di tempat yang dapat diakses publik nama domain, Anda mungkin tidak ingin Google mengindeks laman mode konstruksi atau pemeliharaan Anda yang sedang berjalan.

Ada juga banyak orang yang menggunakan WordPress untuk membuatnya blog pribadi, dan mereka tidak ingin mereka yang diindeks dalam hasil pencarian karena mereka pribadi.

Juga beberapa orang menggunakan WordPress untuk manajemen proyek atau intranet, dan Anda tidak ingin dokumen internal Anda dapat diakses publik.

Dalam semua situasi di atas, Anda mungkin tidak ingin mesin telusur mengindeks situs web Anda.

Kesalahpahaman yang umum adalah bahwa jika saya tidak memiliki tautan yang menunjuk ke domain saya, maka mesin telusur mungkin tidak akan pernah menemukan situs web saya. Ini tidak sepenuhnya benar.

Ada banyak cara mesin pencari dapat menemukan situs web yang terhubung di tempat lain. Sebagai contoh:

Nama domain Anda mungkin sebelumnya dimiliki oleh orang lain, dan mereka masih memiliki beberapa tautan yang mengarah ke situs web Anda sekarang. Beberapa hasil pencarian situs domain bisa diindeks dengan tautan Anda di sana. Ada ribuan halaman dengan hanya daftar nama domain, situs Anda dapat muncul di salah satu dari mereka.

Ada banyak hal yang terjadi di web dan sebagian besar tidak berada di bawah kendali Anda. Namun, situs web Anda masih di bawah kendali Anda, dan Anda dapat memerintahkan mesin telusur untuk tidak mengindeks atau mengikuti situs web Anda.

Memblokir Mesin Pencari dari Merangkak dan Mengindeks Situs WordPress Anda

WordPress hadir dengan fitur built-in yang memungkinkan Anda untuk menginstruksikan mesin pencari untuk tidak mengindeks situs Anda. Yang perlu Anda lakukan hanyalah mengunjungi Pengaturan »Membaca dan centang kotak di sebelah opsi Visibilitas Mesin Telusur.

Saat kotak ini dicentang, WordPress menambahkan baris ini ke tajuk situs web Anda:

WordPress juga memodifikasi situs Anda robots.txt file dan tambahkan baris ini ke sana:

Agen pengguna: *
 Disallow: /

Baris-baris ini meminta robot (perayap web) untuk tidak mengindeks halaman Anda. Namun, itu sepenuhnya ke mesin pencari untuk menerima permintaan ini atau mengabaikannya. Meskipun sebagian besar mesin telusur menghormati ini, beberapa laman atau gambar acak dari situs Anda mungkin diindeks.

Cara Memastikan Situs Anda Tidak Muncul di Hasil Pencarian?

Pengaturan standar WordPress visibilitas menginstruksikan mesin pencari untuk tidak mengindeks situs web Anda. Namun, mesin telusur mungkin masih bisa merangkak dan mengindeks halaman, file, atau gambar dari situs web Anda.

Satu-satunya cara untuk memastikan bahwa mesin telusur tidak mengindeks atau merayapi situs web Anda sama sekali adalah dengan kata sandi yang melindungi seluruh situs WordPress Anda di tingkat server.

Ini berarti ketika ada yang mencoba mengakses situs web Anda, mereka diminta untuk memberikan nama pengguna dan kata sandi bahkan sebelum mereka mencapai WordPress. Ini termasuk mesin pencari juga. Setelah kegagalan login, mereka menunjukkan kesalahan 401 dan bot balik. Berikut adalah cara untuk melindungi kata sandi seluruh situs WordPress.

Metode 1: Kata Sandi Melindungi Seluruh Situs menggunakan cPanel

Jika Anda Penyedia hosting WordPress menawarkan akses cPanel untuk mengelola akun hosting Anda, maka Anda dapat melindungi seluruh situs Anda menggunakan cPanel. Yang harus Anda lakukan hanyalah masuk ke dasbor cPanel Anda dan kemudian klik pada ikon "Lindungi Kata Sandi Direktori" di bawah bagian ‘Keamanan’.

Selanjutnya, Anda harus memilih folder tempat Anda menginstal WordPress. Biasanya, ini adalah folder public_html.

Jika Anda memiliki beberapa situs WordPress yang dipasang di bawah direktori public_html, maka Anda perlu mengklik ikon folder untuk mencari dan memilih folder untuk situs web yang ingin dilindungi kata sandi.

Di layar berikutnya, Anda harus memasukkan nama untuk direktori yang dilindungi dan klik tombol 'Simpan'.

Informasi Anda akan disimpan dan cPanel akan memuat ulang halaman. Setelah itu, Anda perlu menambahkan pengguna yang sah dengan memasukkan nama pengguna dan kata sandi.

Itu saja, Anda telah berhasil menambahkan perlindungan kata sandi ke situs WordPress Anda.

Sekarang, setiap kali pengguna atau mesin pencari mengunjungi situs web Anda, mereka akan diminta untuk memasukkan nama pengguna dan kata sandi yang Anda buat sebelumnya untuk melihat situs tersebut.

Metode 2: Melindungi Kata Sandi WordPress dengan Plugin

Jika Anda menggunakan dikelola WordPress hosting solusi, terkadang Anda tidak memiliki akses ke cPanel.

Dalam hal ini, Anda memiliki pilihan untuk menggunakan plugin WordPress yang berbeda untuk melindungi kata sandi situs web Anda. Di bawah ini adalah dua solusi paling populer:

SeedProd – Ini adalah # 1 segera hadir dan plugin mode pemeliharaan untuk WordPress, yang digunakan di lebih dari 800.000 situs web. Muncul dengan kontrol akses dan perizinan fitur lengkap yang dapat Anda gunakan untuk menyembunyikan situs web Anda dari semua orang termasuk mesin pencari. Kami memiliki langkah demi langkah panduan cara untuk SeedProd. Kata Sandi Dilindungi – itu cara yang sangat sederhana untuk melindungi kata sandi situs WordPress Anda dengan satu kata sandi (tidak perlu pembuatan pengguna). Lihat panduan langkah demi langkah kami bagaimana kata sandi melindungi situs WordPress.

Kami harap artikel ini membantu Anda menghentikan mesin telusur merayapi atau mengindeks situs WordPress Anda. Anda mungkin juga ingin melihat langkah demi langkah utama kami Panduan keamanan WordPress untuk pemula.

Jika Anda menyukai artikel ini, silakan berlangganan ke kami Saluran Youtube untuk tutorial video WordPress. Anda juga dapat menemukan kami Kericau dan Facebook.

.

Sumber Artikel