Setelah melihat tayangan video Matt tentang Bagaimana Mesin Pencari Google Bekerja, masih dari sumber yang sama, berikut ulasan lengkap tentang perjalanan Cara Kerja Perayapan Dan Pengindeksan Google sebagai mesin telusur untuk memenuhi kebutuhan pengguna yaitu dimulai sebelum orang mengetik kueri di penelusuran. Google telah melakukan dengan perayapan dan pengindeksan web dari triliunan dokumen.
Google mencari informasi dengan perayapan
Google menggunakan perangkat lunak yang disebut dengan “perayap web” untuk menemukan laman web yang tersedia untuk publik. Perayap yang paling terkenal disebut “Googlebot”. Perayap melihat laman web dan mengikuti tautan pada laman tersebut, hampir sama seperti yang Anda lakukan jika Anda menjelajahi konten di web. Perayap membuka tautan satu ke tautan lainnya dan membawa data tentang laman web tersebut kembali ke server Google.
Proses perayapan dimulai dari daftar alamat web dari perayapan petasitus sebelumnya yang diberikan oleh pemilik situs web. Saat perayap Google mengunjungi situs web ini, perayap mencari tautan laman lain untuk dikunjungi. Perangkat lunak ini memberikan perhatian khusus terhadap situs baru, perubahan terhadap situs yang sudah ada, dan tautan yang mati.
Program komputer menentukan situs mana yang akan dirayapi, seberapa sering, dan berapa banyak laman yang akan diambil dari setiap situs. Google tidak menerima pembayaran agar suatu situs bisa dirayapi lebih sering untuk hasil penelusuran web kami. Google lebih peduli akan hasil sebaik mungkin karena dalam jangka panjang, itulah yang terbaik untuk pengguna dan bagi bisnis Google.
Google mengatur informasi dengan pengindeksan
Web itu bagaikan perpustakaan umum yang terus berkembang dengan miliaran buku dan tanpa administrasi pusat. Google pada dasarnya mengumpulkan laman selama proses perayapan, lalu membuat indeks, sehingga Google tahu persis cara untuk mencari sesuatu. Hampir seperti indeks di bagian belakang buku, indeks Google meliputi informasi tentang kata dan lokasinya. Saat Anda menelusuri, pada level yang paling dasar, algoritme Google mencari istilah penelusuran Anda di indeks untuk menemukan laman yang sesuai.
Setelah itu, proses penelusuran menjadi jauh lebih kompleks. Saat menelusuri “anjing” Anda tidak menginginkan laman dengan kata “anjing” ratusan kali di dalamnya. Mungkin Anda menginginkan gambar, video, atau daftar jenis anjing. Sistem pengindeksan Google mencatat banyak aspek laman yang berbeda, misalnya kapan laman dipublikasikan, apakah laman tersebut berisi gambar atau video, dan masih banyak lagi. Dengan Grafik Pengetahuan, kami tidak sekedar mencocokkan kata kunci. Google terus berusaha lebih memahami orang, tempat, dan hal yang penting bagi Anda.
Saran Google untuk pemilik situs web
Kebanyakan situs web tidak perlu menyiapkan batasan untuk perayapan, pengindeksan, atau penayangan, sehingga laman mereka layak untuk muncul dalam hasil penelusuran tanpa kerja ekstra. Artinya, pemilik situs memiliki banyak pilihan tentang cara Google merayapi dan mengindeks situs mereka melalui Alat Webmaster dan sebuah file yang disebut “robots.txt”. Dengan file robots.txt, pemilik situs dapat memilih untuk tidak dirayapi oleh Googlebot, atau mereka dapat memberikan petunjuk yang lebih spesifik tentang cara memproses laman di situs mereka.
Pemilik situs memiliki pilihan detail dan dapat memilih cara konten diindeks dalam basis laman per laman. Contohnya, mereka dapat ikut serta untuk menampilkan laman tanpa cuplikan (ringkasan laman yang ditampilkan di bawah judul di hasil penelusuran) atau versi dalam cache (versi alternatif yang disimpan di server Google apabila laman langsung tidak tersedia). Webmaster juga dapat memilih untuk mengintegrasikan penelusuran ke dalam laman mereka sendiri dengan Penelusuran Khusus.
Sumber: www.google.com
Cara Kerja Perayapan Dan Pengindeksan Google – Lentera SEO
