Solusi URL Tidak Tersedia Untuk Google. Pengambilan Halaman Gagal: Beban Host Terlampaui

Pernah ngalamin masalah serupa? Tenang, jangan buru-buru migrasi ke hosting lain. Karena masalah utamanya bukan di server hostingnya. Tapi di crawl rate atau budget crawl-nya Google. Jadi gini, Google tuh punya semacam daily limit/ batas maksimal url yang bisa mereka crawl setiap harinya. Dan kalau limit/batas ini sudah terlampaui. Maka pesan yang akan muncul waktu kita mau request indexing untuk url lain adalah: "URL Tidak Tersedia Untuk Google" dengan keterangan: "Pengambilan halaman Gagal: Beban host terlampaui". 

Untuk penjelasan lengkapnya, bisa bica langsung dihalaman berikut: Panduan pemilik situs besar untuk mengelola anggaran crawling. 

Lantas, gimana solusinya? 

Solusinya adalah biarin aja dan request lagi keesokan harinya. Mestinya sih langsung bisa ya. Karena Google sendiri bilang di halaman ini: Change Googlebot crawl rate kalau "You cannot increase the crawl rate". Artinya, yang emang udah nggak ada yang bisa kita lakuin untuk naikin limit harian ini. 

Google sih nggak secara spesifik ngasih tau batasan limitnya ya. Tapi seinget saya, untuk request indexing via API tuh maksimal adalah 200 url/hari. Kenapa saya tau? karena saya pernah nyoba request indexing via API pake NodeJS, dan dari log yang saya dapet tuh maksimal url yang bisa di crawl by sitemap tuh memang hanya 200 url/hari. Jadi untuk URL lain, mesti nunggu keesokan harinya. Jadi ya kemungkinan sama sih. 

Dan kenapa kok saya bisa yakin banget kalau masalah utamanya bukan di server hosting? Karena saya pernah ngalamin masalah ini di salah satu situs kementrian (yang waktu itu saya kelola) yang saya tau banget servernya ada dimana, dan emang lagi nggak ada jadwal maintenance segala macem hari itu. Dan pas diakses, ya memang lancar-lancar aja. 

Jadi kalau sampean nemu masalah seperti ini, tapi pas diakses urlnya aman-aman aja. Masalahnya udah pasti bukan di sisi hosting. Jadi kalaupun sampean open ticket dan nanyain masalah ini ke provider hosting, mereka pasti bakalan bilang nggak ada maintenance segala macem dan nggak ada server yang down juga. Karena masalahnya ya memang bukan di server mereka. Dan nggak bener juga, kalau dibilang ada plugin tertentu yang bentrok sampai kemudian ngalangin Google bot untuk nge-crawl. Karena mau sampean deactivated all plugin pun, pesan yang muncul pasti sama aja kalau udah kena daily limit (untuk kasus ini ya). 

Intinya sih, kita cuma bisa sabar. Yang susah, ya yang pada main di niche berita. Karena nunggu sampe besok tuh serasa nunggu berita yang mau di publish udah basi duluan wkwkwk... Ibarat baca koran, tapi yang dibaca koran kemaren. Sulit nek iki hahaha

Karena daily limit ini kayanya sih ya berlaku untuk keseluruhan website yang ada di satu root domain. Jadi, misal domain.com punya sub domain di sub.domain.com. Si sub.domain.com belum request indexing nih sepanjang hari ini. Tapi di root domainnya si domain.com udah ngabisin limit harian 200 urlnya, maka si sub.domain.com keliatannya bakalan kena dampak juga. Karena balik ke pengalaman saya diatas tadi. Situs kementrian yang saya kelola waktu itu kebetulan websitenya berada di subdomain. Dan sepanjang hari itu, saya yakin banget nggak ada yang request indexing. Cuma, baik root domain maupun beberapa subdomain lain (selain yang saya kelola ini) dihari yang sama memang mosting update terkait kegiatan tertentu yang kalau ditotal mungkin ada 200 url lebih. Tapi balik lagi, yang terakhir ini hanya sebatas asumsi saya aja. 

So, buat yang ngerasa bingung sama masalah diatas, semoga dapet sedikit jawaban ya dari postingan ini. 

Dan buat yang mau nambahin, monggo silahkan komen dibawah :)