Энгийнээр хэлбэл, Google-ийн crawler bot нь вэб хуудсуудыг мөлхөж, дараа нь тэдгээрийг! индекст оруулах үүрэгтэй. Ашиглалтын Факсын жагсаалт явцад программ хангамж нь бие! даан дагаж мөрдөх бусад холбоосуудыг хайж олох эсвэл .xml сайтын газрын зургийн URL-уудыг дагаж шинэ контентыг үргэлж шинжилдэг.

Нэвтрэх үед танигдахын тулд роботууд ерөнхийдөө хэрэглэгчийн агент, өөрөөр хэлбэл таних! тэмдэгт мөрийг ашигладаг. Манай сервер дээрх Apache бүртгэлийн файлаас зөвлөгөө авснаар! бид Googlebot- ийн зочилсон мэдээллийг харж болно , гэхдээ бас Microsoft-ын BingBot, Хятадын зах зээлд Baiduspider, Орост зориулсан YandexBot байдаг.

100, 1000 эсвэл 10,000 хуудастай сайтуудыг сканнердах ажлыг гүйцэтгэх нь маш их ачаалалтай бөгөөд юуны түрүүнд техник хангамжийн нөөцийн хувьд үнэтэй байхаас гадна хяналт тавихын тулд үе үе шалгаж байх ёстой олон тэрбум сайт байдаг тул зарцуулсан цаг хугацааны хувьд ч үнэтэй байдаг. аливаа шинэ шинэчлэлт эсвэл агуулгын өөрчлөлт.

Тиймээс зарим сайтыг илүү олон удаа сканнердах боломжийг олгодог хэд хэдэн хүчин зүйл дээр үндэслэн сайт бүрт зориулсан цаг хугацаа, нөөцийг хязгаарлах шаардлагатай бол заримыг нь ховорхон шалгана.

Google-ийн мөлхөх төсөв гэж юу вэ?

Практик тодорхойлолт өгөхийн Утасны дугаарын жагсаалт тулд бид Googlebot тухайн сайтыг хэдэн удаа мөлхөж байгаагаар мөлхөж буй төсвийг тодорхойлж болно. Жишээлбэл, хэрэв Googlebot таны сайтад хоёр өдөр тутамд 40 удаа зочилсон бол та сард 600 мөлхөх төсөвтэй байх болно.

Арав орчим хуудастай компанийайтын хувьд энэ нь тийм ч чухал асуудал биш байж магадгүй ч өдөр бүр 5 шинэ контент нийтэлдэг блог эсвэл олон мянган бүтээгдэхүүн бүхий цахим худалдааны хувьд энэ нь маш чухал юм.

Мөлхөж буй төсвийг хэрхэн хянах вэ?

Сайтынхаа нөхцөл байдлын Египетийн өгөгдөл талаар тодорхой ойлголттой болохын тулд та Googlebot хандалтын хяналтын системд найдах ёстой бөгөөд янз бүрийн шийдлүүд байдаг.

Хамгийн энгийн бөгөөд үнэ төлбөргүй арга бол Google-ийн сүүлийн 90 хоногийн үйл ажиллагааны графикийг харуулсан Crawl > Crawl Stats хэсэгт Хайлтын Консолын бүртгэлээ ашиглах явдал юм . .