Googlebot

Googlebot — це пошуковий робот, створений Google, який збирає документи з інтернету для будівництва пошукового індексу пошуковика Google.

Якщо вебмайстер бажає обмежити інформацію на своєму сайті для Googlebot, він може використати файл robots.txt або метатег noindex.^[1]

Googlebot ідентифікує себе через стрічку user agent, в якій міститься слово googlebot.