Робот ПС (пошукової системи), ще його називають веб-краулер, павук або бот, – це програмний скрипт-агент пошукової системи, що автоматично переміщується Інтернетом. Основна мета робота — сканувати вміст Інтернету, щоб пошукові системи могли оновлювати свою базу даних веб-сторінок, роблячи інформацію доступною для користувачів під час пошуку.
Характеристики діяльності пошукових роботів
Роботи ПС не займаються аналізом інформації, яку вони отримують, і не надають оцінку якості веб-сайтів або їхніх сторінок. Їхнє основне завдання полягає в скануванні даних і додаванні їх у загальну базу даних пошукової системи. Ця діяльність схожа з роботою досвідченого кур’єра, який слідує за строго заданим маршрутом.
Пошукові роботи розрізняються за своїм призначенням і типом оброблюваної інформації. Наприклад, у Google основні роботи для сканування сайтів включають Googlebot і Googlebot-Mobile для мобільних версій сайтів. У Bing основні роботи включають Bingbot і MSNBot. Googlebot-Image і BingImageBot відповідають за сканування зображень відповідних пошукових систем, тоді як Googlebot-News і BingNewsBot займаються обходом новинного контенту.
| Тип даних | Bing | |
|---|---|---|
| Веб-сторінки | Googlebot | Bingbot |
| Мобільні сторінки | Googlebot-Mobile | – |
| Зображення | Googlebot-Image | BingImageBot |
| Новини | Googlebot-News | BingNewsBot |
| Відео | Googlebot-Video | BingVideoBot |
| Карти | Googlebot-Map | – |
| Каталоги | Googlebot-Directory | – |
| Аудіо | Googlebot-Audio | – |
Взаємодія з роботами ПС
Вебмайстри взаємодіють із роботами пошукових систем через файли robots.txt і sitemap.xml, використовуючи певні системні вказівки для управління доступом до індексації певних сторінок сайту. Ці інструкції слугують радше рекомендаціями, оскільки пошукові боти можуть не враховувати їх повністю або частково. Для управління процесом сканування та індексації можна також застосовувати спеціальні інструменти, призначені для оптимізації та прискорення цих процесів.