Павук, також відомий як пошуковий робот, краулер, веб-спайдер або бот, є браузерним типом програми або автоматичним скриптом. Його основне завдання – індексувати вміст веб-сторінок, тобто обробляти інформацію і вносити її в базу даних (БД) пошукової системи. Ці веб-ресурси вже відомі пошуковим системам, що дає змогу павуку ефективно виконувати свою функцію.
Крім індексації наявних сторінок, обов’язки павука включають регулярне відвідування вже проіндексованих ресурсів. Мета цього – виявлення змін на сторінках і внесення актуалізованих даних у кеш пошукової системи. Також, павук шукає нові веб-сайти, які з’явилися в мережі, переходячи за посиланнями з уже відомих сайтів. Якщо новий сайт не має зовнішніх посилань, привернути увагу пошукових роботів можна за допомогою функції “Add URL”, яка доступна у всіх пошукових системах.
Важливо зазначити, що в пошукових системах існує кілька типів ботів, кожен з яких виконує свої специфічні завдання. Наприклад, у Google, крім основного робота (Googlebot), працюють боти, що спеціалізуються на індексації новин, відеофайлів, зображень, сайтів для мобільних пристроїв, а також сайтів, які беруть участь у рекламних мережах AdSense. Для контролю активності пошукових ботів на конкретному веб-сайті використовується файл robots.txt, який містить рекомендаційні директиви для цих ботів.