Що більше даних ви скануєте, то більше пам’яті необхідно для їхнього зберігання та обробки. Screaming Frog SEO Spider використовує гібридний механізм з параметрами, що налаштовуються, який вимагає певного налаштування для ефективного сканування у великому масштабі.
За замовчуванням SEO Spider використовує оперативну пам’ять для оброблення та зберігання даних замість жорсткого диска на ПК. Це забезпечує високу швидкість і гнучкість, але може призвести до деяких недоліків, особливо за великого масштабу сканування.
Щоб уникнути цих проблем при скануванні, необхідно налаштувати параметри програми Screaming Frog SEO Spider.
По-перше, потрібно змінити режим зберігання даних:
- Натисніть опцію «Configuration» → Перейти у «System»
- Далі пункт «Storage Mode» → та встановити «Database Storage».
Тепер дані записуватимуться на жорсткий диск, а не в оперативну пам’ять. Бажано використовувати SSD для жорсткого диска. Один із головних плюсів такого налаштування – всі результати просто дозаписуються в базу, і якщо станеться збій, дані не будуть втрачені (примітка: після перемикання в цей режим падінь не було).
По-друге, необхідно задати обсяг оперативної пам’яті:
- Натисніть опцію «Configuration» → Перейти у «System».
- Далі пункт «Memory Allocation».
Розробники рекомендують використовувати не менше 4 Гб для сканування 2 мільйонів сторінок і не менше 8 Гб для більш ніж 5 мільйонів сторінок. Однак, для більшості користувачів достатньо 16-32 Гб пам’яті.
Для сканування великої кількості сторінок вебсайту, необхідно вимкнути деякі функції:
- Натисніть опцію «Configuration»
- Перейти у «Spider».
- Де залишаємо тільки внутрішні посилання, якщо не планується шукати биті зовнішні посилання.
- Далі необідно відключити збір зображень, щоб програма не забирала їх на сайті. Для цього натисніть опцію «Configuration» → Перейти у «Exclude» та вставляємо такі винятки:
http.*\.jpg
http.*\.JPG
http.*\.jpeg
http.*\.JPEG
http.*\.png
http.*\.PNG
http.*\.gif
http.*\.pdf
http.*\.PDF
- Далі необхідно налаштувати: Натисніть опцію «Configuration» → та перейти у «Speed». Рекомендується встановити від 7 до 10 потоків (10-30 URL на секунду), щоб забезпечити комфортну роботу при скануванні великих сайтів.
- Потім натисніть опцію «Configuration» та замініть User-Agent c Screaming Frog SEO Spider на Googlebot, щоб виключити можливе блокування сканування/парсингу конкурентами.
- Останній крок, потрібно зберегти всі наші налаштування і зміни та зробити їх дефолтними за замовчуванням, щоб не налаштовувати щоразу, під час сканування нового проєкту. Натисніть опцію «Configuration» потім перейдіть → «Profiles» та натисніть → «Save Current Configuration as Default».
Після цих налаштувань додайте url потрібний вам URL сайту і можете сканувати без проблем великі вебсайти.