Около 50 000 сайтов уже получили от Вебмастера оповещения, которые помогают заметить возможную проблему на сайте, — об ответе некоторых страниц кодом 4XX. Коды ответа 4ХХ означают, что контент сайта недоступен для робота и, соответственно, через некоторое время пропадет из поисковой выдачи.
Как посмотреть примеры страниц с кодами статусов 4XX
В Яндекс Вебмастере есть уведомление, благодаря которому можно будет вовремя узнать о росте количества страниц с кодами 4ХХ и посмотреть их список в сервисе. Если вы подписаны на уведомления от Вебмастера, то оповещение поступит вам на указанный почтовый адрес. В любом случае, посмотреть сообщение об ошибке можно в Вебмастере. Для этого:
1. Перейдите в Вебмастер в раздел Диагностика.
2. Найдите алерт «Некоторые страницы сайта отвечают HTTP-кодом 4хх».
3. Нажмите на ссылку «Посмотреть примеры страниц» — откроется список список с такими кодами.
Если такого уведомления нет, то Вебмастер не диагностировал проблем с ошибками 4ХХ.
Если вы обнаружили, что статус некоторых ваших страниц — 4ХХ, найдите и исправьте возникшие ошибки, чтобы робот продолжил индексирование. Если вы действительно недавно удалили достаточно большое количество страниц с вашего сайта, пропустите это сообщение. Но если такое произошло неожиданно и без видимых причин, то оповещение поможет вовремя заметить ошибку или техническую проблему.
Возможные причины кода ответа 4ХХ
- Страница удалена (специально или по ошибке).
- Возникла ошибка в адресе при размещении ссылки.
- Доступ к странице заблокирован.
Рекомендации
В зависимости от типа страницы есть несколько способов исправления ошибки.
В случае важных страниц с необходимым в поиске контентом:
- Обратитесь к хостинг-провайдеру и разработчику сайта.
- Проверьте настройки сервера на предмет блокировок робота, уточнить их у хостинг-провайдера или в службе поддержки используемого движка.
- Изучите логи обращений к сайту и поищите запросы с User-Agent робота Яндекса.
В случае намеренно удаленных страниц:
- Настройте перенаправление с удаленных страниц на нужные с помощью кодов 3ХХ, чтобы у пользователей сохранился доступ к важному контенту.
- Запретите обход ненужных страниц в robots.txt директивой Disallow.
- Проверьте черный список сайта и IP, так как запросы робота Яндекса могли быть заблокированы по IP, а инструмент проверки сервера не всегда может показать такую проблему.
- Правильно оформите страницу с ошибкой 4ХХ, сообщите пользователям, что контент по данному адресу отсутствует и предложите перейти к другим разделам сайта.
В случае страниц, которые никогда не существовали на сайте:
- Убедитесь в том, что на вашем сайте нет ошибок в адресах ссылок.
- Если исправление технических ошибок не помогло, запретите обход ненужных страниц в robots.txt директивой Disallow.
Подробнее об этих и других HTTP-статусах можно прочитать в Справке.