Поиск битых ссылок на сайте

Десктопные сервисы для проверки Sitemap

Screaming Frog SEO Spider Tool — полезная программа с множеством опций настройки, совместимая с Mac OS, Windows, Linux. В дополнение к платной версии у него есть и бесплатная версия, но, конечно же, она имеет ограничения (например, вы не можете запросить более 500 URL-адресов). Программа не подходит для анализа сайта с десятками тысяч страниц, но поможет навести порядок на маленьком молодом ресурсе или пейджере.

Нетпик паук. Еще один хороший чекер сайтов. Основные преимущества: простой интерфейс и широкий набор настроек. Программа совместима с Windows и Mac OS. Инструмент представлен только в платной версии с двухнедельным пробным режимом.

Детектив связи Ксену. Инструмент бесплатный, а его функционал позволяет не только находить битые ссылки, но это основные преимущества утилиты. Из минусов: сайт назначения может тормозить из-за частых запросов программы. Link Sleuth от Xenu может занять несколько часов, чтобы просканировать крупную онлайн-платформу. Утилита совместима только с Windows.

Десктопные инструменты для поиска битых ссылок удобны, но их нужно скачивать и устанавливать, и работают они только на десктопных устройствах, что не всегда удобно.

Проверка внешних битых ссылок

Если внутренние ссылки легко найти с помощью панели вебмастеров Google и Яндекса, то с внешними ссылками дело обстоит иначе. Чтобы их найти, придется прибегнуть к специальным службам. Самые популярные инструменты:

• Проверка битых ссылок.

Сервис или плагин для WordPress, который находит битые внешние и внутренние ссылки. С ним вы увидите исходник и сможете сразу решить проблему.

• Ксену Линк Детектив.

Бесплатное ПО с достаточным набором функций, хотя и несколько устаревшее.

• Кричащая лягушка SEO-паук.

Это позволяет вам проверить 500 URL-адресов бесплатно. Если на сайте большое количество страниц, за их анализ придется платить.

• Badlinks.ru

Дешевый онлайн-сервис. Проверка стоит от 50 руб. Сумма зависит от частоты сканирования и количества страниц.

Какие инструменты подойдут для проверки битых ссылок

Если на сайте большое количество страниц, невозможно вручную проверить каждую и перейти по всем ссылкам. Для поиска лучше использовать специальные инструменты. Это можно сделать с помощью официальных вебмастеров:

• Гугл поисковая консоль. В старом интерфейсе плохие ссылки отображались в отчете об ошибках сканирования. В новом, в разделе «Обложка».

• Яндекс.Вебмастер. Данные находятся в разделе «Индексирование» → «Пропустить статистику». Больше можно найти в разделе «Ссылки».

Вы также можете увидеть битые ссылки в отчетах о заголовках страниц в Яндекс.Метрике и Google Analytics. Если, конечно, заголовок страницы 404 не отличается от остальных. На скриншоте ниже представлена ​​статистика на сайте одного из застройщиков. При переходе по неработающим ссылкам по умолчанию отображается заголовок страницы.

Если вы хотите быть на «себя» с инструментами для веб-мастеров и системами веб-аналитики, приглашаем вас на онлайн-курс «SEO-специалист с нуля до PRO». Подойдет новичкам в поисковом продвижении, интернет-маркетологам, владельцам бизнеса.

SEO-специалист с нуля до PRO

Один из самых полных и профессиональных SEO-курсов в Рунете, созданный на основе стандартов и компетенций экспертов Ingate. Вы освоите профессию
SEO-специалист с нуля. Вы узнаете, как работают поисковые системы, научитесь собирать семантику, познакомитесь с сервисами Яндекс.Вебмастер и Google Search Console.

Плюс

Вы также можете воспользоваться одним из сторонних инструментов SEO-аудита. Например:

• Ксену Линк Детектив. Это бесплатная настольная программа, достаточно функциональная, хотя и немного устаревшая.

• Кричащая лягушка SEO-паук. Программа «Платежная касса». Проверка 500 URL-адресов бесплатна.

• SEO и анализ сайта. Бесплатный и удобный плагин для Chrome.

• Проверьте мои ссылки. Еще один бесплатный плагин для Google Chrome. Вы можете скопировать список битых ссылок в формате CSV.

• Badlinks.ru Платный онлайн-сервис. Стоит от 50 рублей, сумма зависит от количества страниц и регулярности проверки.

Онлайн сервисы проверки внутренних ссылок

Чем хороши сервисы онлайн-аналитики сайта? Они не требуют глубокого входа в систему, подтверждения прав сайта и другой сложной аутентификации. Все просто, зашел, зарегистрировался (и то не всегда) и сделал анализ.

Примечание: если домен сервиса находится в зоне ru, то он по определению русскоязычный и писать об этом не буду.

Сервис Pr-cy.ru

http://pr-cy.ru/link_extractor/

Сервис Pr-cy.ru — это сервис сложного набора инструментов для помощи в различных анализах сайта. Проверка ссылок является одним из них. Проводится верификация домена, регистрация не требуется. Никаких предпочтений для зарегистрированных пользователей нет.

Анализ выполняется сразу для внешних и внутренних ссылок. Ссылки отображаются простым списком с указанием общего количества и количества ссылок, проиндексированных Яндексом. Для ссылок будет отображаться ваш URL и якорь. Анализ можно производить не только с главной страницы сайта, но и с любой страницы внутри сайта.

• Плюсы: бесплатно, без регистрации, быстро, для глубокого анализа есть все необходимые данные.
• Минусы: Сканирование выполняется постранично, и для проверки неработающих ссылок вам потребуется загрузить все страницы сайта сразу.

Обращайте внимание на меньшее. Он будет сопровождать нас на большинстве служб. В конце объясню почему.

Mainspy.ru

http://mainspy.ru/analiz_ssylok_sajta

Сервис Mainspy.ru очень похож на предыдущий сервис и также проверяет внешние и внутренние ссылки на страницах сайта постранично. В плагине есть возможность игнорировать закрытые ссылки (отдельная галочка). Ссылки отображаются в списках с общим количеством.

Связанное Чтение: 17 полезных ссылок для веб-аналитики

Минусы: Сервис не предоставляет текстовую среду для ссылок, только URL-адреса. О, опять же, нужно проверить на битые ссылки, пройдя по очереди все страницы сайта. Также сервис часто зависает и просто не работает. Слабый сервис для анализа и проверки внутренних ссылок.

My-seotools.ru

http://www.my-seotools.ru/analiz-links.php

Этот сервис проверяет внешние и внутренние ссылки сайта, результаты выводятся в виде списка с номером. Показывать закрытые ссылки noindex и nofollow.

Регистрация не требуется, для анализов без регистрации потребуется ввести капчу.

• Плюсы: Помимо того, что сервис бесплатный и не требует регистрации, меня порадовало появление результатов сканирования, которые указывают проверки url, Anchor, noindex и nofollow.
• Минусы: сайты не могут быть проверены с использованием безопасного протокола HTTPS.

Speed-tester.info

http://speed-tester.info/check_url_links.php

Русскоязычный сервис с проверкой внешних и внутренних ссылок.

• Минусы: Несмотря на красивое описание, которое вы увидите над формой входа на страницу, список результатов не разделен на внутренние и внешние ссылки, нет анкоров, нет общего количества ссылок.
• Плюсы: не понял.

Dinews.ru

http://www.dinews.ru/seo/

Этот сервис анализирует ссылки с проверкой индекса в каталоге Яндекс и Рамблер Топ100. Результаты будут отображаться в виде простого списка с указанием числа, БЕЗ анкоров.

• Минус Закрытые ссылки от индексации отображаться не будут. Нет проверки всего сайта на битые ссылки.
• Преимущества Помимо успеха в Рамблер 100, есть дополнительные отзывы о сайте в поисковых системах. Это может быть интересно, но бессмысленно.

Продолжение проверки сайта

• Бесплатный чек
• Полная проверка
• Периодическая проверка
• Специальные тарифы

Бесплатный чек

Поисковый бот просматривает первые 10 страниц сайта и проверяет все найденные на них изображения, файлы и ссылки. Еще одним ограничением бесплатной проверки является интервал между проверками: сайт нельзя проверять чаще, чем раз в месяц. Во всем остальном бесплатный чек идентичен полному.

Полная проверка

Полная проверка позволяет эффективно и быстро найти все битые ссылки на сайте. Период проверки варьируется от нескольких минут до нескольких часов, в зависимости от размера сайта.
Если вы не знаете, сколько страниц у вас есть на вашем сайте, вы можете заказать минимальное количество, а затем продолжить проверку, просто доплатив разницу в цене с самым дорогим планом.

В течение суток после окончания проверки вы можете продолжить ее с большим лимитом страниц. В этом случае достаточно оплатить только разницу в стоимости.

Размер сайта:

• До 100 страниц — 50.
• До 1000 страниц — 190.
• До 50 000 страниц — 450.
• До 300 000 страниц — 750.
• До 1 000 000 страниц — 1500.
• До 12 000 000 страниц — 7 500.

Периодическая проверка

Наш поисковый робот будет регулярно проверять ваш сайт, сообщая обо всех найденных битых ссылках; это поможет вам всегда быть в курсе и быстро исправлять битые ссылки на активы.

Частота проверки:

• Раз в месяц
• Раз в неделю
• Ежедневно

Размер сайта:

• До 100 страниц — 250 ₽ в год
• До 1000 страниц — 650 ₽ в год
• До 50 000 страниц — 2 500 ₽ в год
• До 300 000 страниц — 4 000 ₽ в год
• До 1 000 000 страниц — 8 000 ₽ в год
• До 12 000 000 страниц — 38 000 ₽ в год

• До 100 страниц — 150 ₽ в месяц
• До 1000 страниц — 550 ₽ в месяц
• До 50 000 страниц — 1 300 ₽ в месяц
• До 300 000 страниц — 2 200 ₽ в месяц
• До 1 000 000 страниц — 4 500 ₽ в месяц

• До 100 страниц — 500 ₽ в месяц
• До 1000 страниц — 1900 ₽ в месяц
• До 50 000 страниц — 4500 ₽ в месяц
• До 300 000 страниц — 7 500 ₽ в месяц
• До 1 000 000 страниц — 15 000 ₽ в месяц

SEO-оптимизаторам.

Мы подготовили специальное решение для тех, кому нужно проверить много сайтов:

• гибкая ценовая политика, позволяющая оплачивать чеки исходя из количества фактически просмотренных страниц;
• нефирменные отчеты об инспекциях или отчеты с вашим логотипом;
• доступ к API, позволяющему выполнять все действия программно;

Очень большие сайты.

Чем больше сайт, тем больше внимания нужно уделить его релевантности. И конечно стандартные решения для очень больших сайтов не очень хороши.

Для верификации сайтов объемом более 1 млн страниц мы готовы предложить специальные условия, вплоть до размещения отдельной копии нашего ПО в дата-центре клиента; это позволит организовать любую интенсивность проверки, так что полный обход даже самого крупного сайта займет не более нескольких часов.

По всем вопросам о нестандартных решениях и сотрудничестве обращайтесь на support@badlinks.ru.

Итого:

Тип проверки:
Стоимость заказа:
Выход пользователя

Представьтесь, если хотите

Войти или зарегистрироваться

Как искать неработающие ссылки

Найти битые ссылки на сайте можно разными способами. Далее мы подробно поговорим о тех методах, которые не требуют платного ПО и гарантируют максимально точный контроль. В обзор включены 100% бесплатные инструменты: без пробных версий, без ограничений по количеству элементов управления и без урезанной функциональности.

Яндекс.Вебмастер

Проверить сайт на битые ссылки можно на Яндекс.Вебмастере. Для этого откройте панель управления и перейдите в разделы «Индексирование» — «Пропустить статистику».

Далее переходим на вкладку «Все страницы», в фильтре «Код ответа» выбираем 404 Not Found и нажимаем «Применить».

Список проблемных ссылок можно загрузить в виде таблиц XLS или CSV.

Google Search Console

Аналогичную процедуру можно проделать с помощью Google Search Console. Здесь работает следующий алгоритм действий. Заходим в панель управления, переходим в разделы «Индекс» — «Покрытие», и во вкладке «Ошибки» получаем подробный отчет о текущих недостатках на сайте.

Xenu Link Sleuth

Проверенный инструмент для эффективного поиска битых ссылок. Xenu Link Sleuth — совершенно бесплатная программа для установки на ПК. По функционалу это полный аналог таких популярных коммерческих анализаторов, как Netpeak Spider или Screaming Frog SEO Spider.

Несмотря на то, что Xenu не обновлялся с 2010 года, он до сих пор ценится многими специалистами как многофункциональный инструмент для комплексного аудита внутренней структуры сайта. Помимо поиска битых ссылок, его можно использовать для решения многих других SEO-задач:

• автоматически генерировать карту сайта;
• найти страницы с высокой задержкой возврата;
• фильтровать документы с неуникальными заголовками;
• ищите страницы с высоким уровнем вложенности;
• просматривать статистику внутренних и внешних ссылок на конкретной странице;
• поиск изображений с нетипизированным атрибутом alt, оптимизация изображений на сайте.

При всех своих возможностях программа чрезвычайно проста в освоении. Из относительных минусов — устанавливается только на Windows.

Почему появляются битые ссылки

Рассмотрим основные причины появления страниц «Ошибка 404» и «Не найдено»:

• документ удален с сайта;
• сервер работает некорректно;
• URL-адрес страницы изменился или содержит ошибку.

1. Удалите ненужные страницы и файлы

Все страницы сайта образуют единую систему и связаны между собой. Удаление или некорректная работа любого из них автоматически приводит к появлению битых ссылок на всех страницах, которые ссылались на удаленный. Одна из этих страниц может вести к десяткам неработающих ссылок, поэтому так важно проверять сайт на наличие ошибок и исправлять их.

Например, на сайте есть такое понятие, как «временные внутренние страницы». Они создаются на короткое время, а когда они больше не нужны, удаляются. Важно помнить, что вместе со страницей нужно чистить ссылки, ведущие на нее.

Внешние ссылки могут быть неработающими, если сторонний сайт, на который они ведут, не работает или прекратил свое существование. Например, если его владелец не продлил домен.

Как решить проблему: Перед удалением страницы с сайта поставьте редирект «301» на более релевантную страницу.

2. Изменения в структуре сайта

Когда администратор создает новые подразделы, из них можно извлечь существующие веб-страницы.

Пример:

Допустим, товар X находился в категории «Игрушки», и его URL-адрес выглядел так: site.ru/ingushki/tovar10/. Со временем товару была присвоена другая категория, например, «Игрушки для девочек». Соответственно URL изменился и стал выглядеть так: site.ru/ingushki-dlya-devochek/tovar10/.

В этом случае ссылка может «поплыть», а некоторые гиперссылки перестанут работать. Поэтому рекомендуем периодически проверять работоспособность всех страниц сайта.

3. Ошибки разработчиков, контент-менеджеров, вебмастеров

Человеческий фактор также может привести к битым ссылкам. Программисты, веб-мастера и контент-менеджеры — это реальные люди, которые при перелинковке могут указать неверный адрес или сделать опечатку. В результате ссылка не будет работать. Чтобы минимизировать риск возникновения подобных ситуаций, сразу после создания страницы следует проверять каждую ссылку.

Анализ ошибок на сайте: как найти битые ссылки

Мы уже говорили об этом раньше и повторим еще раз: возьмите за правило регулярно проверять сайт на битые ссылки. Частота такого мониторинга зависит от объема трафика и типа сайта. Например, в новостном портале или крупном интернет-магазине это нужно делать гораздо чаще, чем в одностраничке.

Поиск битых ссылок превращается в ад, если проверять все ссылки на сайте вручную, просто кликая по ним. Специализированные инструменты, которых сейчас предостаточно, помогут быстро и эффективно исправлять ошибки URL. Рассмотрим некоторые из них.

Как битые ссылки вредят SEO?

Много битых ссылок — бомба замедленного действия для поискового продвижения. И вот почему.

Нарушение поведенческих факторов. Попав на страницу 404, пользователь сразу же уходит. Поэтому несуществующие страницы заканчивают показатели отказов и сокращают среднее время взаимодействия с сайтом.
Подорвать репутацию в поиске. Постоянно попадая на несуществующие страницы, поисковые роботы придут к выводу, что это неаккуратный, некачественный сайт, который не подходит вдобавок к проблеме.
Трата краулингового бюджета. У поисковых роботов есть ограничение на количество документов, которые можно просканировать за один обход. Тратя бюджет на переходы по неработающим ссылкам, краулеры могут долго не отправлять в индекс действительно важные страницы.
Неэффективное перераспределение веса ссылок. Все внутренние ссылки на сайте имеют статический вес. Чем эффективнее отлажен этот процесс, тем выше рейтинг сайта. Битые ссылки в этом случае становятся брешью, через которую вес ссылки просто уходит в никуда.

Специальные программы-парсеры

В своей работе мы используем программу Screaming Frog, которая позволяет сканировать и получать подробную информацию о страницах сайта.

У него есть платная версия и бесплатная версия. Бесплатная версия позволяет просматривать 500 страниц и подходит для небольших сайтов. Скачать его можно по ссылке: https://www.screamingfrog.co.uk/seo-spider/.

Чтобы найти битые ссылки с помощью этой программы, вам нужно указать адрес сайта и запустить сканирование. После того, как лягушка обошла весь сайт, нужно перейти на вкладку «Коды ответов» и выбрать код ответа 4**.

Далее выбираем интересующий нас URL и переходим на вкладку Inlinks — входящие ссылки. Вы увидите список страниц, на которых есть ссылка на несуществующую страницу.

Как избавиться от битых ссылок

Ссылки, ведущие на несуществующие страницы, можно просто удалить. Если в тексте есть опечатка, то следует исправить. Это легко сделать самостоятельно через панель управления сайтом или делегировать ответственному за наполнение и редактирование контента: веб-мастеру, контент-менеджеру или верстальщику.

Когда битые ссылки возникают в результате массового изменения URL (например, блог был перемещен с «site.ru/blog» на «blog.site.ru»), исправлять вручную нет смысла, вам нужно настроить редирект. Это сложная техническая задача, которую лучше всего поручить опытному веб-разработчику или программисту. Если вы все еще хотите иметь возможность делать перенаправления самостоятельно, следуйте инструкциям от TexTerra или Promopult.

Но даже если на сайте нет битых ссылок, пользователи все равно будут видеть код ответа 404. Писать URL с ошибкой можно как в социальных сетях, так и на сторонних ресурсах. И всегда есть вероятность того, что пользователь совершит ошибку, когда захочет перейти прямо на ваш сайт. Чтобы уменьшить показатель отказов и негатива в таких случаях, лучше оформлять страницу 404 нестандартно. Поручите задачу писателю и дизайнеру и попросите разработчика настроить редирект.

Примеры кастомных 404-страниц на сайтах разных компаний:

Конвертироватьмонстр
Озон
Снежная буря
Тинькофф
PixarПоделитьсяFacebookVkontakteTwitterTelegramСкопировать ссылку

Инструменты веб мастеров

Как и в предыдущем обзоре, 13 сервисов для проверки внешних ссылок, начну с инструментов для веб-мастеров, Яндекса и Гугла.

Яндекс.Вебмастер

https://webmaster.yandex.ru/

Для работы с инструментом необходимо иметь аккаунт на Яндексе, подтвердить право собственности на сайт и собирать статистику.

Идет анализ внутренних ссылок, его можно увидеть во вкладке: Ссылки>>>Внутренние ссылки. Инструмент отобразит:

• Только битые внутренние ссылки (не рабочие) с динамикой (историей) его развития и анкорами.

Связанное чтение: 17 сервисов поиска по ключевым словам

Яндекс.Вебмастер для анализа и проверки внутренних ссылок

Google Webmasters Tools

//www.google.com/webmasters/tools/home?hl=es

Для работы с инструментом необходимо иметь учетную запись Google, подтвердить право собственности на сайт и собирать статистику.

Анализ внутренних ссылок можно увидеть во вкладке: Поисковый трафик>>>Внутренние ссылки. Инструмент отобразит только битые (нерабочие) внутренние ссылки с динамикой (историей) вашего развития и анкорами.

В этом инструменте нас ждет много полезных сюрпризов:

• Анализ происходит постоянно, а не по требованию;
• Результаты анализа могут быть загружены в виде рабочей таблицы;
• Система отображает целевую страницу ссылки и общее количество ссылок, ведущих на нее;
• Каждую целевую страницу можно открыть и проанализировать по ссылкам;
• Якорей нет.

Инструменты Google Search-Console для анализа и проверки внутренних ссылок

Примечание. В регулярных обзорах я редко упоминаю другие инструменты для веб-мастеров, Mail.ru и Bing. Нельзя сказать, что у них нет таких инструментов. Если вам важно продвижение в Mail или Bing, вам сюда или сюда.

Чем опасны битые ссылки для сайта

Среди вебмастеров бытует мнение, что битые ссылки негативно сказываются на продвижении проекта. Многие утверждают, что они могут выступать сигналом для поисковых систем о том, что на сайте много устаревшего и некачественного контента. Официальных данных, подтверждающих эти взгляды, нет.

Также некоторые оптимизаторы считают, что из-за таких ссылок тратится краулинговый бюджет. Другими словами, это ограничения на количество URL-адресов веб-сайтов, которые сканирует поисковая система. Но представитель Google Джон Мюллер развеял этот миф, заявив, что 404 ошибки не влияют на ранжирование проектов.

Единственное, что можно сказать точно, так это то, что битые ссылки влияют на поведение пользователей. Например, посетитель заинтересован прочитать статью, переходит по ссылке и получает ошибку 404. В этом случае он быстро принимает решение: вернуться, воспользоваться меню поиска или покинуть сайт. Чаще всего посетители выбирают самый простой вариант.

Основная опасность мертвых ссылок заключается в ухудшении поведенческих факторов, участвующих в ранжировании.

Что такое анализ внутренних ссылок

Назовем анализ внутренних ссылок сайта — комплекс работ, позволяющий определить техническое состояние ссылок и соблюдение правил оптимизации. А именно:

Техническое состояние внутренних ссылок

Сервис ссылок или идентификация и исправление старых ссылок. Каждая внутренняя ссылка на сайте должна быть написана правильно и вести на реальную страницу, которая не выдает ошибку 404.

Соответствие правилам оптимизации

1. Ищите страницы сайта без внутренних текстовых ссылок. На каждой странице вашего сайта должна быть хотя бы одна внутренняя ссылка. Если это не так, то страница, даже если она попадет в индекс, будет периодически падать; 2. Общее количество ссылок на каждой странице сайта не должно превышать 99 ссылок. Это правило существует во всех сервисах SEO-аудита и может быть принято за аксиому. Я замечаю, что число 99 не относится к основному содержанию страницы в тегах , но и на всю страницу, включая внутренние ссылки и навигационные ссылки в верхнем, теле и нижнем колонтитулах;3. Требовать верификацию и анкоры ссылок (анкором является текст ссылки). Анкор ссылки должен быть уникальным и содержать глагольную форму ключа статьи, на которую ведет ссылка. В анкоре внутренней ссылки лучше не использовать прямой ключ статьи.

Чем вредны битые ссылки для SEO

Большое количество битых ссылок негативно сказывается на продвижении одностраничных сайтов, крупных информационных ресурсов, интернет-магазинов и других видов блогов. Основной вред от них – ухудшение поведенческих факторов. Например, пользователи вводят запрос, переходят на страницу, видят ошибку и уходят. В результате увеличивается количество отказов, уменьшаются просмотры и продолжительность посещений. Поисковые системы не прощают таких коротких посещений, поэтому возникают проблемы с ранжированием.

Также есть мнение, что PS-боты тратят время на индексацию битых страниц, поэтому краулинговый бюджет тратится впустую. Однако официальный представитель Google Джон Мюллер официально опроверг этот факт.

Как бы то ни было, битая ссылка — это «мертвый груз», который нужно убрать. Пользователи раздражаются, когда ищут информацию и попадают на страницу с пустым содержимым. Конечно, можно оформить крутую страницу 404, но это не гарантирует, что посетитель останется на вашем ресурсе (перейдет на главную или в другой раздел).

Один из вариантов макета страницы 404