Техническая оптимизация сайта

Около 70 % клиентских сайтов, которые уже имеют какую-то историю в Сети до того, как мы берем их в работу, очень плохо оптимизированы в своей технической части. Хотя почти всегда их владельцы уверены, что у них все неплохо – но почему-то сайт никак не получается продвинуть в выдаче. После внесения только технических правок 8 из 10 таких сайтов поднимаются в поиске. Масштаб успеха различен, так как есть еще и контентная часть. Но одна только техническая оптимизация сайта с хорошим контентом порой дает до 30 % прироста трафика!

Вывод напрашивается сам собой: проверке скрытой от глаз пользователя части сайта нужно уделять ничуть не меньше внимания, чем наполнению его качественным контентом.

И даже если вы не собираетесь заниматься технической оптимизацией сайта самостоятельно, стоит разобраться хотя бы ее азах: понять, что включает в себя технический аудит сайта и каким объемом компетенций должен обладать SEO-специалист, предлагающий вам свои услуги.

Итак, сначала расскажем, что в технической части сайта нужно контролировать и настраивать, а потом остановимся чуть подробнее на описании специальных сервисов для SEO-анализа сайтов. Поехали!

Чек-лист по технической проверке и настройке сайта

Настройка главного зеркала

То есть первым делом надо решить, какой адрес вашего сайта будет основным. Причем речь не только о совершенно разных доменных именах. https://site.com и https://www.site.com. – это тоже разные адреса.

Кстати, на самом деле поисковые системы выберут главное зеркало и сами, если этого не сделаете вы. Но… в общем, тут может быть ряд нюансов. Словом, в ваших интересах проконтролировать это лично.

Что конкретно поверяем?

• URL-адреса всех страниц выбранного вами сайта должны быть доступны только в одном варианте – или все с www, или все без него (проверяем в Яндекс.Вебмастер или https://bertal.ru/).
• Страницы, к адресу которых добавлены index.php, index.html или просто слэш («/»), должны иметь перенаправление на соответствующие страницы главного зеркала (с идентичными адресами, но без любых из перечисленных добавлений).
• Страницы на HTTP должны редиректить на соответствующие страницы на HTTPS.

Что потом делаем?

При обнаружении 200-го отклика у страниц, которые не должны быть в индексе, склеиваем их с соответствующими нужными, прописывая 301-е редиректы в файле .htacess. (он находится в корне сайта).

Сообщаем о главном зеркале Яндексу и Гуглу, для этого:

• В Яндекс.Вебмастере выбираем раздел «Настройка сайта» / «Индексирование» / «Переезд сайта» – и там оставляем галочку на «Добавить HTTPS» и проверяем, что с галочкой на «Добавить WWW».
• В Google добавляем правильный адрес главного зеркала в Google Search Console. Этого достаточно.

Устранение дублей

На этом этапе нужно проверить, не попадают ли в индекс страницы без уникального контента для ранжирования:

• результаты поиска,
• страницы фильтрации,
• страницы «Спасибо!»,
• страницы, содержащие только формы обратной связи
• и т. п.

Все это обязательно закрываем от индексации!

Как найти все дубли?

• Надо спарсить веб-сайт при помощи Screaming Frog SEO Spider или другого SEO-софта, который увидит все URL-адреса. Если среди них обнаруживаются адреса с GET -параметрами, то, скорее всего, это и есть дубли.
• Также смотрим дубли title и description в Яндекс.Вебмастере – это могут оказаться полные контентные дубли страниц.

Понять природу их возникновения порой бывает непросто (например, их почему-то с большим удовольствием генерирует Джумла) – но на самом деле понимать это не так уж важно.

Главное, вовремя отслеживать появление дублей и запрещать их индексирование.

Усовершенствование карты сайта

Она должна

• обязательно присутствовать в корне сайта вместе с прочими техническими файлами
• содержать все разрешенные к индексированию и имеющие 200-й отклик URL-адреса
• показывать их иерархию

В ней не должно быть

• 301-х, 404-х, 503-х страниц
• страниц «Спасибо», форм для заполнения
• любых других запрещенных к индексированию страниц.

При обнаружении ошибок в этой части технической составляющей сайта файл sitemap.xml нужно

• отредактировать
• заново загрузить в корень сайта
• прописать в robots.txt.
• добавить в Яндекс.Вебмастер и Google Search Console

Robots.txt

Что проверяем?

• Собственно наличие Robots.txt.

Да, как ни странно, он порой отсутствует. А без него в индекс может попасть много лишнего.

• Наличие/отсутствие ошибок в Яндекс.Вебмастере.
• Доступность важных страниц для индексации.

Индексирование

Наивно полагать, что с индексированием у наполненного полезным контентом и грамотно технически оптимизированного сайта все будет априори хорошо. Нет. Все надо тщательно проверять.

Как проверяем?

• В Яндексе

В Вебмастере: Индексирование / Страницы в поиске / Последние изменения.

Сверяем полученные данные с картой сайта. Все полезные контентные страницы должны иметь 200-й отклик. 500-х и 400-х быть не должно.

• В Гугле

В Google Search Console: Покрытие

Увидим 4 категории обнаруженных страниц. Количество полезных контентных страниц сайта должно соответствовать числу страниц в категории «Без ошибок».

Стоит иметь в виду

• Отсутствие в индексе только что созданных страниц – это норма. Переживать стоит, если не индексируются давно наполненные контентом страницы.
• Простой способ ручной проверки индексации через site:mysite.ru можно использовать для проверки индексирования в Гугле – если страниц немного. В Яндексе оператор site выдает некорректные данные. Словом, лучше все же использовать вебмастера.
• Данные Яндекса и Гугла о количестве страниц в индексе должно быть равным или почти равным. Для иной картины возможных причин две:
  • одна из поисковых систем (чаще Яндекс) индексирует «мусор»
  • одна из поисковых систем (чаще Гугл) не индексирует важные страницы – например, молодых сайтов с критично малым краулинговым бюджетом или старых сайтов, ранее продвигавшихся некорректными методами

200-й отклик продвигаемых страниц

Иногда внезапно обнаруживается, что они 200-й отклик не отдают!

Возможные причины

• Случайное закрытие от индексирования какой-то директивой в Robots.txt
• Случайное удаление из карты сайта
• Ошибка в административной панели
• Удаление клиентом важной страницы
• Технический сбой на хостинге (чаще всего)

Удобный бесплатный сервис для массовой проверки: https://coolakov.ru/tools/ping/

Ошибки 404

Любой несуществующий адрес должен давать только 404-й отклик. 200-е и 300-е недопустимы – иначе появятся дубли в индексе.

Страница 404 должна иметь нативный сайту дизайн – с теми же шапкой и футером, что и остальные страницы.

Битые ссылки (404-й отклик)

Любой SEO-парсер покажет ссылки на страницы, которые больше не работают – их надо заменить работающими или удалить.

Редиректные ссылки (301-й отклик)

Также при помощи SEO-парсера находим страницы с перенаправлениями – важно, чтобы их было немного. Чем больше 300-х страниц, тем дольше грузится и индексируется сайт. Старайтесь сразу заменять их работающими.

Ссылки с 500-ми откликами

С ними тоже поможет любой SEO-парсер. 500-й отклик обычно говорит о проблеме на стороне сервера – чаще всего о слабом хостинге. То есть тут решение нужно искать вместе с сисадмином.

ЧПУ

В ЧПУ не должно быть спама (например, холодильник/холодильник двухкамерный/холодильник двухкамерный дешевый – это спам)

Пример спамного ЧПУ:

site.ru/holodilnik/holodilnik-dvuhkamernyy/holodilnik-dvuhkamernyy-nedorogo

Пример, как стоит убрать спам из данного ЧПУ:

site.ru/holodilnik/dvuhkamernyy/nedorogo

По мимо спама, смотрим на структуру ЧПУ. Если у нас есть закрывающийся слеш, значит, они должны давать 200-й, а без слеш, соответственно, редиректить на соответствующие страницы.

Пагинации

• Нужно обязательно

Оптимизировать только одну основную страницу (она же каноническая).

• Не стоит

Оптимизировать по дополнительным ключам посадочные неосновные страницы (так делали раньше, но к 2023-му году стало ясно, что это плохо).

Что делаем с неосновными страницами пагинации?

• В Гугле для них прописываем атрибут rel=canonical
• В Яндексе в файл Robots.txt вносим директиву Clean-param

Также допустимое, хотя, пожалуй, не лучшее решение – просто закрыть их от индексации. Иногда такие сайты неплохо работают.

Title, description, h1

• Не должно быть дублированных и пустых title и description.
• Тег h1 должен быть на каждой странице – обязательно в верхней ее части.
• Иерархия h1-h6 должна строго соблюдаться.

Уместность употребления тегов типа <h>

Уместно В заголовках и подзаголовках, структурирующих контент каждой отдельной страницы.

Неуместно В любых сквозных (присутствующих на каждой странице сайта) элементах: шапке, футере и т.п.

В крайнем случае допустимо (хотя нежелательно) присутствие в сквозных элементах тегов от h4 до h6. Но ни в коем случае не h1 — h3.

Хлебные крошки

Проверяем

• собственно их наличие,
• правильность отображаемого маршрута,
• и чтобы последний элемент не был ссылкой – то есть заключительная страница не должна ссылаться сама на себя.

Адаптация под мобильные

Мобильный трафик давно составляет более 50 % от общего количества посетителей сайтов и может доходить до 85 %. Чем выше этот показатель, тем в большей мере корректность мобильной версии сайта влияет на его продвижение.

Что проверяем?

• Ширину видимого порта (Viewport) – она не должна превышать ширину экрана смартфона, иначе появится неудобный боковой скрол
• Ширину изображений и видео (аналогично)
• Размер шрифта (для мобильных устройств Гуглом рекомендуется 16 пикселей)
• Корректность расположения информационных блоков (могут перекрывать друг друга)
• Отображение таблиц (чаще всего они требуют переверстывания для мобильной версии)
• Длину страниц (иногда в мобильной версии нужна пагинация, хотя в десктопной – нет)
• Формы ввода (для мобильной версии их лучше максимально упростить)
• Наличие «липких» кнопок конверсионного действия («Заказать», «Позвонить»)

Как проверяем?

• При помощи Google Search Console
• Или вручную – просто просматриваем страницы сайта со смартфона

Сервис https://search.google.com/test/mobile-friendly  больше не работает!

Окончание срока домена

Аксиоматично, но многими забывается.

Для профилактики внезапного отключения сайта лучше всего подключить автопродление. А узнать дату очередной оплаты можно здесь: www.whois.com.

И только когда все вышеназванное приведено в порядок,
есть смысл переходить к нижеследующим двум пунктам!

Скорость загрузки

Для ее проверки можно использовать старый добрый  https://pagespeed.web.dev 

Но всегда надо помнить о том, что первично качество контента:

• его полезность
• удобное структурирование
• востребованность самого предлагаемого продукта
• ассортимент товаров/услуг, представленных на сайте
• и т.п.

Настройка микроразметки Schema.org

Настраивая микроразметку Schema.org, вебмастера добиваются улучшения внешнего вида сниппетов и, соответственно, выделения сайта на фоне конкурентов.

При помощи микроразметки можно вывести в сниппет, например:

• цены,
• режим работы,
• важные пункты меню,
• фото- или видеопревью,
• и т. д., и т.п.

Примеры микроразметки

Удобно для пользователя? Выделяет сайт в выдаче среди конкурентов? Да! Но какой от всего этого будет толк, если сайт пока еще не выведен на сколько-нибудь приличные позиции в рейтинге поисковых систем? Поэтому рекомендация та же: настраивать микроразметку можно и нужно, но только после всех более важных мероприятий.

Можно ли самостоятельно провести техническую оптимизацию сайта?

Да, можно. Однако, это очень сложно сделать без опыта работы с SEO-инструментами и без понимания технической части.

Если вы хотите самостоятельно проверить работу страниц, вам потребуются сканеры для технического анализа. К сожалению, все аналитические инструменты платные. Некоторые из них предлагают бесплатный пробный период, но с ограниченными возможностями.

Программы для SEO-аудита

Функционал	Screaming Frog SEO Spider	Netpeak Spider	ComparseR
Возможности платной версии	✔ Поиск битых ссылок, ошибок и редиректов; ✔ Анализ заголовков страниц и метаданных; ✔ Обзор Meta Robots & Directives; ✔ Атрибуты Audit hreflang; ✔ Обнаружение точных дубликатов страниц; ✔ Создание карты сайта; ✔ Визуализация сайта; ✔ Сохранение сканирований и повторная загрузка; ✔ Рендеринг JavaScript; ✔ Сравнение обходов контента; ✔ Дублирующийся контент; ✔ Пользовательские роботы txt; ✔ Сканирование и проверка AMP; ✔ Структурированные данные и валидация; ✔ Пользовательский поиск исходного кода; ✔ Пользовательское извлечение; ✔ Интеграция с Google Analytics; ✔ Интеграция с Search Console; ✔ Интеграция с PageSpeed Insights; ✔ Интеграция метрик ссылок; ✔ Аутентификация на основе форм; ✔ Хранение и просмотр необработанных и визуализированных HTML-файлов и сегментов; ✔ Отчет о сканировании контента в Looker Studio.	✔ Анализ SEO-параметров страниц; ✔ Поиск сломанных ссылок; ✔ Анализ внутренней структуры ссылок; ✔ Анализ заголовков страниц; ✔ Поиск дублирующего контента; ✔ Анализ недоступных страниц; ✔ Поиск и анализ мета-тегов; ✔ Анализ изображений на страницах; ✔ Анализ заголовков H1, H2 и т. д.; ✔ Оценка скорости загрузки страницы; ✔ Анализ микроразметки на страницах; ✔ Анализ использования HTTPS/SSL на сайте; ✔ Оценка использования canonical-тегов; ✔ Анализ robots.txt и метатега robots; ✔ Поиск и удаление нежелательных URL-адресов; ✔ Анализ использования тегов noindex и nofollow; ✔ Оценка использования тегов для пагинации; ✔ Анализ карты сайта. ✔ Визуальные дашборды; ✔ Возможность выгрузки отчета в pdf-формат, который можно использовать как лайт-аудит в пресейле.	✔ Парсинг выдачи Яндекс и Google (уникальная опция); ✔ Поиск дублей Title; ✔ Поиск битых ссылок; ✔ Анализ индексируемых ссылок; ✔ Демократичная цена программы по сравнению с аналогами; ✔ Пожизненная гарантия (оплата производится единожды, обновления и постоянная поддержка не требуют дополнительных оплат); ✔ Российский разработчик. С ним всегда можно связаться и получить обратную связь или написать идею улучшений; Простой интерфейс и понятные даже новичкам результаты парсинга; ✔ Можно построить наглядное дерево структуры сайта; ✔ Создание sitemap (общей и для изображений).
Дополнительные функции	Парсинг сайт целиком или по конкретным URL	Позволяет настраивать параметры для проверки	Простой интерфейс на русском языке. Подойдёт для новичков
Операционная система	Windows, macOS, Linux	Windows7 и выше	Windows 7, 8.1, 10, 11
Бесплатная версия	Можно сканировать до 500 адресов, что крайне мало для полноценного аудита	Демо-период на 14 дней	Сканирование 150 страниц, не ограничена по времени
Функции бесплатной версии	Все функции, что и у платной	Все функции, что и у платной	Все функции, что и у платной
Стоимость платной подписки	259$ в год	от 15$ до 19$ в месяц	2000 рублей на неограниченный срок

А если изучение этого материала привело вас к выводу, что проще и, возможно, рентабельнее будет делегировать технический аудит и техническую оптимизацию сайта опытным специалистам то мы готовы предложить вам

• услуги по подробному комплексному аудиту вашего сайта;
• услуги по технической SEO-оптимизации вашего сайта.

Кроме того, для удобства использования вы можете скачать приведенный выше чек-лист в PDF-
формате: