SEO-курс #2: Как улучшить индексацию сайта в Google

В первой статье нашего SEO-курса мы познакомились с тем, как работает поисковик Google, как он находит сайты и их разделы, как они индексируются и отображаются в результатах поиска. Мы упомянули процесс сканирования (Crawling), который выполняет Googlebot или специальное программное обеспечение. Мы также рассмотрели основные направления и факторы, на которые стоит обратить внимание, чтобы сделать сайт более дружелюбным для бота Google. В этой статье мы подробнее разберем факторы, над которыми нужно поработать, чтобы еще больше понравиться поисковой системе и упростить процесс SEO-оптимизации с самого начала.

Мета-теги и файл Robots.txt

Нередко приходится сталкиваться с ситуацией, когда создатели сайта сами закрыли поисковой системе Google доступ к ресурсу. Поэтому, если есть подозрения, что сайт не индексируется или это происходит лишь частично, стоит начать с проведения полного SEO-аудита сайта и проверки мета-тегов и файла Robots.txt. Существует ряд команд, которые могут ограничить доступ к сайту или его разделам, поэтому давайте рассмотрим их.

Исключение сайта из индексации с помощью мета-тега robots

Если на вашем сайте есть следующий тег, то у любых роботов, включая Googlebot, нет никакой возможности получить доступ к вашему сайту и проиндексировать его контент. Это команда, которая просто запрещает это на начальном этапе:

<meta name="robots" content="noindex" />

Nofollow-ссылки

Если к ссылкам на сайте добавлен приведенный ниже тег, Googlebot увидит ссылку, но не перейдет по ней, так как дана соответствующая команда ("nofollow" - "не следовать").

Существует два типа команд nofollow: для всего контента сайта:

<meta name="robots" content="nofollow">

и для конкретной ссылки:

href="pagename.html" rel="nofollow"/>

Иногда эти команды необходимы. Чаще всего владельцы сайтов используют вторую команду для исходящих ссылок, по которым они не хотят передавать авторитет (чтобы защитить SEO-вес своего сайта).

Блокировка сайта с помощью файла Robots.txt

Файл Robots.txt - это первое, на что смотрят роботы при посещении сайта. Поэтому, если там сразу указаны конкретные запреты, они будут соблюдены, и сайт может быть не просмотрен или не проиндексирован:

User-agent: *
Disallow: /

Эта команда означает, что всем роботам (обозначаются *) запрещен доступ к контенту сайта, всему, что находится после / (корневой директории).

User-agent: *
Disallow: /produkti/

В этом случае будут заблокированы все страницы, находящиеся в папке /produkti/. Этот метод часто используется для скрытия от поисковиков контента, который не предназначен для публичного распространения (профили пользователей, конфиденциальная информация и т.д.).

Проблемы с внутренними ссылками

Если внутренние ссылки не работают, это в любом случае проблема: либо должна быть настроена переадресация на рабочую страницу, либо такая ссылка должна быть удалена. Неработающие ссылки мешают посетителям сайта, а также очень не нравятся Googlebot. Еще один аргумент: у Googlebot ограничено время на каждый сайт, и если ему приходится тратить его на проверку неработающих ссылок, время расходуется впустую.

Ошибки в URL

Часто они возникают из-за неправильного ввода URL-адреса, потери части ссылки при копировании и т.д. Поэтому всегда рекомендуется после создания ссылки проверить ее, кликнув по ней самостоятельно.

Устаревшие URL

Если ссылки ведут на другие сайты, их контент чаще всего не контролируется, поэтому разделы могут быть изменены, удалены, исправлены или изменены URL-адреса. В результате ссылка на вашем сайте может перестать работать, если владелец другого сайта не настроил переадресацию. Желательно с помощью SEO-инструментов проводить регулярный мониторинг ссылок, который укажет на проблемы, если они внезапно возникнут.

Страницы с ограниченным доступом

Может случиться так, что ссылка возвращает ошибку 403, что означает, что доступ к странице ограничен, например, только для зарегистрированных пользователей. Такие ссылки лучше сделать nofollow, чтобы не тратить ресурсы роботов.

Проблемы, связанные с сервером

Ошибки сервера

Ошибки серии 5xx (например, 503) могут свидетельствовать о проблемах с сервером, когда сайт или раздел загружается медленно или не загружается вовсе. В таком случае остается обратиться за помощью к компании, занимающейся веб-разработкой или поддержкой сервера, чтобы решить возникшие проблемы. Это могут быть как технические проблемы сайта, так и проблемы с настройками сервера или атаки на сайт.

Ограниченная емкость сервера

Возможно, в момент создания сайта мощности сервера позволяли использовать его в полном объеме без проблем, но со временем сайт наполнился новым контентом, изображениями и файлами, что исчерпало ресурсы сервера. В таких случаях необходимо выполнить переконфигурацию сервера, перейти на более дорогой тарифный план или сменить сервер. Здесь также помогут специалисты службы поддержки сервера или веб-разработчики, отвечающие за обслуживание сайта.

Неправильные настройки веб-сервера

Это может быть более сложный вопрос. Сайт может быть отлично виден посетителям, но выдавать ошибки для роботов, из-за чего все разделы могут стать недоступными для сканирования. Это может происходить из-за различных конфигураций сервера: например, некоторые брандмауэры (например, Apache mod_security) по умолчанию могут блокировать Googlebot и другие поисковые боты. Короче говоря, эту проблему должен решать специалист по веб-разработке.

Проблемы с картой сайта (Sitemap)

Ошибки форматирования

Существует несколько типов ошибок форматирования, например, неверный URL или отсутствующие теги (ищите полный список с решениями для каждой ошибки здесь).

Возможно, вы также поняли (из первого пункта), что файл карты сайта блокируется файлом robots.txt. Это означает, что боты не могут получить доступ к контенту карты сайта.

Некорректные разделы в карте сайта

Не обязательно быть веб-разработчиком, чтобы проверить корректность карты сайта (sitemap). Проверьте, все ли разделы в ней верны, правильно ли отображаются все URL, виден ли новый контент, все ли, что вы хотите, чтобы нашел поисковик. Часто ошибки карты сайта показывает сама бесплатная платформа Google Search Console, поэтому время от времени стоит заглядывать туда, чтобы проверить наличие ошибок.

Ошибки архитектуры сайта

Это самая сложная часть для решения, поэтому к ней нужно приступать тогда, когда все вышеперечисленное проверено и исправлено.

Проблемы с внутренними ссылками

Различные проблемы могут быть выявлены с помощью SEO-инструментов:

• раздел не связан ни с одним другим разделом сайта, поэтому не появляется в индексе;
• раздел находится слишком далеко от главной страницы, поэтому Googlebot до него не доходит. Рекомендуется не более 4 уровней вложенности ссылок (например, 4 уровня подкатегорий);
• слишком много исходящих ссылок в разделе. Если на одной странице тысячи исходящих ссылок, у Googlebot могут возникнуть проблемы с их чтением;
• ссылки скрыты за различными решениями - Java, Flash, поэтому они не считываются.

Неправильные переадресации

Переадресации в целом полезны, так как позволяют перенаправить посетителя с одного раздела сайта на другой. Это особенно важно в случаях, когда ссылка на раздел размещена на различных внешних ресурсах и изменить ее нет возможности. Соответственно, создав переадресацию, пользователь незаметно перемещается в другой, актуальный раздел.

Однако иногда переадресации могут навредить SEO-оптимизации сайта:

• переадресации 302 или 307 заставляют робота Google посещать конкретную страницу снова и снова, это потребляет ресурсы. Поэтому, если понятно, что текущая страница переадресовывается навсегда, нужно использовать переадресацию 301, которая говорит роботу, что это окончательная переадресация и старую страницу посещать больше не нужно. Упомянутые переадресации 302 или 307 можно использовать, если переадресация временная;
• цикл переадресаций (redirect loop) - это когда одна страница переадресовывает на другую, а та обратно, получается бесконечная переадресация, которая никогда не заканчивается и впустую тратит ресурсы роботов. К сожалению, такие циклы - довольно частое явление.

Низкая скорость загрузки

Как уже упоминалось ранее, скорость загрузки сайта и его разделов может напрямую определять успех индексации. Сайты и разделы должны загружаться быстро, и это можно проверить с помощью инструмента Google Page Speed. Проблем может быть много: оптимизация изображений, слишком тяжелый код страницы, неоптимизированный дизайн и т.д. Скорее всего, справиться с этим самостоятельно будет сложно, поэтому нужно звать на помощь специалиста по веб-разработке. К сожалению, многие веб-студии предлагают изначально слабо оптимизированные сайты, поэтому нужно внимательно выбирать разработчика и обслуживающую компанию, искать отзывы, спрашивать портфолио работ и проверять разработанные сайты на скорость.

Дублированный контент

Часто проблемы с индексацией возникают из-за дублированного контента. На сайте есть несколько разделов на одну и ту же тему, робот Google считает, что по конкретной теме уже есть одна страница, и настоящую может не проиндексировать или проиндексировать ниже. Поэтому нужно внимательно следить за контентом на сайте. В проектах электронной коммерции такие проблемы часто возникают из-за технических решений - несколько страниц в категории товаров (1, 2, 3, 4... 154 - пагинация). Страницы товаров могут отображаться с разными фильтрами поиска - страница та же, но URL уже другой, что в глазах Google будет дублированным контентом.

Чтобы этого избежать:

• нужно удалять дублирующие страницы - повторяющиеся статьи в блоге, новости, случайно дублированные страницы;
• нужно выполнить настройки в файле robots.txt, чтобы не индексировался дублированный контент;
• настройки мета-тегов, которые запрещают индексацию дублированного контента;
• переадресация 301;
• использование тега rel=canonical (он подсказывает роботу, что эта страница является копией главной страницы).

Неправильное использование Javascript и CSS

Еще в далеком 2015 году Google официально заявил: "Пока вы не блокируете Googlebot от сканирования файлов JavaScript или CSS, мы в целом способны отрисовать и понять ваш сайт так же, как основные браузеры". Это, однако, не относится к другим поисковым системам (Yahoo, Bing, Yandex и др.). Кроме того, слово "в целом" означает, что в некоторых случаях правильная индексация не гарантируется.

Устаревшие технологии веб-дизайна

Flash-контент

Flash - это устаревшая технология, и она не поддерживается на некоторых мобильных устройствах. Ссылки, включенные во Flash-контент, не подвергаются индексации, а контент не считывается, что негативно влияет на процесс SEO-оптимизации.

HTML-фреймы

Если на сайте есть так называемые фреймы, это одновременно хорошая и плохая новость. Хорошо это потому, что, возможно, это означает, что ваш сайт достаточно серьезный. Плохо это потому, что HTML-фреймы крайне устарели, плохо индексируются, и вам нужно как можно скорее заменить их на более современное решение.