SEOBOOK

5.1. Основные характеристики сайта

Перед началом настройки технических параметров сайтов рекомендуем проверить основные характеристики, влияющие на индексацию и продвижение. Стоит посмотреть следующее:

·        индексируется ли сайт поисковыми системами и сколько страниц находится в индексе;

·        не наложены ли санкции со стороны поисковиков на ресурс;

·        нет ли на сайте вирусов;

·        какой регион определен для сайта поисковиков и исправить, если региональность присвоена неверно.

Итак, по порядку о каждом параметре.

5.1.1. Количество страниц в индексе поисковых систем

Индексация – это процесс изучения вашего сайта роботами поисковых систем, вследствие которого роботы добавляют информацию о нем в свою поисковую базу. Если ваш сайт проиндексирован, значит, он может участвовать в поисковой выдаче.

Индексация сайтов производится поисковыми роботами (боты, пауки).

Перед началом продвижения стоит проверить, сколько страниц уже есть в индексе поисковых систем. Поскольку ранее вы добавили сайт в Яндекс. Вебмастер, то узнать количество страниц в индексе Яндекса довольно просто на главной странице Вебмастера:

Рис.265. Количество страниц в индексе Яндекса

Для Google эту информацию можно получить в Google Search Console:

Рис.266. Количество страниц в индексе Google

В случае, если сайт в панели вебмастеров все-таки не добавили, можно проверить индексацию с помощью операторов поисковых систем «site:», «host:» или «url:».

Количество проиндексированных страниц в Google:

Рис.267. Количество проидексированных страниц в Google

Количество проиндексированных страниц в Яндекс:

Рис.268. Количество проидексированных страниц в Яндекс

Индексацию сайта можно ускорить. Действенными способами ускорения индексации нового сайта считаются:

Добавление сайта в поисковики.

Настройка файла robots.txt.

Настройка вебмастеров поисковых систем.

Правильная настройка HTML-карты сайта.

Внутренняя перелинковка.

Регистрация сайта в каталогах, справочниках и рейтингах.

Интеграция сайта с социальными сетями.

Теперь о каждом пункте подробнее.

1. Добавление сайта в поисковики

Все этапы будем рассматривать на основных поисковых системах, в индекс которых нужно стараться попасть в первую очередь. Как вы уже догадались, это Яндекс и Google. Под добавлением в поисковую систему подразумевается сообщение поисковым системам о том, что появился новый сайт или новая страница. Среди вебмастеров часто используется слово «аддурилки».

У Яндекса страница добавления в поисковик выглядит следующим образом:

Рис.269. Добавление сайта в Яндекс

Задача проста. Нажимаем «Добавить сайт», вводим адрес сайта и проходим процедуру подтверждения прав. О ней мы уже рассказывали ранее.

В Google страница добавления URL в поисковик выглядит так:

Рис.270. Добавление URL в Google

Выбираем вариант добавления, жмем «Продолжить», подтверждаем, что являемся владельцем сайта. Об этом мы уже тоже рассказывали ранее.

Примечание: данная система работает только в том случае, если вы авторизованы в системе Google.

2. Настройка файла robots.txt

О том, как настроить файл robots.txt мы расскажем чуть позже, а сейчас только отметим, что этот файл поможет ускорить индексацию сайта.

3. Настройка Вебмастеров поисковых систем

О Вебмастерах и их функциях мы уже много рассказывали в начале книги, после того как вы добавите сайт и пройдете подтвеждение, начнется процесс индексации поисковыми роботами. В Вебмастерах вся найденная информация будет подробно отображаться по разделам, сервисы помогут не только взглянуть  на свой сайт глазами поисковиков, но и выполнить ряд настроек: указать регион, добавить быстрые ссылки, настроить индексацию, указать адрес карты сайта и многое другое.

Напомним, как выглядят кабинеты Вебмастеров для уже добавленных сайтов:

Рис.271. Кабинет Яндекс. Вебмастера

Рис.272. Кабинет Гугл. Вебмастера

4. Правильная настройка HTML-карты сайта

Подробнее о настройке карты сайта мы поговорим в отдельной главе, а сейчас отметим ее как еще один способ ускорения индексации сайта.

5. Внутренняя перелинковка

Одним из самых важных пунктов не только для лучшей индексации, но и для продвижения сайта, является грамотная внутренняя перелинковка сайта. Вот несколько советов, как сделать естественную перелинковку, которая будет полезна не только для оптимизации, но и для удобства пользователей:

· В карточках товара добавьте разделы типа «С этим товаром ищут» или «Возможно, вам также будут интересны». К примеру, вот так:

Рис.273. Пример «С эти товаром покупают» для внутренней перелинковки

В информационных статьях ставьте анкорные ссылки на карточки товаров, страницы услуг или другие статьи на сайте. Например, так:

Рис.274. Пример ссылок в статьях

· В конце каждой информационной статьи давайте ссылки на 3—4 другие статьи по схожим темам или ссылки на самые популярные статьи блога. Например, как это делаем мы:

Рис.275. Пример ссылок на другие статьи для перелинковки

Желательно, чтобы на каждой странице сайта было по 2-3 ссылки на главную страницу. Можно дублировать главное меню внизу страницы, сделать вспомогательные ссылки с внутренних страниц на главные разделы сайта.

6. Регистрация сайта в каталогах, справочниках и рейтингах

Регистрируйтесь в каталогах сайтов и статей. Внешние ссылки на ваш сайт позволят поисковым системам быстрее узнать о вашем сайте. Также с помощью внешних ссылок можно не только ускорить индексацию, но и сделать её более глубокой, если эти ссылки будут вести на внутренние страницы сайта.

Также ускорению индексации способствует и добавление сайта в популярные рейтинги, например, Рамблер ТОП100, ТОП Mail.ru, LiveInternet.

7. Интеграция сайта с социальными сетями

Настройте интеграцию сайта с вашими аккаунтами в социальных сетях. Например, делайте анонсы новых статей со ссылкой на полную версию на Google+, ВК, Facebook и Twitter. Аккаунт Google+ можно прикрепить к самому сайту, то есть сделать отдельную учётную запись специально для конкретного сайта.

Из всех социальных сетей стоит выделить Twitter. Это, пожалуй, самая эффективная социальная сеть в плане ускорения индексации страниц вашего сайта.

И в виде бонуса несколько способов скорейшего попадания новых страниц вашего сайта в индекс поисковых систем:

RSS-трансляция материалов. Настройте RSS-трансляцию новых материалов вашего сайта и разместите её в различных RSS-каталогах.

Социальные новости. Размещайте ваши статьи в сервисах социальных новостей.

Платное размещение своих статей на сайтах такой же тематики, как у вас. Такие сайты можно найти на различных форумах, которые на этом специализируются, например, SearchEngines.

Вывод: индексация – процесс внесения информации в базу поисковика. Только после индексации страница может быть найдена в результатах поиска. Поэтому анализируйте базу поисковика, и влияйте на быстрое индексирование вашего сайта, чтобы попасть в нее.

5.1.2. Наличие фильтров и санкций

Фильтры – это особые алгоритмы поисковых систем, которые вычисляют сайты, пытающиеся повлиять на факторы ранжирования, и не дают им сделать это.

Как понять, что сайт попал под фильтр Яндекса?

Узнать, какие санкции наложены на сайт, раньше можно было только в Вебмастере Google. Однако сейчас такая возможность есть и у Яндекса. Для этого достаточно зайти в Яндекс.Вебмастер в раздел «Безопасность и нарушения».

В зависимости от фильтра к сайту могут быть применены различные ограничения: понижение позиций в поисковой выдаче, исключение из индекса или аннулирование ИКС.

Рис.276. Сообщение в Яндекс. Вебмастере о санкциях за дорвейные страницы

Если Ваш сайт внезапно просел в выдаче и нет никаких оповещений в Вебмастере, то можно написать в техподдержку Яндекса, подробно описав проблему, и узнать, наложены ли какие-либо ограничения на ваш ресурс или нет:

Рис.277. Ответ поддержки Яндекс. Вебмастера об отсутствии санкций

Виды фильтров Яндекса: причины, симптомы, лечение

В Вебмастере могут отображаться не только наложенные фильтры на сайт, но и другие нарушения, такие как клоакинг, дорвей и т. д. Ниже рассмотрим фильтры, приводящие к ограничениям со стороны Яндекса в следующем порядке:

Вид нарушения

Описание

Возможные ограничения

Лечение

Неоригинальный, бесполезный контент

Под санкции попадают ресурсы с контентом, не несущим пользы для пользователей; сайты, созданные специально для продажи ссылок, а также заработка на рекламе. Данное нарушение именуется АГС фильтром.

Возможны 3 вида ограничений: исключение из поиска, понижение в результатах поиска, обнуление ИКС.

Необходимо проверить тексты на уникальность и тошноту. Далее переписать тексты, добавить в них УТП. Текст должен быть написан для людей. Убрать исходящие ссылки.

SEO-ссылки

Фильтр Минусинск. Накладывается на сайт за использование SEO-ссылок (в том числе и покупаемых на ссылочных биржах и агрегаторах) для влияния на ранжирование своего ресурса.

Ограничение в ранжировании на срок от одного до нескольких месяцев.

Нужно отказаться от SEO-ссылок: перестать покупать новые ссылки и снять ранее приобретённые.

Дорвей

Как правило, это сайты, которые «заточены» под определенные поисковые запросы. Они перенаправляют посетителей на другие ресурсы, содержат большое количество ключевых запросов и бесполезный контент. Иногда дорвей может появиться из-за взлома сайта.

Исключение всего сайта из поисковой выдачи.

Добавьте на свой сайт полезный контент и функционал. Важно заинтересовать посетителей, а не просто перенаправлять на другие ресурсы.

SEO-тексты

Или иными словами Баден-Баден. Этот фильтр накладывается за переоптимизированный контент, который не несет пользы людям.

Исключение из поиска всего ресурса, понижение позиций сайта.

Переписать переоптимизированные и неполезные тексты или совсем убрать их с сайта. Помните, тексты должны создаваться для людей.

Клоакинг

Один из способов обмана поисковиков путем предоставления различного контента пользователям и поисковым роботам.

Исключение из поисковой выдачи.

Необходимо сделать так, чтобы поисковым ботам и посетителям отображался одинаковый контент.

Кликджекинг

Метод обмана посетителей путем использования на сайте скрытых и невидимых элементов. Пользователи взаимодействуют с ними, не подозревая об этом. Также сюда относится и сбор персональных данных без оповещения, например, адрес страницы в соц.сетях, автозаполнение форм из браузера и т. д.

Понижение позиций сайта в поисковой выдаче.

Не использовать данные мошеннические техники.

Агрессивная или шокирующая реклама

В апреле 2018 года Яндекс обновил фильтр и теперь в Вебмастере появляется оповещение «Малополезный контент, некорректная реклама, спам». Получить его можно за шокирующую рекламу или ее чрезмерное использование на своем ресурсе, из-за которой нет возможности просмотреть основной контент. Санкции коснулись многих сайтов, размещающих рекламные блоки ссылок от Adsense. Также кара настигла сайты с огромным количеством рекламной (nofollow) ссылочной массы.

Понижение в результатах поиска.

Убрать все рекламные блоки или сократить их количество. Если рекламы немного, то нужно ее явно выделить и перенести подальше от меню и заголовков. Количество рекламы должно не превышать 10% области от экрана просмотра, а лучше занимать всего 10% на странице.

Имитация действий пользователей

Некоторые недобросовестные владельцы сайтов используют различные сервисы и программы, которые могут сымитировать действия пользователей и поведение их на сайте. Задавая определенные ключи, программа или сервис переходит из поисковой выдачи на необходимый сайт. Таким образом они пытаются повлиять на ранжирование своего ресурса.

Исключение из поисковой выдачи, понижение позиций в результатах поиска.

Не использовать данный метод.

Партнерская программа

Зачастую при использовании партнерских программ владельцы сайтов выкладывают на своем ресурсе только контент партнера. Яндекс такие сайты признает малополезными для пользователей, так как они не имеют своего уникального контента.

Понижение позиций сайта в поиске или полное исключение из него.

При использовании партнерских программ на своих сайтах нужно обязательно предоставлять пользователям уникальные сервисы и/или контент.

Скрытый текст

Накладывается за размещение на сайте невидимого или плохо видимого (например, мелкий шрифт) списка ключевиков или контента с ключевыми запросами, таким образом пытаясь повлиять на позиции своего сайта.

Исключение из поиска всего ресурса.

Отказаться от данного метода продвижения: текст должен быть видимым, уникальным и полезным для пользователей.

Опасные сайты

Данное ограничение появляется, если Яндексом обнаружен вредоносный код на сайте, который может заразить компьютеры пользователей вирусом или получить доступ к персональным данным.

Исключение из поиска всего сайта.

Удалить вредоносный код с сайта.

Фишинг

Как правило, создаются поддельные сайты-копии известных ресурсов – они похожи как внешне, так и могут быть схожи доменные имена (например, вместо .ru быть .com). С помощью этих сайтов-клонов у пользователей выманивают личную информацию: номера банковских карт, пароли к почте и т.д.

Исключение из поиска страниц сайта.

Не использовать данный метод.

Аффилиат-фильтр

Яндекс официально не заявляет о наличии данного фильтра. Елена Першина в блоге Яндекса ответила про наличие «аффилированности»: «Мы не используем этот термин. Для нас главное – избежать дублей сайта в поиске. Если ваши сайты друг с другом не конкурируют – не проблема».

Но опыт и исследования вебмастеров с уверенностью позволяют сказать, что этот фильтр есть. Под аффилиат-фильтр попадают все сайты-двойники, которые не являются зеркалами основного сайта. Таким образом Яндекс борется с монополизацией поисковой выдачи.

В выдаче будет только один сайт.

Необходимо выбрать один сайт и продвигать его, с других копий настроить 301-редирект на основной сайт.

Если же вы владелец сайтов разной тематики (например, компания занимается установкой окон и ремонтом кондиционеров), то нужно сделать 2 абсолютно разных сайта под каждую тематику.

Контент 18+

Под фильтр попадает сайт, содержащий контент 18+, при условии, что сам сайт не «взрослой» тематики.

Сайт в поисковой выдаче виден только по запросам 18+.

Удалить контент 18+.

После того как вы исправите какое-либо нарушение, обнаруженное на своем сайте, обязательно нажмите в Я. Вебмастере кнопку «Я все исправил»:

Рис.278. Исправление сайта в соответствии с рекомендациями Яндекса после фильтра

Как правило, проверка составляет несколько дней и, если все в порядке, санкции снимаются.

Фильтры и санкции Google

Санкции применяются вручную сотрудниками поисковой системы. После проверки сайта специалисты могут применить санкции. Как правило, если они были применены, отправляется сообщение в Search Console в разделе Поисковый трафик – Меры, принятые вручную. Когда алгоритм Google считает сайт подозрительным, либо служба поддержки Google получает жалобы пользователей о данном ресурсе, сайт подвергается ручной проверке, после которой могут быть применены ручные санкции.

Рис.279. Проверка сайта на наличие фильтров в Гугл

К сайту могут быть применены санкции по следующим причинам:

– взлом сайта

– спам в комментариях

– спамная микроразметка

– некачественные, неестественные ссылки на сайт

– некачественный контент, не несущий никакой информационной и практической ценности для пользователя

– клоакинг, редирект

– неестественные, нерелевантные исходящие ссылки

– чистый спам

– клоакинг в картинках

– скрытый текст/чрезмерное использование ключевых слов

Кроме ручных санкций, сайт может попасть под фильтры алгоритмов. Фильтр – это часть основного алгоритма ранжирования, которая отвечает за понижение/исключение сайта из выдачи, в том случае, если сайте были выявлены нарушения правил поисковика.

Если вы заметили снижение трафика на свой сайт из поисковиков (из органической выдачи) или исключение сайта из выдачи, то возможно, что ваш сайт попал под действие фильтров. Расскажем о двух самых главных фильтрах Google – Гугл Панда и Гугл Пингвин, существуют и другие алгоритмические фильтры, но о них известно совсем немного.

Алгоритм Google Panda (Панда) нацелен на повышение качества результатов поиска. Поэтому он занимается оценкой контента сайта – проверяет уникальность текстов, их информативность, наличие добавочной ценности, количество ключевых слов (чтобы не было переспама).

Алгоритм Google Penguin (Пингвин) борется с неестественными внешними ссылками. Такими будут покупные ссылки, ссылки с сайтов-сателлитов и с нерелевантных сайтов.

Как проверить сайт на наличие фильтров Google?

Шаг первый. Проверяем сообщения от Google.

Проверьте Google Search Console на наличие сообщений о наказании в разделе «Проблемы безопасности и меры, принятые вручную».

Если сообщений о ручных мерах нет, переходим к анализу статистики.

Если же Google указал о наказании, то исправьте причину, указанную в сообщении от поисковика, и отправьте заявку на повторную проверку.

Шаг второй. Проверяем трафик из Google.

Смотреть статистику посещаемости сайта можно как в Google Analytics, так и в Яндекс.Метрике. Но раз уж мы говорим об алгоритмах Гугл, то и трафик будем смотреть по статистике Google Analytics. Нас интересует статистика по органическому трафику (переходы из естественных результатов поисковой выдачи, не рекламных).

Заходим в Google Analytics и открываем раздел «Отчеты» для нашего сайта. В меню слева выбираем «Источники трафика» – «Общая информация» – «Источник/Канал». В открывшейся таблице с источниками и каналами трафика отмечаем нужные нам поисковики, именно те, где канал organic (как правило, это «yandex/organic» и «google/organic»).

Рис.280. Проверка трафика

Далее жмем на кнопку «Показать на диаграмме» и видим график посещаемости, где каждая линия отвечает за трафик из конкретного поисковика (исключением является синяя линия – это общее число посетителей). Проанализируем график:

Рис.281. Анализ посещаемости

Если снижение трафика медленное и сразу во всех поисковиках (рис. 1), посмотрите, насколько ваш сайт соответствует продвигаемым запросам. Возможно, пора заняться оптимизацией контента.

Если трафик упал только из Яндекса (рис. 2), возможно, ваш сайт попал под фильтры Яндекса (например, под АГС-40). В целом, советы по выводу сайта из-под фильтра похожи и для Яндекса, и для Гугла.

Если же резкое падение трафика из органической выдачи вы видите только для Гугла (рис. 3), то это может указывать на сработавший алгоритм Панда или Пингвин. Тогда обратите внимание на дату падения трафика.

Шаг третий. Панда или Пингвин?

Теперь идем на страницу истории обновлений алгоритмов Google (предоставляется сайтом moz.com) и смотрим, когда были обновления алгоритмов. Если дата снижения трафика попадает в интервал 1-2 недели после обновления одного из алгоритмов – возможно, ваш сайт попал под этот алгоритм.

Если дата падения трафика совпадает с датой обновления алгоритма Панда:

Смотрим по статистике посещаемости, для каких страниц сайта наблюдается наибольшее падение трафика. Копируем 1—2 предложения текста с одной из страниц и вставляем в строку поиска в Google, заключив этот текст в кавычки (ищем по точному соответствию).

Рис.282. Поиск совпадений текста в Гугл

Смотрим на результаты поисковой выдачи. Если ваш текст найден на других сайтах – смотрим, насколько сильно он совпадает. Если совпадение больше 60%, значит, нужно предпринимать меры.

В первую очередь все же стоит связаться с владельцем сайта, где размещен ваш текст – возможно, он не в курсе, что текст был «украден» с вашего сайта, и добровольно уберет ваш текст. Если убрать ваш текст со своего сайта он отказывается, можно обратиться в суд – но тут потребуются четкие доказательства того, что текст был размещен на вашем сайте раньше. Поэтому такой вариант малоперспективен.

Так что, как правило, самым распространенным действием становится изменение своего текста. И желательно переписать его заново (а не делать рерайт).

После замены текста обязательно защитите его от копирования. Для Яндекса – сохраните текст в разделе «Содержимое сайта» – «Оригинальные тексты» в Яндекс.Вебмастере. Для Гугла – добавьте ссылку на страницу с новым текстом в разделе «Профиль» – «О себе» – «Мои публикации» в Google Plus. И не забудьте добавить ссылку на новую страницу в карту сайта sitemap.xml, это должно помочь ускорить индексацию страницы.

Если дата падения трафика совпадает с датой обновления алгоритма Пингвин:

Заходим снова в Инструменты Google для веб-мастеров и смотрим раздел «Поисковый трафик» – «Ссылки на ваш сайт». Пройдите по нескольким из них. Если это нерелевантные сайты, спам-сайты («линкопомойки») – ссылки с них могут быть причиной снижения позиций вашего сайта.

Рис.283. Проверка ссылок на сайт через Гугл. Вебмастер

Необходимо связаться с владельцами данных сайтов, чтобы они убрали ссылки на ваш сайт.

Также верно и то, что чем больше естественных ссылок на ваш сайт, тем меньше будет негативное влияние спамных ссылок (это для тех случаев, если владельцы спам-сайтов не реагируют на требования снять ссылки). Например, хороший вес имеют ссылки с соц. сетей.