В моей предыдущей статье «Переезд с HTTP на HTTPS: главное – ничего не потерять!» центральное место занимало понятие процесса безболезненного переезда сайта с одного адреса на другой, при условии максимального сохранения для главного зеркала (конечной цели переезда) положительных характеристик второстепенного зеркала (исходной цели переезда). В поисковой терминологии такой процесс носит название «склейка». В данной статье я хотел бы подробней остановиться на различных нюансах склейки, как между сайтами (назовем это «внешней склейкой»), как и между внутренними страницами сайта («внутренняя склейка»).

В результате склейки сайтов часть характеристик второстепенного зеркала может передаваться главному зеркалу. Так, например, в Яндексе передаются ссылочные и поведенческие факторы, не передаются временные факторы (например, возраст страниц) и штрафы.

Что касается непередаваемости штрафов от второстепенного зеркала главному в случае их склейки, то, судя по всему, здесь логика следующая. По большому счету, способы подклейки второстепенного зеркала к главному зеркалу не требуют никаких манипуляций непосредственно с главным зеркалом, или же какого-то подтверждения прав на него. Поэтому находящийся под вашим контролем сайт можно подклеить в качестве второстепенного зеркала практически к любому сайту, и совершенно необязательно, чтобы это главное зеркало тоже находилось под вашим контролем. Получается, что если бы санкции передавались при склейке, то находящийся под санкциями сайт можно было бы использовать в качестве оружия уничтожения в выдаче практически любого сайта. Для этого нужно было бы просто подклеить к выбранной «жертве» находящийся под санкциями сайт в качестве второстепенного зеркала.

Еще один важный нюанс – это то, что в случае склейки сайтов для корректной передачи характеристик страниц второстепенного зеркала главному, необходимо, чтобы соответствующие страницы имели одинаковые внутренние адреса. Если адреса страниц у второстепенного и главного зеркала не совпадают, то нужно привести их друг к другу, используя внутреннюю склейку страниц (о которой речь будет идти ниже): https://help.yandex.ru/webmaster/yandex-indexing/site-mirrors.xml#merge-different-structures.

Узнать, является ли чьим-то второстепенным зеркалом тот или иной сайт, в Яндексе можно с помощью формы «Сообщить о новом сайте» .

Ведущие поисковые машины русскоязычного рынка поиска предлагают достаточно подробные инструкции по корректной склейке сайтов. У Google она содержится в инструкции «Перенос сайта с изменением URL» справки сервиса «Инструменты для вебмастеров». У Яндекса – в разделе «Переезд сайта на новый домен» справки сервиса «Яндекс.Вебмастер». Это следующие способы:

301-й редирект

Реализация – со всех страниц исходного сайта организуется серверный редирект с HTTP-кодом 301 на соответствующие им страницы нового сайта. Поддерживается как Google, так и Яндексом.

Ускорить процесс переклейки можно следующим образом. В Google – отправить запрос на изменение адреса в «Инструменте для изменения адресов» – не работает в случае изменения протокола HTTP на HTTPS. В Яндексе – с помощью инструмента «Главное зеркало» сервиса «Яндекс.Вебмастер». Причем для того, чтоб воспользоваться этим инструментом, необходимо условие, чтоб Яндекс посчитал оба сайта зеркалами.

По возможности следует избегать цепочек редиректов, и использовать их только в одном случае – когда структуры адресов страниц второстепенного и главного зеркала не совпадают, и их необходимо привести друг к другу. При этом очень желательно перед организацией редиректов между сайтами сначала дождаться переклейки соответствующих внутренних страниц.

Плюсы. Универсальность. Является общим способом для обеих поисковых систем.

Минусы. В Яндексе можно столкнуться с временным проседанием позиций, обусловленным тем, что полноценная переклейка еще не произошла (и поэтому страницы нового сайта не получили характеристик от страниц исходного сайта), а страницы исходного сайта уже выпали из индекса из-за того, что они имеют отклик, отличный от 200.

Редирект через мета-тег refresh

Поддерживается только Яндексом. Реализация – при помощи мета-тега refresh с нулевой задержкой, добавляемого в код каждой страницы (например: ).

Плюсов я в этом способе не вижу, кроме разве только что одного – этот способ подходит для тех, кто не умеет настраивать серверный редирект.

Минусы – те же, что и в случае 301-го редиректа.

Директива Host

Осуществляется c помощью директивы Host для фала robots.txt. Поддерживается только Яндексом, синтаксис директивы можно найти на странице помощи вебмастеру: https://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml#host

Плюсы. Переклейка главного зеркала не сопровождается проседанием позиций в Яндексе.

Минусы. Не поддерживается Google.

В случае склейки внутренних страниц я предпочитаю вместо термина «зеркало», который применяется на уровне сайтов, оперировать термином «дубль». В Яндексе, в случае внутренней склейки, все характеристики второстепенного (неканонического) дубля передаются главному (каноническому) дублю – в том числе возраст и, к сожалению, санкции. Передача возраста при внутренней склейке используется для так называемого «состаривания» новых страниц. Google, в свою очередь, в своих рекомендациях по внутренней склейке упоминает об объединении по меньшей мере сигналов для ссылок на идентичное и похожее содержание: https://support.google.com/webmasters/answer/139066.

Процесс склейки внутренних страниц можно осуществлять следующими способами:

301-й редирект

Реализация – с неканонического дубля организуется серверный редирект с откликом 301 на канонический. Цепочек редиректов следует избегать. Этот способ рекомендует Google для изменения URL страницы, отображаемой в результатах поиска: https://support.google.com/webmasters/answer/93633?hl=ru. Также данный способ поддерживается и Яндексом: http://help.yandex.ru/webmaster/robot-workings/managing-redirects.xml#internal-redirects. На мой взгляд, он является самым надежным способом внутренней склейки, однако его использование ограничено только теми случаями, когда по адресу страницы, являющейся неканоническим дублем, не обязательно отдавать отклик 200. Остальные способы следует применять, когда отдача отклика 200 необходима, например, в случае полных или нечетких дубликатов, каждый из которых, по каким-либо причинам, необходимо демонстрировать пользователю именно по своему адресу без перенаправления на другой физический адрес.

Директива Clean-param

Осуществляется с помощью директивы Clean-param файла robots.txt и распространяется только на те случаи, когда неканонические дубли отличаются от канонического только наличием параметров в адресе страницы. Поддерживается только Яндексом, синтаксис директивы можно найти на странице помощи вебмастеру: http://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml#clean-param.

Инструмент «Параметры URL» Google

Специальный инструмент сервиса «Инструменты для вебмастеров» Google https://www.google.com/webmasters/tools/crawl-url-parameters. Аналогично поддерживаемой Яндексом директиве Clean-param используется только в тех случаях, когда неканонические дубли отличаются от канонического лишь наличием параметров в адресе страницы. Полное описание инструмента можно найти в справке сервиса: https://support.google.com/webmasters/answer/6080550?hl=ru

Атрибут rel="canonical" тега

Это способ, в отличие от двух предыдущих, не накладывает ограничения на структуру адресов страниц, к которым он может применяться. Он позволяет в явном виде в коде страницы неканонического дубля задать адрес канонического. Поддерживается, как Google (https://support.google.com/webmasters/answer/139066?hl=ru#2), так и Яндексом (http://help.yandex.ru/webmaster/controlling-robot/html.xml#canonical).