Автор: Сергей Людкевич - ведущий аналитик проекта «Поисковая Аналитика», cупермодератор форума о поисковых системах Searchengines.ru. Сфера профессиональных интересов - исследование алгоритмов ранжирования поисковых машин, разработка методик поискового продвижения сайтов.

В начале ноября на форуме разгорелись нешуточные страсти. Давненько темы из раздела «Апдейты» не собирали такого количества сообщений – тему об изменении поисковой выдачи от 01.11.2013 приходилось продолжать дважды после того, как предыдущий топик набирал тысячу сообщений. И что самое интересное, речь шла не об изменении алгоритма ранжирования, что традиционно бурно обсуждается сеошниками. А всего лишь о фильтрации из индекса сайтов, которые Яндекс счел малополезными для своих пользователей.

Казалось бы, проблема фильтрации из индекса некачественных сайтов не должна сильно заботить сеошников. Подобные сайты не продвигаются в поисковых системах, а, как правило, используются в качестве ссылочных доноров. Поэтому фильтрация некачественных ссылочных доноров, наоборот, по идее, даже должна приветствоваться сеошниками, т.к. облегчает процесс закупки рабочих ссылок.

Однако бурно кипящие страсти обнаруживают тот факт, что очень многие сеошники сколотили себе параллельный бизнес – генерацию сайтов под продажу ссылок на ссылочных биржах, так называемых “Made For Sape” (MFS) сайтов. И в итоге продают с них ссылки другим сеошникам. Бизнес непыльный, позволяющий жить сладкой жизнью рантье, т.е. иметь пассивный доход, только вот, как оказалось, имеющий определенные риски, ведь за ссылку с донора, отсутствующего в индексе Яндекса, никто в здравом уме не даст и ломаного гроша.

Конец гаданиям пострадавших владельцев вылетевших из индекса доноров, глюк это или результат целенаправленных действий, положил анонс Яндексом алгоритма АГС-40, направленного, по словам разработчиков, на ограничение присутствия в выдаче некачественных сайтов, ориентированных в первую очередь на продажу ссылок.

Суть алгоритма кроется в расшифровке аббревиатуры, входящей в его название, ведь АГС – это не что иное как «антиговносайт» (что подтверждено сотрудниками Яндекса в частной беседе). Термин «говносайт» или ГС давно вошел в лексикон сеошников, являясь антонимом термина СДЛ – «сделанный для людей». Также аббревиатура АГС может расшифровываться, как «автоматический гранатомет станковый», и поэтому апдейты алгоритма получили цифробуквенный индекс представителей данного типа вооружения – первый релиз АГС-17 был анонсирован в сентябре 2009 года, второй – АГС-30, – представлен в декабре 2009 года. О третьем, АГС-40, мы узнали 6 ноября этого года. Больше представителей семейства АГС среди гранатометов нет, и, похоже, следующий релиз данного алгоритма потеряет ассоциативную связь с ними.

В анонсе алгоритма АГС-30 упоминалось, что он основывается примерно на ста факторах. Судя по всему, разработчики пошли по хорошо проторенной дорожке машинного обучения. С появлением в Яндексе быстрого алгоритма MatrixNet задачи решаются стандартно: необходимо придумать достаточно большое количество факторов, разметить достаточно большую обучающую выборку и включить это в MatrixNet, на выходе получив формулу, которая будет классифицировать все остальные сайты.

Обращает на себя внимание тот факт, что между вторым и третьим релизами алгоритма прошло целых четыре года. За это время «вебмастера» (именно так в ссылочных биржах называются манимейкеры, выставляющие на продажу ссылочные места на сайтах), похоже, успели приспособиться к предыдущему алгоритму. Но новый релиз нанес по ним достаточно ощутимый удар.

Наблюдения позволяют говорить о том, что АГС-40 выкосил до четверти всех биржевых доноров.

Надо отдать должное - в подавляющем большинстве это действительно некачественные сайты с автоматически сгенерированным контентом, копипастом, восстановленные из архива на брошенных доменах (т.н. «дропы»), фальшивые сайты организаций и т.п. Никакой ценности для пользователей поисковых систем они не представляют, скорее наоборот, так как размещенной на таких сайтах информации в очень многих случаях доверять нельзя. Впрочем, «вебмастерам» этих сайтов, по большому счету, пользователи и не нужны, их интересуют только те вещи, которые могут повлиять на цену ссылок с их доноров на бирже и на возможность продать эти ссылки, и в первую очередь, это индексация в Яндексе.

Не исключено, что наличие и объем трафика на сайте, а также поведение пользователей, вполне могут входить в число факторов, которые учитывает алгоритм АГС.

Так, среди проанализированных жертв АГС попадаются и сайты с нормальным контентом. Таких сравнительно немного, но они есть. Причинами ложных срабатываний может быть, к примеру, соседство по хостингу или DNS с мусорными сайтами и слабые общие характеристики (дизайн, посещаемость, поведенческие факторы). Владельцам таких сайтов непременно нужно обратиться в службу поддержки Яндекса, есть шанс, что наложенные ограничения могут снять.

Возникает вопрос: что Яндекс считает большим злом – коммерческие ссылки как таковые, или же тот информационный мусор, который генерируется в качестве площадок для размещения коммерческих ссылок? Проблему коммерческих ссылок можно было бы решить достаточно просто, выкачав из бирж списки доноров, предлагающих ссылки на продажу.

Однако разработчики Яндекса решают проблему иначе – они стараются детектировать именно некачественные сайты. Кстати, не случайно есть много свидетельств, что под АГС попали сайты, не торгующие ссылками, но действительно искусственно сгенерированные под будущий заработок. Так что, судя по всему, проблему информационного мусора Яндекс считает намного более серьезной. И лучший способ решить эту проблему – сделать заработок на генерации некачественных сайтов неэффективным. Поэтому MFS сайты следует обнаруживать как можно быстрее, пока они еще не окупили затраты на свое производство.

С другой стороны, слишком жесткие настройки алгоритма могут выкосить из индекса действительно полезные сайты, которые алгоритм по тем или иным причинам посчитает похожими на некачественные, что видимо, явно не входит в планы Яндекса. И в итоге мы видим, что далеко еще не все MFS сайты попали под действие нового АГС.

В целом, у «вебмастеров»-манимейкеров еще есть надежда, что они смогут подстроиться и под новый алгоритм. И они уже усиленно начинают искать пути решения возникшей проблемы, стараясь выяснить, какими теперь должны быть требования к донорам, позволяющие обходить санкции.

Тема про алгоритм АГС-40 уже разменяла свою первую тысячу постов. Индустрия манимейкинга посредством создания MFS обрела довольно серьезные масштабы, и так просто сдаваться не собирается. Хотя ей нанесен весьма чувствительный удар.

Сергей Людкевич, специально для Searchengines.ru