О том, зачем еще поисковикам браузеры, на конференции All in Top Conf 2013 рассказал Роман Козлов - человек, поработавший во всех поисковиках, которые только есть, и даже в том, который не вышел.

Роман выделил некоторые тенденции в поисковиках, которые ему не очень нравятся. Говорил Роман о браузерах и о том, для чего их на самом деле используют.

С декабря 2000 года, когда Google выпустил первый Google Toolbar, основная задача была ― удерживать себя, как основную поисковую систему. Тогда это было достаточно сложно. Задача была ― создавать быстрый доступ к своим сервисам, одной кнопкой. Но была и еще и другая задача - не столь явная. Любая ссылка, которая открывалась при помощи бара Яндекс, Google, Bing, автоматом попадала в сам поисковик, как заготовка для краулинга. Таким образом можно было отсерфить весь контент, который не имеет ссылок. Пользователь зашел, поисковик про это узнал, робот зашел и проиндексировал. Это было единственное использование, с точки зрения влияния на индексацию.

Бывали и проколы. В одной поисковой системе летом 2005 года случилось совпадение некоторых факторов. Готовился к запуску внутренний сервис, при этом он был во внутренней сети и не виден снаружи, соответственно, отсутствовал robots.txt. Только роботу никто не объяснил, что не надо ходить во внутреннюю сеть, а он, естественно, имел к ней доступ. Кто-то с бара зашел на этот сервис, робот его не узнал, в результате их запущенный сервис оказался в выдаче. И люди стали задавать вопросы: «А что это у вас тут такое красивенькое?». Вот так можно случайно наколоться на своих собственных вещах.

В те времена была еще очень активная замена главной страницы. Каждый вирус, каждая штука пыталась поставить пользователю свою home page. Всю эту войну по-хорошему начал Google. Войну тул-барами, впихивание всякого софта.

Но времена меняются. В середине 2000-х линковое ранжирование рулило. Главное было ― знать все ссылки. Но потом, не без влияния оптимизации, белые и черные сервисы, плюс соцсети размыли аудиторию поисковиков. Дело в том, что бары плохо взаимодействуют с поведением пользователя на странице. Они позволяют узнать, что в url, но остальную информацию о пользователе вытащить не всегда просто, а иногда просто невозможно.

«Ок!», ― подумали в свое время товарищи в Google, и запустили в сентябре 2008 года Google Chrome. Это был прорыв. Кроме того, Chrome жестко привязан к сервисам Google, а они через Chrome умеют получать данные месторасположения пользователя даже без подтверждения. Яндекс долго думал, и в прошлом году тоже запустил свой браузер.

Что интересно, до этого была тенденция ― вставлять свои кастомизированные браузеры, делать Firefox со вкусом Яндекса, Сафари со вкусом Apple, и так далее. То же самое и с барами. То есть, больше привязать пользователя. Но информации о действиях пользователя это давало меньше. Натянуть пользовательский интерфейс на стандартный движок ― не самая большая проблема, но этого мало.

Ошибочно думать, что, используя другие браузеры типа Opera или Firefox, можно скрыть от поисковиков свои действия в интернете. Firefox через некоторые сервисы всю информацию о всех посещенных страничках сливает в сервис проверки Google, и Google знает, где и кто бывает. Firefox одно время сотрудничал с Яндексом, потом они разошлись.

Так что же они все-таки хотят узнать о пользователе? Во-первых, его геолокацию. Не только ip-шную, но и позиционирование. Это нужно для точного нацеливания запросов. Если задаются определенные запросы, и пользователь ходит по определенным страницам в зависимости от того, где он находится, скорее всего, эти страницы более релевантные. Это фактор ранжирования по геозапросам.

Поведение на странице анализируется так: сколько времени пользователь провел на странице, насколько ее прокручивал, на что там кликал, открывал ли менюшки. Все эти факторы сохраняются. Ходят слухи по интернету, что Chrome в некоторых случаях сливает полное содержимое страницы ― что пользователь кликнул, когда он сделал это сам, а когда был авторедирект, через что он был.

А самое интересное ― это цепочки переходов. Браузер смотрит всю пользовательскую сессию. Не одну страницу, которая была просмотрена, а весь путь. Как пользователь начал ― с закладки, с поиска, сам набрал, какую цепочку сайтов посетил, на чем останавливался... Вот за этой цепочкой гоняются все поисковики потому, что этот фактор ― покруче линков. Это пользовательские действия, которые совершает сам пользователь ― по данному запросу, по данной тематике. Это дает возможность попадать в сессии страницам, на которых пользователь провел больше времени, даже если они не попадают в выдачу.

А вот линки сейчас уже вымирающий вид. Они используются все меньше. Все сводится к тому, куда ходят пользователи и как они ходят. И вот для сбора этой информации будут выпускаться браузеры, - потому что сейчас это и есть качество поиска ― ранжировать по статистике переходов. Тенденция такая. Хочется все больше и больше информации. Что же будет дальше?

У нас по рынку ходят слухи, что одна поисковая система в одной стране договорилась с провайдерами, и просто имеет доступ к магистральному трафику. Они смотрят все, что проходит через http. Например, конкурентов анализируют, как у них выдача выглядит, как у них с выдачи переходят, и ловят все цепочки пользователей.

Второе ― гугловский пульс. Телефон сейчас ― это вообще страшная вещь. Он тоже ловит пользовательские паттерны поведения. Он позволяет понять, где они, что делают, а если пользователь еще, например, где-то чекинится или в Twitter пишет, то и цели его примерно можно понять. Это все - тоже факторы ранжирования, которые просто ловить, и предлагать в аналогичных ситуациях аналогичные решения.

И третье ― это уже станет на уровне обычной жизни города. Как пользователи себя ведут, геолокация активности ― это вытаскивается и просто используется, как фактор ранжирования. Думаю, что в ближайшее время будет анализироваться все, что ходит.

Вопрос из зала: Мы все знаем, что в Европе уже озадачились и на многих сайтах мы видим объявление: «Мы используем cookies. Нажмите ОК и смотрите сайт дальше». Что дальше будет? Дальше будет такая простыня: «Прочитайте, что мы используем, и смотрите дальше»?

Роман Козлов: Так она уже есть. Почитайте Privacy Police на любом сервисе Яндекса или Google. Тут сменилась парадигма. С появлением того же самого Твиттера или смартфона, люди стали просто спокойней к этому относится. Если нарушение privacy в 90-е вызвало какие-то иски, Microsoft до сих пор очень аккуратен, то сейчас всем все равно. Ну, следят, - пусть следят.

Из зала: Я хотел сказать спасибо тебе за то, что ты борешься, как бы ты не боролся, как и мы ― те люди, которые разбираются в том, что у нас воруют информацию. Я не люблю, когда за мной следят 24 часа в сутки. Нас и таких, как мы, очень мало, и мы не решим эту проблему. Но благодаря тебе, тому, что ты поднимаешь эту тему, тему privacy ― она скоро должна будет взорвать общественность. Практика показывает, что большинству плевать, и они об этом знают: вон Google делает privacy на 10-15 листов. Кто-нибудь читал? Нет. Я думаю, что 99,99 пользователей не читали, и вот компании на них и живут, и будут жить еще долго. Но мы должны эту тему поднимать на более высокий уровень. Нельзя следить.

Из зала: Я хочу высказать свою альтернативную точку зрения. Что произойдет, если поиск лишится такого прекрасного источника, по которому он может ранжировать сайты? К чему мы придем? Нет у него данных о пользовательском поведении ― значит, у нас будут в выдаче сплошные сеошные сайты. Но каких-то трастовых авторитетных сайтов практически не будет ― они будут исчезать. Достоверность других источников информации очень низка.

Кроме того, можно лоббировать не то, чтобы поведенческие факторы запретить, а то, что кто хочет, пусть пользуется специальными программами, и не запрещать передачу данных поведенческим поисковикам. Выбирая такой путь запрета, мы просто лишимся источника информации.

Роман Козлов: Я просто хочу напомнить, что когда-то все говорили: «Вот текстовое ранжирование ― это все». Потом появилось ссылочное. Потом ссылочное ранжирование ― все, появились поведенческие и социальные. Просто потом будет следующий шаг ― это развитие. Что касается privacy ― естественно, для тех, кому не нравится, существуют возможности не следить. И поведенческие факторы пусть отслеживают для тех, кому все равно. Я не против этого. Я против того, что это сейчас навязывают без желания, и, зачастую, не соблюдая собственной конвенции.

Из зала: До меня неделю назад дошел такой слух, не знаю, правда или нет. Некий человек на свой сайт поставил систему статистики, которая дает ему данные об адресе человека, который в данный момент заходил на сайт. Насколько это реально?

Роман Козлов: Это все совершенно реально. Это называется геобаза. По ip-адресу можно сейчас достаточно точно вычислить, где вы находитесь, особенно если у вас индивидуальный канал.

Из зала: Мы SEO-специалисты, нам интересна практика с поиском. То, что человек ходит по каким-то сайтам ― в принципе нас не волнует, как и Яндекс и Google не должны волновать потому, что их желание ― чтобы пользователи к ним пришли. Наше желание ― чтоб они пришли на наши сайты.

Роман Козлов: Желание Яндекса – заработать побольше на контекстной рекламе.

Из зала: Для этого они должны прийти в поиск.

Роман Козлов: Для этого они должны прийти в поиск и уйти от него довольными, найдя там то, что они хотели там найти. Яндекс об этом и говорит: «Мы хотим, чтобы наши пользователи уходили довольными». А вот это один из факторов: посмотреть, чем же люди довольны, почему у них сердце останавливается.