17-й российский интернет-форум «РИФ+КИБ 2013» прошел с 17 по 19 апреля в подмосковном пансионате «Поляны». Организатором конференции выступал – РАЭК (Российская ассоциация электронных коммуникаций). В конференционной программе были представлены секционные заседания, круглые столы, мастер-классы и мини-секции, которые проходили в в 10 параллельных потоков. Всего вниманию участников конференции было представлено около 100 секций.

37 секция, также как и 26-я была посвящена поиску (Читать обзор 26-й секции с участием Ильи Сегаловича, Андрея Калинина и Владимира Офицерова). Ведущими выступали специалисты Google Мария Моева и Андрей Липатцев, в качестве спикеров также были приглашены Ринат Сафин (Google), Михаил Поздеев (Google EMEA), Михаил Сенин (Яндекс) и представители поисковой системы Choister Евгений Ветров и Алексей Низовских.

Во вступительной речи Андрей Липатцев предложил всем поговорить о том, как все вместе - и вебмастера и поисковые системы – работают в одной экосистеме поиска. Начать предложил с вопросов информационной безопасности, которые очень важны и решаются всеми поисковыми системами. Секция называется «Структурированный путь к успеху», и по мнению Андрея, безопасность – это самая первая ступень к успеху и одна из важнейших составляющих структурированного подхода.

Содокладчиком Андрея выступил Михаил Поздеев, представители Google выступили на тему «Безопасный путь к успеху», в котором рассказали о возможностях заражения сайтов, об уловках мошенников, пытающихся под видом какого-то нужно ПО загрузить пользователю на телефон вредоносный код и т.д.

Кроме всем уже известных способов заражения, Андрей рассказал и о более экзотических, например, о том, что существует целая плеяда роликов на YouTube, предлагающих пользователям решить какие-то свои задачи при помощи регистрации в социальных сетях, перечисления денег и т.д. Это же касается и расширений для популярных браузеров, обновления плейеров и т.д. Поиску только предстоит еще научиться бороться с подобного рода злоумышленниками, для того, чтобы обеспечить полноценную защиту своим пользователям.

Что предпринимает Google сегодня по обеспечению безопасности своих пользователей? За 2012 год более 200 миллионов объявлений было отклонено системой AdWords, для сравнения в 2008 году эта цифра составляла 25 миллионов. Это говорит о том, насколько поисковая система улучшила свои механизмы защиты. 8 миллионов сайтов было удалено из поискового индекса, и порядка 900 тыс. аккаунтов были заблокированы за несоответствия поставленным требованиям.

Вот график, демонстрирующий меры, принятые вручную:

Здесь отображено все разнообразие мер, применяемых к тем или иным ресурсам, которые были осуществлены за все годы. Здесь видно, как старается Google улучшать свои механизмы защиты пользователей.

Андрей пояснил, для чего демонстрируются эти данные. По его словам, за открытостью этих данных, за повышением прозрачности применяемых действий, за объяснением другим участникам рынка и рядовым пользователям того, что происходит, и достигается эффект улучшения борьбы с разного рода нарушениями, потому что пользователи становятся осторожней, они перестают слепо доверять разным заманчивым предложениям и все реже становятся жертвами мошенников.

И в завершении выступления, Михаил дал несколько рекомендаций по безопасности владельцам вебресурсов. У Google есть специальная разработка под названием Safe Browsing API, которая подходит для некоторого количества браузеров, которыми пользуется большое количество пользователей. Благодаря этому продукту 600 000 000 пользователей Chrome, Firefox и Safari каждый день защищены. Используя этот функционал владельцы ресурсов могут обезопасить тех пользователей, с которыми хотят выстроить долгосрочные отношения на доверительной основе.

Помимо этого технического решения есть и другие, такие как например вышедший совсем недавно сервис для партнеров YouTube – Deputy, который также может оперативно сообщать об обнаруженных случаях вышеперечисленных видов мошенничества.

Андрей еще раз подчеркнул, что решения этих проблем ни один из игроков рынка не сможет найти в одиночку, и Google жизненно заинтересован в новых инициативах, новых идеях и предложениях о сотрудничестве в этой области.

Далее выступили представители российского стартапа Choister Евгений Ветров и Алексей Низовских, с рассказом о плюсах и минусах системы вертикального поиска в сравнении с полнотекстовым поиском.

Полнотекстовый поиск – это поиск по ключевым словам, такой поиск используется в поисковых системах Яндекс, Google, Mail.ru, Yahoo!, Bing и т.д.

Вертикальный поиск – это поиск по параметрам – диапазонам цен, объему двигателя и т.д. Такой поиск используется в Яндекс.Маркете, Choister.ru, Kayak.com, Сraigslist.org, Booking.com и т.д.

Вертикальный поиск 2.0 – совсем новый подход в вертикальном поиске, отличительной особенностью которого является принцип получения данных. В этом поиске, также как и в полнотекстовом поиске, тоже есть свой робот, который обходит сайты в интернете, но не все, а определенные, которые принадлежать какой-то одной вертикали.

Основная сложность , которая была преодолена в вертикальном поиске 2.0 – извлечение структурированной информации. Также сложность представляют поиск и слияние дубликатов страниц, а также скорость обновления информации. Информация меняется достаточно быстро, следовательно особую важность приобретает увеличение скорости обхода сайтов поисковым роботом.

Что же дальше, и каким будет вертикальный поиск будущего?

По словам докладчиков, в настоящее время уже есть немало рынков, которые уже структурированы вертикальными поисковиками. Но все-таки вертикальных поисковых систем пока еще существенно меньше, чем рынков, нуждающихся в структурированных данных. В будущем обязательно каждая вертикаль будет занята некоторым количеством вертикальных поисковиков, которые будут структурировать необходимые данные.

Задачи, которые уже решаются параметрическими поисковиками и будут улучшены в вертикальном поиске будущего:

- удобный ввод неудобного запроса

- выдача данных, а не ссылок, сравнение данных

- формат выдачи может определяться самим пользователем (диаграммы, графики, таблицы, карты)

- обогащение данных (формирование карточек объекта с исчерпывающей информацией, собранной из различных источников)

- социализация данных (связь данных с социальным графом)

- охват «длинного хвоста» вертикального поиска

Как же будет решен вопрос монетизации вертикальных поисковиков? Также, как он решается полнотекстовыми поисковиками. Основными каналами монетизации будут:

В завершение своего выступления представители Choister высказали предположение, что в недалеком будущем, при вводе запроса на какую-то специализированную информацию в больших поисковиках пользователь будет видеть на первых местах энное количество ссылок на вертикальные поисковики, и уже в рамках параметрических поисков решать свои насущные задачи.

Вопрос из зала: Магия больших поисковиков заключается в том, что у них не только есть все данные, но и в том, что человек может ввести запрос на человеческом языке и за 3 секунды получить ответ. Учитывая то, что в будущем большой поиск обещает все более персонализированную выдачу, поиск и сравнение по параметрам представляется мне прошлым веком. Что вы об этом думаете?

Евгений Ветров: Вначале мы думали, что ранжирование результатов в вертикальном поиске – вещь абсолютно ненужная. Но со временем мы поняли, что это не так. Данные, которые находит параметрический поиск, тоже не всегда бывают идеальными, у них тоже есть критерий качества. Внутри выборки, соответствующей поисковому запросу, результаты будут ранжироваться в соответствии с их качеством.

Вопрос из зала: А можно поподробней о том, как вы меряете качество данных?

Алексей Низовских: Что касается качества данных, то с нашей точки зрения, здесь все методы хороши. Мы структурируем наши базы максимальным количеством автоматизированных средств, но в данном случае хороши и ручные средства проверки каких-то пограничных вариантов. В целом же, мы внедряем такое понятие, как рейтинг источников, рейтинг, формируемый пользователями, за счет жалоб на те или иные ресурсы. Именно таким образом вертикальный поисковик может превратить количество в качество.

Кроме того, в чем заключается основное удобство вертикального поисковика? Выбирая из предложенных поиском параметров, пользователь может легко определиться с тем, что для него важно, придать конкретику объекту поиска, чего зачастую он не может сделать, пользуясь только поисковой строкой большого поиска.

Если же говорить о персонализированной выдаче, то мне бы, например, не хотелось, чтобы меня ограничивали в выборе, основываясь на каких-то моих прошлых предпочтениях. Вертикальный поисковик дает человеку больше свободы в выборе.

Ринат Сафин, представитель Google Россия выступил с рассказом о том, какой поиск бывает, когда его нет. Доклад так и назывался «Результаты ДО поиска» и был посвящен сервису Google Now.

По словам Рината, особенное внимание в поиске Google уделяется быстроте. Он обратил внимание на то, что результаты поиска Google возвращаются через доли секунды. На то, чтобы практически мгновенно показаться страницу с результатами, одновременно работают тысячи компьютеров, в параллель решающих очень сложные задачи по формированию страницы с выдачей.

Можно ли еще улучшить этот результат? Безусловно. Можно помочь пользователю сформулировать его запрос – это еще экономия каких-то долей секунд, которые обеспечивают поисковые подсказки. Ну и конечно же, технология Живого поиска, который начинает показывать результаты еще до того, как пользователь закончил набирать свой запрос.

Но и это еще не все. Google постоянно думает над тем, что же еще можно сделать для ускорения процесса поиска. Так например в браузере Chrom, страница, которая находится на первом месте в выдаче по запросу, и которая наверняка будет выбрана пользователем, заранее рендерится и загружается браузером, для того, чтобы пользователь мог сразу же ее открыть и не ждать ее загрузки. Это тоже ускоряет пользователю путь до искомой цели.

Ринат признался, что иногда Google знает, что пользователь хочет найти еще до того, как он начинает искать. Например, с утра многих людей, которым надо ехать на работу, интересует вопрос «будет ли сегодня дождь?». Большая часть людей ищет прогноз погоды в своем телефоне.

Телефон – это то, что всегда у нас с собой. И если пользователь разрешил поиску собирать о себе информацию, то сбор этой информации идет постоянно. Он позволяет узнать, когда примерно человек выходит обычно на работу, и именно в это время ему может быть нужна информация о погоде, чтобы решить – брать ли с собой зонтик. На этом и основана система, запущенная для устройств на платформе Android под управлением Jelly Bean, названая Google Now.

Google Now показывает пользователю информационные карточки под строкой поиска еще до того, как он начал набирать запрос. Так, карточка, демонстрирующая прогноз погоды появится именно в то время, когда это нужно пользователю. Это могут быть и разные другие карточки с полезной информацией, например: сколько времени займет путь, где и когда произойдет следующая встреча, кого нужно поздравить с днем рождения, где можно перекусить и т.д. Кроме того, в телефоне есть система уведомлений, которая не даст пропустить ничего интересного из новостей, если пользователь в отпуске – ему будут демонстрироваться карточки с достопримечательностями, курс валют, разговорник и проч.

Поведение системы Google Now меняется в зависимости от того, где находится пользователь. Она даже может подсказать туристу самые интересные места и виды, где больше всего туристов фотографируется. В общем, система призвана удовлетворять практически все информационные потребности пользователя.

Если же нужных карточек нет в Google Now, можно всегда воспользоваться поиском, или, для скорости, голосовым поиском для того, чтобы узнать интересующую информацию.

Вопрос из зала: А вот вы сказали, какими данными о пользователе пользуется сервис Google Now для того, чтобы обеспечивать пользователю качественное удовлетворение его информационных потребностей. А скажите, какими данными о пользователе пользуется полнотекстовый поиск Google для персонификации выдачи?

Ринат Сафин: Есть специальная страница Help Page, где написано, какая информация о вас используется для персонализации поисковых результатов. В основном это история поисковых запросов, история посещения тех или иных сайтов, геоданные о местоположении пользователя.

Вопрос из зала: А как можно все это выключить?

Ринат Сафин: Во-первых, для того, чтобы это все было, это надо сначала включить. Просто так никому ничего из перечисленного не демонстрируется. Для начала это все нужно включить в настройках своего аккаунта Google. Там же, соответственно, можно это все и отключить.

Далее Михаил Сенин из Яндекса рассказал об изменениях, которые совсем недавно произошли в сервисе Яндекс.XML.

Михаил напомнил, что сервис Яндекс.XML был запущен почти 10 лет назад, он позволяет задавать поисковые запросы и получать результаты в формате XML и работает на данный момент с тремя индексами: российским, турецким и мировым. Что же касается аудитории сервиса, то одна часть – это организация поисков (крупные партнеры Яндекса), а другая – сеоаналитика.

Число запросов на турецкий и мировой индексы на сегодняшний день следующие: при подтвержденном номере телефона – 10 000 запросов в сутки, при неподтвержденном – 10.

В России ситуация была другая – при подтвержденном номере телефона 1000 запросов в сутки, если номер телефона не был подтвержден, то число поисковых запросов в сутки ограничивалось десятью. При этом получалось так, что владельцы небольших сайтов не использовали доступный объем запросов, а владельцам крупных сайтов существующего объема запросов не хватало.

Именно в этом вопросе и произошли нововведения, о которых и хотел рассказать Михаил. Теперь лимит на количество запросов будет напрямую зависеть от качества сайтов, подтвержденных пользователем в сервисе Яндекс.Вебмастер, а нагрузка будет распределяться по времени в зависимости от текущей загруженности вычислительных мощностей. Подтверждение номером телефона больше не требуется. В результате изменения схемы расчета лимитов количество доступных запросов для наиболее качественных сайтов увеличится более чем в 8 раз.

Новые правила расчета лимитов на запросы введены в целях более оптимального использования ресурсов сервиса вебмастерами. Также, докладчик сообщил, что во время снижения нагрузки на кластер у сервиса появляется возможность обслужить большее число запросов, поэтому в ночное время можно будет задавать большую часть запросов из общего лимита.

Михаил предупредил, что в ближайшие три месяца старые лимиты продолжат действовать наравне с новыми - пользователь получит наибольший из лимитов. Это время дается на то, чтобы добавить и подтвердить сайты в сервисе Яндекс.Вебмастер и, при необходимости, передать права кому-то другому.

Вопрос из зала: Мы уже давно наблюдаем, что выдача через Яндекс.ХML не соответствует выдаче через обычный интерфейс. Зачем это сделано, и когда планируется привести их в соответствие?

Михаил Сенин: ХML поиск по сути своей является отдельным продуктом, это не совсем API к веб-поиску, для него поддерживается определенный уровень качества, и он лишен многих фич, которые есть в веб-поиске (в нем нет вторых документов с сайта, колдунщиков, других сервисов). У нас есть мониторинг, который показывает, что если убрать всю персонализацию и эти фичи, то кардинального расхождения нет.

Вопрос из зала: Входит ли в понятие качества сайта его масштаб?

Михаил Сенин: Да, при выборе формулы качества сайта мы учитывали, что у разных сайтов могут быть разные потребности.

Завершило работу секции выступление Марии Моевой и Андрея Липатцева, которые представили доклад под названием «Ответы, а не разультаты», посвященный структурированным данным поиска Google.

Мария рассказала о главном запуске прошлого года – так называемом Графе знаний, который позволяет получать быстрые и исчерпывающие ответы на простые вопросы. Что здесь может быть интересным для владельцев сайтов – это то, что информация о событиях, связанных с информацией, выдаваемой на карточках Графа знаний, берется с сайтов. Т.е. если вебмастер разметить соответствующим образом информацию на своем сайте, в будущем она будет использоваться поиском Google для демонстрации на карточках Графа знаний.

Далее Андрей рассказал, как можно это сделать на своем сайте. Например, информация о концерте, которую можно дать на своем сайте вот в таком виде «Лучший концерт, суббота 4 мая, 20.00. Клуб 16 Тонн», можно сделать более привлекательной для поискового робота, добавив немного кода:

Подобная расширенная разметка предусмотрена не только для мероприятий, но и для рецептов, для гостиниц и многих других типов информации.

Для того, чтобы немного упростить процесс разметки информации недавно Google запустил новый инструмент – маркер семантической разметки, который позволяет вебмастеру сначала в графическом интерфейсе маркерами отмечать необходимую информацию, а затем система начинает делать это сама для других страниц сайта. Инструмент можно найти в панели инструментов для вебмастеров. Пока этот инструмент доступен только для разметки информации о мероприятиях.

Также в инструментах для вебмастеров отображается статистика, которая показывает вебмастеру, что ему приносить эта разметка, что он получает от ее наличия, а также специальный инструмент для проверки правильности используемой семантической разметки.