Представитель Google Джон Мюллер (John Mueller) опубликовал детальное описание того, как в настоящее время алгоритмы поисковика обрабатывают сайты на JavaScript (включая AJAX) и так называемые Progressive Web Apps.

Публикация вышла под названием: «Обновление (март 2016) текущего состояния и рекомендаций для JavaScript-сайтов и Progressive Web Apps в поиске Google» и включает следующие пункты:

1) Не занимайтесь клоакингом, пытаясь обмануть Googlebot. Используйте техники feature detection и progressive enhancement, чтобы сделать содержимое сайта доступным для всех пользователей. Избегайте редиректов на страницы, которые не поддерживаются браузером. Если необходимо, используйте polyfill – скрипты, частично эмулирующие спецификации HTML5 или CSS3, позволяющие браузеру правильно отобразить контент. В настоящее время Googlebot не поддерживает такие функции и сценарии, как Service Workers, Fetch API, Promises и requestAnimationFrame.

2) Используйте атрибут rel=canonical для указания канонического URL, если контент размещён на нескольких URL-ах.

3) Избегайте использования устаревшей схемы сканирования AJAX на новых сайтах. Не забывайте удалять теги «meta fragment» из HTML-копии AJAX-страниц. Не используйте тег «meta fragment» на страницах с тегом «escaped fragment».

4) Избегайте использования «#» в URL-ах. Googlebot редко индексирует такие адреса. «Стандартная» структура адреса страницы выглядит так: путь/имя файла/параметры запроса.

5) Используйте Сканер Google для сайтов в Search Console, чтобы проверить, как Googlebot видит страницы. Помните, что этот инструмент не поддерживает URL, содержащие символы «#!» или «#».

6) Убедитесь, что все запрашиваемые ресурсы не закрыты от индексации в файле robots.txt (включая JavaScript-файлы/фреймворки, ответы сервера, сторонние API). Сканер Google для сайтов покажет список заблокированных ресурсов. Если ресурсы автоматически заблокированы в robots.txt (например, сторонние API) или временно недоступны по другой причине, нужно убедиться, что код страницы исполняется корректно.

7) Ограничьте количество встроенных ресурсов, запрашиваемых, чтобы отобразить страницу. В частности – число JavaScript-файлов и ответов сервера. Большое количество запрашиваемых URL может привести к истечению срока ожидания ответа сервера или отображению страницы, на которой эти элементы будут недоступны. К примеру, некоторые JavaScript-файлы могут не загрузиться.

8) Google поддерживает использование JavaScript для предоставления тайтлов, метаописаний и метатегов robots, структурированных и других метаданных. При использовании AMP, страница в формате JavaScript должна быть статичной, однако при создании ассоциированной с ней веб-страницы могут использоваться JS/PWA-техники. Тег «lastmod» в файле Sitemap сообщит поисковому роботу, когда в последний раз обновлялась страница.

9) Помните, что другие поисковые системы и веб-сервисы могут вообще не поддерживать JavaScript или же использовать другие подходы при индексации таких страниц.

Завершая данный перечень, Джон Мюллер подчеркнул, что ни одна из этих рекомендаций не является чем-то совершенно новым для специалистов. При этом они останутся актуальными и в обозримом будущем.

Напомним, что в октябре 2015 года Google отозвал рекомендации по сканированию AJAX от 2009 года. Руководство было призвано сделать AJAX-страницы видимыми для поисковых роботов. На тот момент системы Google не могли распознавать и отображать страницы, использующие JavaScript. Теперь эта ситуация изменилась. Чтобы отобразить эти изменения, компания обновила Рекомендации для вебмастеров.