Google BERT: как улучшить релевантность результатов поисковой выдачи

Google непрерывно работает над тем, чтобы сделать поисковую выдачу более точной. Новым шагом на пути к лучшему понимаю пользовательских запросов стал алгоритм BERT.

В чем его суть?

Google BERT — технология анализа поисковой выдачи, основанная на нейронных сетях. Она призвана повысить релевантность результатов поиска за счет обработки не ключевых слов, а целых предложений. При таком подходе удастся исключить неоднозначное восприятие отдельных фраз или предлогов, меняющих суть запроса. Как результат — более точная выдача по запросу пользователя.

Алгоритм уже внедрен?

Первые упоминания об использовании Google BERT появились в октябре 2019 года. Сейчас технологию тестируют в США, на 10 % англоязычных запросов в поисковой системе. Модель также применяют, чтобы улучшить избранные фрагменты в 25 других странах. Она используется при работе с длинными запросами, деление которых на ключевые блоки может привести к искажению смысла, в том числе за счет неоднозначности предлогов. При работе с короткими запросами, в том числе включающими продукцию с указанием бренда, алгоритм не используется. В будущем планируется внедрить его для SERP большинства государств и языков. Сроки перехода на данный алгоритм пока не уточняются.

За счет чего улучшается релевантность?

Google анализирует поисковые запросы как набор ключевых фраз. На основании этого анализа подбираются релевантные результаты. У BERT другая идея. Поисковик научится понимать не сам запрос буквально, а его контекст. Это станет возможным за счет анализа не только ключевых фраз, но и вспомогательных слов. Это могут быть словосочетания, определения, предлоги.

Такой подход кажется разумным, однако есть нюансы. Так, BERT — ресурсоемкий алгоритм. Для его корректной работы нужны серьезные вычислительные мощности. «Гугл» располагает ими для тестирования механизма. В будущем планируется разработать технологии, благодаря которым мощные вычислительные задачи удастся решать, используя специфические инструменты.

Что изменится для владельцев и посетителей сайтов?

BERT влияет:

• на ранжирование страниц в поисковой выдаче;
• формирование сниппетов.

Он призван сделать поиск более точным и естественным. Для владельцев сайтов это означает возможность привлечения большего трафика на страницы с качественным контентом, созданным «для людей». Пользователям станет проще находить нужные страницы в поисковой выдаче. Отдельно можно выделить оптимизаторов. Они также могут извлечь много полезного из новой модели. Google BERT — открытая технология, доступная для изучения. Сервис бесплатный. Вероятно, он поможет в решении актуальной дилеммы о выборе title для SEO или title для CTR. Сейчас это дискуссионный вопрос. Внедрение Google BERT позволит адаптировать title под требования CTR для части страниц. При этом не будет негативного влияния на поисковую оптимизацию.

BERT и RankBrain

Для улучшения релевантности поисковой выдачи используется алгоритм RankBrain. Схож ли он с BERT? RankBrain рассматривает запрос в ретроспективе, то есть сопоставляет его с аналогичными в прошлом. После этого он сравнивает результаты, полученные по новому запросу, с теми, которые выдача давала ранее, и вносит корректировки.

У BERT иной принцип. Для него важен контент вокруг ключевого слова. Анализируя его, алгоритм понимает смысл и контекст фразы. Эти два алгоритма могут существовать самостоятельно или дополнять друг друга. Также возможно их использование с другими технологиями, вместе либо раздельно.

Нужно ли что-то делать?

Google BERT еще не распространился на всю поисковую выдачу, однако уже сейчас владельцы/оптимизаторы сайтов могут провести некоторую работу:

• структурировать имеющуюся на сайте информацию;
• создать новый качественный контент, привлекая к работе экспертов — для статей из таких сфер, как медицина, наука, юриспруденция необходимо указание авторов текстов;
• спроектировать текстовое наполнение в связке с дизайном, чтобы доступ к содержимому сайта был понятным и простым;
• проанализировать поисковые фразы и дополнить их релевантными запросами;
• увеличить число страниц с естественным контентом, расширить текстовое сопровождение с учетом дополнительных релевантных запросов.

Подведем итоги

Алгоритм Google BERT призван упростить поиск нужной информации в Сети. Он позволит сделать выдачу более точной за счет анализа не только ключевой фразы, но и вспомогательных слов, контекста предложения. Пользователям станет легче находить релевантные их запросу страницы, а сайту — свою целевую аудиторию.

Пока BERT обрабатывает лишь 10 % англоязычных запросов выдачи США, но в будущем планируется использовать технологию со всеми языками, с которыми работает Google.

Технологии будущего для сайтов и советы по юзабилити, как их внедрить уже сейчас

Будущее всегда базируется на прошлом. Именно поэтому, чтобы успевать за нововведениями и трендами, достаточно регулярно понемногу обновлять сайт. В данной статье мы выделим основные направления, в которых следует развиваться, чтобы новые интерфейсы не настигли бизнес внезапно, и вы не потеряли клиентов.

Поиск товаров на сайтах-агрегаторах

Агрегатор – это сайт-каталог, объединяющий в себе информацию о компаниях. Товарные агрегаторы также выводят информацию о товарах данных компаний и организуют поиск по ним.

На самом деле это уже не будущее, а самое что ни на есть настоящее. Поисковики на первых местах все чаще размещают агрегаторы – именно они лучше других ресурсов решают задачи посетителей и предоставляют широчайший выбор товаров и услуг разных компаний.

Пользователи чаще ищут товары на Яндекс.Маркет, tui.ru, e-katalog, заказывают услуги на YouDo, ищут авиабилеты на Skyscanner, а банковские продукты выбирают на sravni.ru. Такие сайты помогают быстрее получить решение проблемы.

Например, не каждая авиакомпания может похвастаться таким удобным поиском, как у Aviasales:

Что делать нам:

• Найдите все агрегаторы в вашей нише и зарегистрируйте в них вашу компанию. В описании компании делайте упор на конкурентные преимущества и УТП, подробно рассказывайте о товарах и услугах, чтобы отстроиться от конкурентов. Как сформировать уникальное предложение, рассказали тут.
• Если вы уже выполнили предыдущий пункт, то перепроверьте размещенную информацию на актуальность – может быть, стоит добавить что-то новое о компании или услугах/товарах.
• Не нашли агрегатора в вашей нише? Создайте свой, пока это не сделал кто-то другой=)

Упрощение регистрации и авторизации

Все идет к тому, что новый пользователь будет один раз создавать профиль в единой системе, и далее эта информация будет использоваться при формировании контента, подборке рекламы и оформлении заказов. Клиенту не придется запоминать кучу паролей или при каждом заказе вводить данные своей карты.

Уже давно единые экосистемы прорабатывают такие компании, как Microsoft, Apple, Samsung и др.

На нашем рынке у Яндекса уже целый арсенал связанных между собой сервисов, и пользователю достаточно иметь один аккаунт:

Что можно сделать уже сейчас:

• Подписаться на новости таких компаний (Яндекс и Google для начала) и при появлении нового сервиса задавать себе вопрос «А как я могу присоединиться к проекту?». Большинство новых сервисов, по сути, являются агрегаторами, и тут мы возвращаемся к предыдущему пункту.

• Упростите регистрацию/авторизацию. Пусть у пользователя будет возможность зайти в личный кабинет через аккаунт в Google, Яндекс. Примеры внедрения можно подсмотреть у многих интернет-магазинов:

  

• Добавьте в формах заказа автозаполнение на основе ранее введенных данных. Например, во всем известном магазине не нужно каждый раз выбирать способ оплаты и пункт самовывоза:

  

  Можно попробовать подгружать хотя бы часть данных клиента из его почтового аккаунта:

  

• Также напоминаю, что регистрация на сайте не должна быть обязательной. Дайте пользователю возможность оформить заказ без нее и уже в форме предложите создать аккаунт автоматически. Пример такого чек-бокса в форме заказа:

  

Персонализация контента

Сервисы по сбору и аналитике данных постоянно развиваются, к работе подключается искусственный интеллект.

Скоро это позволит безошибочно показывать клиенту нужные товары и услуги еще до того, как он ввел запрос. Звучит как фантастика? А вот Amazon уже отслеживает, какие товары просматривал пользователь, и (на основе просмотренных страниц) на Главной странице выводит похожие товары (при этом даже не нужно авторизоваться):

Рекомендации по персонализации контента:

• Чтобы использовать ИИ-решения, необходимо сначала собрать данные. Начать можно с CRM-системы, Google Analytics, Яндекс.Метрики. О том, как установить последние два сервиса, мы рассказывали здесь и здесь.
• На рынке много предложений по внедрению данных технологий. Для примера – продукт от Microsoft. Рекомендовать что-то одно трудно, все зависит от специфики вашего бизнеса.
• Внедряйте решения по частям. Для начала определите один сегмент бизнеса или аудитории, на котором будете внедрять технологии, чтобы протестировать реакцию пользователей.

Общение с роботом

О чат-ботах молва не утихает с 2016 года, но на самом деле готовые рабочие решения появляются на рынке только сейчас.

Инструмент позволяет автоматизировать процесс коммуникации с клиентами. Банки уже вовсю используют данную технологию для консультации клиентов по часто задаваемым вопросам:

Рекомендации по внедрению чат-ботов:

• Соберите данные о пользователях: спросите клиентов в каких мессенджерах они чаще общаются, соберите от службы поддержки популярные вопросы. А уже затем стоит переходить к проектированию чат-бота.
• Использовать готовые решения или разрабатывать свой чат-бот это уже на ваше усмотрение. Если у вас сайт на WordPress, Drupal или Joomla, то для данных CMS уже есть готовые плагины, ссылки на списки предложений, соответственно, тут, тут и тут.
• Замотивируйте пользователей воспользоваться чат-ботом, например, дарите скидку при оформлении заказа через онлайн-помощника.
• Для тестирования чат-бота также лучше выбрать часть клиентов или запускать систему в низкий сезон.

Виртуальная реальность

В игровой индустрии данная технология уже развивается, а очки виртуальной реальности можно купить уже сейчас. В зарубежных интернет-магазинах давно создаются упрощенные VR-комнаты для обзора товаров:

На нашем рынке тоже не отстают экспериментируют с дополненной реальностью. Пример оригинальной идеи – дополнить упаковку пельменей «живыми» персонажами (достаточно скачать приложение и навести экран телефона на упаковку):

Инструмент можно использовать для обзора готовых решений в сфере ландшафтных услуг или показать внутренние устройство какого-либо продукта или провести экскурсию по отелю и т.д.

Рекомендации по внедрению дополненной реальности:

• Данная технология должна именно дополнять функционал сайта. Пользователи еще привыкают к виртуальной реальности, поэтому обычные фотографии товара с разных ракурсов оставляем на сайте.
• Разработка AR‑приложения – вещь дорогостоящая, поэтому стоит продумать, для чего оно нужно вашему бизнесу. Если такая функция поможет клиентам быстрее выбрать товар, понять его устройство, то это хорошее вложение средств. В противном случае лучше дважды подумать о необходимости внедрения.
• Как и для предыдущих пунктов, не забываем о предварительном тестировании. Можно собрать обратную связь от клиентов.

Голосовое управление

Голосовой помощник Алиса от Яндекса пару лет назад просто взорвал Рунет, а Яндекс.Станции скупают до сих пор. Для браузера тоже доступна данная функция:

Тенденция использовать для управления голос, а не кликать по кнопкам, растет с каждым днем. Часто на улице вижу, как подростки вовсю «разговаривают» с гаджетами. Шаблоны взаимодействия с сайтами меняются, и мы должны быть готовы к этому.

Что можно сделать уже сейчас:

• Помощник Алиса от Яндекс и Google Assistant от Google при поиске информации для клиентов ориентируются на соответствующие поисковые системы. Отдельной поисковой выдачи под голосовые запросы пока не существует. Ваш сайт должен легко индексироваться поисковыми роботами, поэтому начать стоит со стандартной оптимизации сайта. Рекомендуем пройтись по данному чек-листу.
• Также такие системы отдают предпочтение компаниям, добавленным в их сервисы, поэтому это еще один повод зарегистрироваться в них.
• Голосовые помощники чаще используют с мобильных устройств, поэтому сайт не только должен быть оптимизирован под мобильную выдачу, но и иметь удобную мобильную версию. Рекомендуем начать улучшение юзабилити с элементов навигации.
• Первые строчки в поиске занимают рекламные сайты, и это означает, что контекстная реклама становится обязательным инструментом при продвижении сайта. Создание рекламных кампаний можно заказать у нас.
• Прорабатывайте на сайте разделы с вопросами и ответами, пишите статьи по вашей тематике, особенно если ваш сайт ориентирован на детей и подростков. Очень часто голосовой помощник используют, чтобы узнать новое слово или найти какую-либо инструкцию. О том, как еще блог может помочь бизнесу, рассказывали здесь.
• Дополнительная рекомендация: попробуйте отвечать на вопросы по своей тематике на таких площадках как Ответы Mail.ru, Тостер и популярных форумах. Так вы покажете профессионализм сотрудников и повысите вероятность нахождения вашей компании.

Визуальный поиск

Наверняка вы уже видели поиск по картинкам в Яндексе или приложении Pinterest:

Aliexpress тоже предлагает найти товар по фотографии:

Технология позволяет пользователю сфотографировать товар и найти похожие предложения в интернет-магазинах. Удобная функция, если плохо ориентируешься в названиях: роллерсёрф, лонгборд или квадрокоптер и других – тут легче встретить на улице и сфотографировать, чем вспомнить название. В ближайшем будущем ожидаем поиск по видео – некоторые компании уже ведут разработку в данном направлении.

Что можно сделать уже сейчас:

• Размещать на сайте качественные фотографии ваших продуктов. Водяные знаки не только не защищают от копирования, но и будут мешать поисковым роботам индексировать фотографии.
• Не забываем про оптимизацию фотографий под поисковые системы. Все рекомендации по изображениям собрали здесь.
• Если позволяет тематика сайта, то создавайте аккаунты в таких сервисах как eBay, Amazon, Aliexpress, Pinterest, Instagram и др., где реализован визуальный поиск. Регулярно добавляйте контент, и пользователям будет легче найти вас.

Биометрия

Биометрия – система распознавания человека по лицу, голосу, отпечаткам пальцев. Такая технология позволит повысить безопасность передачи данных и увеличит количество услуг, которые можно будет оформить онлайн.

Уже сейчас по желанию можно прийти в банк или почтовое отделение и внести свои данные Единую биометрическую систему. Для оформления шенгенской визы сдача отпечатков пальцев – уже обязательное условие. Более подробная информация об Единой биометрической системе здесь.

Что можно сделать уже сейчас:

Если вы предоставляете финансовые, юридические или другие услуги по оформлению документов, то стоит задуматься о подключении к этой системе. На данной странице есть инструкции по подключению. Интернет-магазинам подобная функция менее обязательна, но может стать конкурентным преимуществом.

Блокировка оповещений

Пользователи подустали от рекламных роликов, всплывающих баннеров, push-уведомлений об обновлениях и стараются сократить их количество. Уже не в новинку устанавливать такие приложения, как Adblock и NoAds. Работающего на 100 % решения на рынке как такового нет, поэтому популярны статьи с подборками сервисов и инструкциями по их использованию. Например, для рекламы:

Одни компании придумывают блокировщики, другие разрабатывают пути их обхода. Борьба идет, но будущее за снижением информационной перегруженности.

Что можно сделать уже сейчас:

• Проработать оповещения для своего бизнеса: проверьте, не перегружен ли ваш сайт поп-апами. Список рекомендаций собрали тут.
• Push-уведомления также должны быть полезными для пользователя, тогда он не будет их отключать. Подборка советов.
• Дополнительно чтобы формировать позитивное впечатление о компании, стоит обратить внимание на навязчивость email-маркетинга – возможно, вашему бизнесу стоит сократить количество писем. О том, как создать рабочую рассылку, рассказали здесь и здесь.

Подведем итоги

Будущее за ИИ, и программное обеспечение на его основе набирает обороты. Наверняка некоторые фишки покажутся вам причудливыми или ненужными, но это только на первый взгляд. Раньше онлайн-платежи тоже казались чем-то диким и небезопасным, а теперь мы просто не можем без них жить))

Внедрять все рекомендации разом не нужно, постепенные изменения работают лучше всего и позволяют подготовить ваших постоянных клиентов. Надеюсь, мне удалось вдохновить вас попробовать что-то новое. Но если нужна консультация, то вы всегда можете обратиться к нам за помощью, и мы подготовим только полезные юзабилити-рекомендации.

Кира Светлова cпециалист по юзабилити сервиса 1PS

Настройка robots.txt: что на сайте стоит спрятать от робота?

Файл robots.txt представляет собой набор директив (набор правил для роботов), с помощью которых можно запретить или разрешить поисковым роботам индексирование определенных разделов и файлов вашего сайта, а также сообщить дополнительные сведения. Изначально с помощью robots.txt реально было только запретить индексирование разделов, возможность разрешать к индексации появилась позднее, и была введена лидерами поиска Яндекс и Google.

Структура файла robots.txt

Сначала прописывается директива User-agent, которая показывает, к какому поисковому роботу относятся инструкции.

Небольшой список известных и частоиспользуемых User-agent:

• User-agent:*
• User-agent: Yandex
• User-agent: Googlebot
• User-agent: Bingbot
• User-agent: YandexImages
• User-agent: Mail.RU

Далее указываются директивы Disallow и Allow, которые запрещают или разрешают индексирование разделов, отдельных страниц сайта или файлов соответственно. Затем повторяем данные действия для следующего User-agent. В конце файла указывается директива Sitemap, где задается адрес карты вашего сайта.

Прописывая директивы Disallow и Allow, можно использовать специальные символы * и $. Здесь * означает «любой символ», а $ – «конец строки». Например, Disallow: /admin/*.php означает, что запрещается индексация индексацию всех файлов, которые находятся в папке admin и заканчиваются на .php, Disallow: /admin$ запрещает адрес /admin, но не запрещает /admin.php, или /admin/new/ , если таковой имеется.

Если для всех User-agent использует одинаковый набор директив, не нужно дублировать эту информацию для каждого из них, достаточно будет User-agent: *. В случае, когда необходимо дополнить информацию для какого-то из user-agent, следует продублировать информацию и добавить новую.

Пример robots.txt для WordPress:

*Примечание для User agent: Yandex

• Для того чтобы передать роботу Яндекса Url без Get параметров (например: ?id=, ?PAGEN_1=) и utm-меток (например: &utm_source=, &utm_campaign=), необходимо использовать директиву Clean-param.
  
• Ранее роботу Яндекса можно было сообщить адрес главного зеркала сайта с помощью директивы Host. Но от этого метода отказались весной 2018 года.
• Также ранее можно было сообщить роботу Яндекса, как часто обращаться к сайту с помощью директивы Crawl-delay. Но как сообщается в блоге для вебмастеров Яндекса:
  • Проанализировав письма за последние два года в нашу поддержку по вопросам индексирования, мы выяснили, что одной из основных причин медленного скачивания документов является неправильно настроенная директива Crawl-delay.
  • Для того чтобы владельцам сайтов не пришлось больше об этом беспокоиться и чтобы все действительно нужные страницы сайтов появлялись и обновлялись в поиске быстро, мы решили отказаться от учёта директивы Crawl-delay.
  Вместо этой директивы в Яндекс. Вебмастер добавили новый раздел «Скорость обхода».

Проверка robots.txt

Старая версия Search console

Для проверки правильности составления robots.txt можно воспользоваться Вебмастером от Google – необходимо перейти в раздел «Сканирование» и далее «Просмотреть как Googlebot», затем нажать кнопку «Получить и отобразить». В результате сканирования будут представлены два скриншота сайта, где изображено, как сайт видят пользователи и как поисковые роботы. А ниже будет представлен список файлов, запрет к индексации которых мешает корректному считыванию вашего сайта поисковыми роботами (их необходимо будет разрешить к индексации для робота Google).

Обычно это могут быть различные файлы стилей (css), JavaScript, а также изображения. После того, как вы разрешите данные файлы к индексации, оба скриншота в Вебмастере должны быть идентичными. Исключениями являются файлы, которые расположены удаленно, например, скрипт Яндекс.Метрики, кнопки социальных сетей и т.д. Их у вас не получится запретить/разрешить к индексации. Более подробно о том, как устранить ошибку «Googlebot не может получить доступ к файлам CSS и JS на сайте», вы читайте в нашем блоге.

Новая версия Search console

В новой версии нет отдельного пункта меню для проверки robots.txt. Теперь достаточно просто вставить адрес нужной страны в строку поиска.

В следующем окне нажимаем «Изучить просканированную страницу».

Далее нажимаем ресурсы страницы

В появившемся окне видно ресурсы, которые по тем или иным причинам недоступны роботу google. В конкретном примере нет ресурсов, заблокированных файлом robots.txt.

Если же такие ресурсы будут, вы увидите сообщения следующего вида:

Рекомендации, что закрыть в robots.txt

Каждый сайт имеет уникальный robots.txt, но некоторые общие черты можно выделить в такой список:

• Закрывать от индексации страницы авторизации, регистрации, вспомнить пароль и другие технические страницы.
• Админ панель ресурса.
• Страницы сортировок, страницы вида отображения информации на сайте.
• Для интернет-магазинов страницы корзины, избранное. Более подробно вы можете почитать в советах интернет-магазинам по настройкам индексирования в блоге Яндекса.
• Страница поиска.

Это лишь примерный список того, что можно закрыть от индексации от роботов поисковых систем. В каждом случае нужно разбираться в индивидуальном порядке, в некоторых ситуациях могут быть исключения из правил.

Заключение

Файл robots.txt является важным инструментом регулирования отношений между сайтом и роботом поисковых систем, важно уделять время его настройке.

В статье большое количество информации посвящено роботам Яндекса и Google, но это не означает, что нужно составлять файл только для них. Есть и другие роботы – Bing, Mail.ru, и др. Можно дополнить robots.txt инструкциями для них.

Многие современные cms создают файл robots.txt автоматически, и в них могут присутствовать устаревшие директивы. Поэтому рекомендую после прочтения этой статьи проверить файл robots.txt на своем сайте, а если они там присутствуют, желательно их удалить. Если вы не знаете, как это сделать, обращайтесь к нам за помощью.

Инструменты и программы в помощь SEO-оптимизатору

5 палочек-выручалочек для SEO-специалистов: обзор полезных сервисов

Статья для: SEO-специалистов, веб-мастеров, владельцев сайта

Статья поможет: используя рассмотренные сервисы, самостоятельно провести аудит сайта, собрать семантику и оптимизировать текст

Нам задают вопросы: «какие программы для аудита использовать», «как автоматически собрать ключевые запросы», «каким сервисом посмотреть теги на своем сайте» и т.д. Именно просьбы наших читателей подтолкнули к написанию статьи с обзором полезных продуктов, которые можно использовать для решения разных задач: проведения анализа сайта, сбора семантического ядра и не только. Берите эти инструменты на вооружение и упрощайте работу над своими проектами, экономя время и бюджет. Итак, начнем обзор.

ComparseR

ComparseR – программа, разработанная Александром Алаевым, директором веб-студии «АлаичЪ и Ко». Специализированный инструмент для парсинга, который позволяет глубоко изучить индексацию сайта. Компарсер помогает просканировать и изучить важные теги, найти технические ошибки (дублированный контент, битые ссылки, внутренние редиректы и не только). Главное отличие программы от аналогов – сканирование страниц сайта из поисковой выдачи и сравнение их с полученными данными самого сайта.

ComparseR платный, купить лицензию можно за 2000 рублей. Но доступна демоверсия, возможности, конечно, ее ограничены, но прежде чем приобретать инструмент для парсинга за деньги, советую начать с бесплатной версии.

Давайте рассмотрим, что же может ComparseR. От себя добавлю: если вы хотите собрать основные данные о своем сайте, просканировать страницы, увидеть сайт глазами поисковых систем, комплексно изучить все недочеты в тегах, найти технические ошибки, то, пожалуй, этот инструмент один из самых лучших.

При запуске программы в настройках вы сможете выставить параметры проверки:

ComparseR собирает данные о тегах Title и Description:

Вы можете проанализировать заголовки каждой страницы, разделы отдельно разбиты на заголовки Н1-Н2 и Н3-Н6:

Открыв вкладку «Статистика и структура», вы можете детально проанализировать основные параметры и в числах увидеть статистику по важным факторам:

Пункт «Ответ сервера» укажет вам, какие внутренние редиректы есть на сайте, имеются ли 404 страницы, количество страниц с ответом сервера 200 и другими:

Здесь же можно посмотреть запрещенные и открытые к индексации в мета-теге robots и файле robots.txt страницы и документы:

В разделе «Статистика» есть возможность увидеть количество отсутствующих или повторяющихся тегов Title и Description, узнать проблемы с заголовками H1:

Кликнув на каждую строчку, вы получите полную информацию о страницах, на которых найдены проблемы:

Также вы сможете посмотреть, как видят ваш сайт поисковики Яндекс и Google. Именно эту функцию разработчик выделяет как свое основное отличие и преимущество перед аналогами:

Но и это не все, в Компарсере, в разделе «Внешние ссылки», вы найдете полную информацию о ссылках, ведущих на сайт: анкорные они или без, с каких источников ведут, не являются ли они битыми, открыты или закрыты от индексации.

Кроме того, можно проанализировать изображения на сайте: какой ответ сервера у страниц сайта, открыты ли для индексации, какой вес имеют, а главное прописаны ли атрибуты Alt и Title для изображения. Ведь каждый оптимизатор знает, что у всех картинок на сайте должны быть соответствующие описания, в состав которых входят важные ключевые запросы. Вы же об этом знали?

Часть функций Компарсера я вам показала, платная версия откроет дополнительные возможности для проверки. Хочу еще отметить, что многие программы для парсинга не справляются с проверкой сайтов, у которых большое количество страниц. ComparseR же сканирует сайты с несколькими миллионами страницами.

Key Collector

Если вы выбираете программу, которая поможет качественно составить семантическое ядро, то остановиться советую именно на Key Collector. Разработчики программы позиционируют продукт, как персональный помощник по сбору семантики. Да, этот инструмент очень удобен, он значительно упростит вам процесс по подбору ключевых запросов для сайта.

Программа не генерирует фразы, а собирает информацию с различных сервисов: Яндекс.Вордстат, Google Adwords, Rambler Adstat, Яндекс.Директ, также используется информация из разных счетчиков, анализируются поисковые подсказки и не только. Все подключенные к Key Collector системы, помогут собрать максимально обширное, подходящее по вашему направлению семантическое ядро.

Главный минус программного продукта – он не бесплатный, стоимость первой лицензии – 1800 рублей, цены на последующие лицензии варьируются от 1100 до 1400 рублей. Но, как у большинства платных разработок, инструмент имеет свою бесплатную версию. Такой демоверсией считается программа Slovoeb, именно этот младший помощник создан для знакомства с Key Collector. Конечно, возможностей у бесплатного инструмента гораздо меньше, но понять, как работает программа и какие задачи решает, вы сможете.

Таблица сравнения возможностей Key Collector и Slovoeb:

Функция	Key Collector	Slovoeb
Определение релевантных страниц
Сбор позиций фраз (без истории)
Сбор базовой частотности по Яндекс.Вордстату
Сбор уточняющей частотности по Яндекс.Вордстату
Сбор морфологической частотности по Яндекс.Вордстату
Пакетный сбор по Яндекс.Вордстату
Пакетный сбор по Google.Adwords
Определение сезонности запроса
Сбор подсказок поисковых систем
Сбор конкуренции в поисковой выдаче Яндекса, Google, Mail.Ru
Сбор количества вхождений запроса в Title
Сбор количества главных страниц в поисковой выдаче
Определение стоимости ключа по контекстной рекламе, по агрегатору
Прогноз трафика по контексту, по агрегаторам
Помощь в перелинковке страниц

Эта сравнительная таблица дает нам понять, что возможностей у платной программы гораздо больше, хотя в перечень я включила далеко не все функции. Поэтому если вы поставили перед собой задачу максимально эффективно и правильно собрать семантическое ядро, не поскупитесь и потратьте 1800 на платную версию. А о том, как работать со SlovoEb, мы уже рассказывали в одной из статей.

RDS Bar

RDS Bar – бесплатное расширение для браузера, которое позволит проводить быстрый анализ основных SEO-параметров сайта и страниц. Это дополнение встраивается в Google Chrome, Mozilla Firefox и другие браузеры и отображается в виде встроенной панели инструментов:

У RDS Bar два больших плюса: инструмент бесплатный, доступен каждому и его очень легко внедрить в свой браузер. Инструкция по установке включает всего три шага:

1. Скачайте расширение для своего браузера.
2. Зайдите в настройки браузера → Инструменты → Расширения → включите плагин.
3. Чтобы иметь доступ ко всем возможностям, зарегистрируйтесь в RDS bar.

RDS Bar показывает:

1. Теги title, description и заголовки Н1 для страницы.

   
2. Параметры Индекса качества сайта (ИКС).
3. Количество проиндексированных страниц Яндексом и Google.
4. Количество входящих и исходящих ссылок.
5. Рейтинг посещаемости Alexa.
6. Количество страниц, проиндексированных Rambler, Bing.com и Yahoo.
7. Посещаемость на основе различных источников. Кстати, мы уже писали статью о том, как можно анализировать посещаемость сайтов конкурентов с помощью RDS bar.
8. Наличие на сайта файла robots.txt и карты сайта (sitemap.xml).
9. Информацию о покупных ссылках.

И это далеко неполный перечень возможностей RDS Bar. Инструмент очень полезен для веб-мастеров и SEO-оптимизаторов, он позволит быстро узнать информацию об основных параметрах сайта. Кроме того, плагин помогает анализировать сайты конкурентов. Расширение бесплатно, поэтому советую уже сегодня установить его.

Megaindex

Megaindex (Мегаиндекс) – очень востребованный инструмент для анализа сайта, аналитики и его продвижения. На одной площадке вы сможете найти несколько десятков инструментов для проверки позиций сайта и его видимости в поисковиках, для подбора ключевых фраз, поиска входящих и исходящих ссылок, аудита сайта и не только. Если вы занимаетесь продвижением и оптимизацией сайтов, то этот продукт, на мой взгляд, обязателен к использованию.

Мегаиндекс предлагает несколько тарифных планов, каждый из которых отличается включенными в пакет функциями. Есть и бесплатный, но возможности у этого тарифа крайне скудные. Итак, давайте посмотрим, что же предлагает нам Мегаиндекс и нужно ли тратить бюджет на его покупку.

1. Раздел «Анализ сайта» представит общую информацию о проекте: информацию по переходам из органической выдачи и контекста, количество проиндексированных страниц и внешних ссылок.

   

   Видимость сайта из разных источников в процентом соотношении:

   

   Ключевые фразы, по которым на сайт переходят из органической выдачи и платных объявлений.

   

   Информацию о конкурентах:

   

2. Инструмент «Внешние ссылки» – с его помощью вы сможете детально изучить ссылочный профиль своего сайта: количество ведущих на сайт ссылок, типы ссылок (анкорные или безанкорные), страницы, на которые ведут, а также сайты-доноры, с которых идут ссылки. Также вы сможете проанализировать график добавления/удаления ссылок и посмотреть каждую ссылку отдельно.

   Когда мне нужно узнать, как обстоят дела на сайте со ссылками, то после анализа Вебмастера, я сразу же иду на Мегаиндекс – здесь можно изучить все тщательно, в деталях.

   
   

3. Инструмент «Видимость сайта». Этот раздел поможет увидеть ключевые запросы, по которым люди находят ваш сайт из органики и рекламных объявлений, дополнительно будут указаны релевантные страницы. Кроме того, здесь вы увидите информацию по конкурентам, пересечение с ними по показу согласно запросам пользователя.

   
   

4. Инструмент «Анализ сниппетов» – позволяет увидеть, как показываются сниппеты сайта постранично в поисковых системах, какой запрос выделяет робот в сниппете.

   

5. «Подбор ключевых запросов и кластеризация ядра» – отличный инструмент для сбора семантического ядра. Подборщики семантики от Мегаиндекса подойдет тем, у кого сайт еще не создан. На основе сайтов конкурентов сервис соберет для вас эффективные ключевые запросы с указанием количества показов и сайтов конкурентов, продвигающимся по этим запросам. Помимо того что вы соберете ключевые фразы, сможете дополнительно их разбить по группам.

   
   alt="подбор ключевых запросов в Мегаиндексе"

Опять же это лишь малая часть возможностей, которые предлагает своим пользователям онлайн-сервис Megaindex. Но даже этот небольшой список доказывает полезность инструмента и его значимость для веб-мастеров и оптимизаторов.

Advego

Advego.com – еще один полезный инструмент, о котором вы наверняка уже слышали и, скорее всего, даже применяли в работе. Сервис №1 для копирайтеров, наряду с Главредом и Text.ru, рекомендуется использовать сервис Адвего. Именно он помогает провести анализ: как оптимизирован ваш текст, не переспамлен ли он ключевыми словами, не «переборщили» ли вы с количеством союзов, местоимений и стоп-слов. Кроме проверки сайта на тошноту, здесь можно проверить тексты на уникальность и наличие орфографических ошибок.

Итак, давайте на примерах посмотрим, как работает главный инструмент для корирайтинга.

1. Адвего Антиплагиат – программа платная: доступны разные пакеты от 270.00 рублей. Но можно скачать программу Advego Plagiatus – она проводит проверку сайта на уникальность, предоставляя все источники, на которых находятся совпадения. Минус программы – капча: иногда все работает без нее, но бывает, что капчу приходится вводить каждые 30 секунд.

   

2. Проверка орфографии. Имеющиеся в тексте орфографические ошибки и опечатки будут выделены красным цветом.

   

3. SEO-анализ текста – раздел, который позволяет провести семантический анализ текста. Анализ контента включает количество символов в тексте, «водность», показатели академической и классической тошноты текста.

   

   Семантическое ядро. В этом блоке будут указаны ключевые слова, входящие в текст. Ваша задача, чтобы в ТОПе находились те запросы, под которые вы оптимизируете свой текст.

   

   Стоп-слова. Указаны предлоги, союзы, личные местоимения и различные стоп-слова, количество которых лучше сокращать при написании текстов.

   

Под занавес

Существует огромное количество программ, сервисов и других продуктов, которые можно использовать, чтобы оптимизировать и продвигать свой сайт самостоятельно. В этой статье мы рассказали вам о нескольких из них, которые мы не просто рекомендуем, но и используем в работе сами. Советуем и вам. =)

А если у вас нет время на продвижение сайта, рекомендуем обратиться к профессионалам и заказать SEO-продвижение сайта.