Что не так в кластеризации запросов?

Часто приходится сталкивать с тем, что у клиента есть семантическое ядро и даже проведена его кластеризация, но на деле сделана она чисто формально без какой либо цели. В результате семантика есть, но применить ее для решения конкретных задач нельзя. Далее постараемся понять, как делать кластеризацию так, чтобы потом ее можно было применить.

Давайте вначале разберемся откуда пришло к нам такое название «Кластеризация». Это сокращенное название процесса применяемого в статистики, полное название процесса «Кластерный анализ». Целью кластерного анализа является классификация некоторых объектов по группам со схожими их качествами. Притом группы эти находятся автоматически с помощью специальных методов. Описание математических методов кластеризации выходят за рамки рассматриваемой статьи.

Пример применения кластеризации в статистики:

В интернет магазинах часто наблюдается зависимость между лояльностью к брендам и чувствительностью клиентов к цене товара. Объясняется это довольно просто: люди часто не обращают внимание на незначительное изменение цены товаров бренда которому они доверяют. В данном примере хорошо видно три образовавшихся кластера.

Что такое кластеризация запросов и зачем она нужна?

Под кластеризацией запросов понимают некую группировку всех ключевых слов семантического ядра по некоторым схожим признакам. Например: тематика, тип, частотность, стоимость и т. д. Цели такой группировки могут быть разные: написание тематического одного объявления под группу запросов, подбор минус фраз, выделение части фраз в отдельную группу для тщательного отслеживание статистики по ним, написание статей на группу запросов и т. п.

Популярность этого подхода в процессе обработки семантического ядра сайта, связанна прежде всего с объемом ключевых слов входящих в него. При небольшом количестве ключевых слов можно вручную разобрать все слова по кластерам или иначе говоря по группам. Гораздо чаще встречаются задачи обработки семантического ядра от 1 000 и более ключевых слов. В этом случае вручную выполнить такую задачу становится очень и очень трудно.

Один из интересных методов применения результатов кластеризации семантического ядра, является выстраивание структуры сайта под выявленные кластеры. Новый бизнес часто не понимает, как выстроить правильный диалог посредством сайта со своими клиентами, когда вы понимаете, что интересует и как часто этим интересуются ваши клиенты становится понятно по какой логике структурировать всю информацию на вашем сайте.

На основании каких признаков можно строить кластеризацию запросов?

Для кластерного анализа в статистике, каждый объект выборки имеет ряд признаков на основе которых и делается распределение объектов по кластерам. Давайте перечислим основные признаки, которыми обладают ключевые слова и которые часто используют для этой цели:

• Численные признаки: стоимость, цена клика, объем трафика, CTR и т.д.;
• Конкуренция (объем рекламодателей в ключевом запросе или другие признаки степени конкуренции);
• Вхождение некоторых тематических слов в запрос;
• Вхождение «паразитных» слов в запрос;
• Количество одинаковых адресов страниц в выдаче поисковых систем.

Можно попробовать сделать кластеризацию сразу по всем признакам, но на практике либо определенные признаки перевесят все остальные или будет очень сложно интерпретируемый результат. Часто выбирают только один признак и тогда такой подход уже с большой натяжкой можно назвать кластеризацией, в этом случае это скорее будет группировка. Используя в зависимости от задачи определенные наборы признаков, можно добиться хорошего результата и при этом иметь четкую картину интерпретации этих кластеров. Нужно только хорошо понимать какие признаки, чем могут нам помочь.

Численные признаки.

Помогают прежде всего выстроить рейтинг ключевых слов по этим признакам. Использование численных признаков совместно с информацией о потенциальной рентабельности рекламы, можно получить показатели окупаемости по каждому ключевому слову. Что позволяет иметь правильные метрики для сравнения ключевых слов друг с другом. На практике иначе использовать эти признаки не получается.

Признаки конкуренции.

Если подсчитать количество рекламодателей в запросе или количество разных сайтов в его поисковой выдаче, то данный показатель может использоваться также для целей рейтинга ключевых слов. Такой показатель будет косвенно свидетельствовать о степени конкуренции в запросе и опять же позволит правильно сравнивать запросы между собой. Если учитывать какие именно рекламодатели или сайты встречались в разных запросах, то можно найти группы связанных между собой ключевых слов. Такой подход поможет разделить запросы на группы из разных тематик, что на наш взгляд можно сделать и более простым путем (использовать вхождение определенных слов в запрос).

Вхождение тематических и «паразитных» слов в запрос.

Признаком является наличие или отсутствие одного или группы слов во фразе запроса. Чтобы понять какие именно слова должны использоваться для этого, нужно хорошо понимать тематику запросов и иметь частотные словари исследуемого семантического ядра. С помощью этого подхода можно очень эффективно разделить фразы по тематике и типу.

Под «паразитными» словами понимаем слова, которые точно не должны входить в запрос. Чаще всего такие слова имеют название «минуса». Они позволяют очистить семантическое ядро от не релевантных запросов.

Количество одинаковых страниц или сайтов в выдаче поисковых систем.

Данный признак строится на основе использования поисковых систем, как классификатора запросов. Подразумевается, что в запросах принадлежащих одному и тому же кластеру будут найдены одни и те же страницы или имена сайтов. Значит можно получить группы без знания сферы и в автоматическом режиме. В теории звучит очень многообещающе, но на практике придется столкнуться с рядом трудностей:

• Найденные группы будут иметь условные (не о чем не говорящие) имена;
• Количество пересечений не будет таким однозначным, как хотелось бы;
• Группы будут содержать не релевантные запросы;
• Группировка будет подчинена логике и алгоритмам поисковой системой не всегда отвечающей вашим целям;
• В низко конкурентных сферах или в выдаче по регионам с низкой конкуренцией будет совершенно не адекватная картина;
• Поисковики периодически подмешивают тестовые сайты в свою выдачу, что будет сказываться и на ваших кластерах.

Есть еще одна техническая сложность такого подхода, заключается она, в сильном противодействии со стороны поисковиков в использовании его в таких и схожих целях. Поисковики стараются блокировать такие действия. Если ваше семантическое ядро имеет большой объем, то сбор информации по нему будет сильно затруднен.

Выводы

Кластеризация запросов - это процесс автоматической разбивки ключевых слов семантического ядра на группы (кластеры) для последующей работы с ними. В зависимости от решаемой задачи выбираются необходимый начальные условия (взятые признаки и их модификации), которые помогут разделить выборку на необходимые группы. Далее необходимо проанализировать полученные кластеры и сделать верные выводы.

Правильная кластеризация запросов должна иметь четкую цель и необходимые численные показатели для принятия верных решений по группам ключевых слов.

Нужна правильная кластеризация запросов?

Мы наработали большой опыт в кластеризации больших семантических ядер в разнообразных сферах бизнеса. Разработали свои подходы и программы для решения этих вопросов. Это позволяет нашим клиентам решать конкретные задачи и быть уверенными в их результате.