Проблемы с анализом маркетинговых кампаний

Если вы имеете привычку тестировать результаты ваших рекламных кампаний, то вы уже гениальны, потому что это делают меньше 5% всех остальных, кто манимейкит и маркетоложит.

Казалось, бы самое логичное и простое – проанализировать результаты того или иного рекламного объявления или серии – для этого есть много всяких сервисов и штуковин – от полновесных трекинговых компаний до простеньких скриптов в он-лайне или опросов и фокус групп в офф-лайне.

Однако возможно, что, анализируя результаты своих маркетинговых телодвижений, вы раз за разом совершаете весьма серьезные роковые ошибки, которые все тестирование отправляют к праотцам.

Причем опять-таки речь идет и о виртуальном маркетинге, и о реальном…

Это плохие новости.

Хорошие же состоят в том, что ошибки эти легко исправить, коль скоро вы их опознали.

Давайте посмотрим – в чем же вы ошибаетесь…

(Мы будем давать ошибкам те имена, что приняты в психовирусных технологиях, чтобы немного приобщить вас к этому)

Ошибка «Понедельник-Вторник»

Как часто бывает, после различных семинаров, на которых больше энтузиазма чем информации, один из моих знакомых манимейкеров ворвался ко мне в офис с радостным, как после первого посещения секты Муна или первого ширяния наркотой, фасадом.

Он только что посетил один из каких-то сложно затеянных маркетинговых семинаров и ему хотелось понимания и всеобщего ликования по этому поводу…

«Старик, ты знаешь, что если я присобачу вот эту штуковину на своем сайте, то число покупателей вырастет на 423%?»

Стараясь сдержать подергивание своей левой щеки (поскольку я уже понял с чем имею дело), я осторожно спросил:

«Правда? То есть, если я приложу ту же примочку к своему сайту, то это увеличит мои продажи? А откуда ты это знаешь?»

 «Мужик, который вел семинар, так все грамотно сделал! Он сначала запустил минисайт с этой штукой и получил 42 продажи, а на следующий день – без нее. И получил всего 23!»

Знакомые с математической статистикой и с факторным анализом уже поняли в чем суть, хотя я не думаю, что образование тут так уж важно. А ведь на этой ошибке строится чуть ли не половина всех рекламных объявлений в сети и в реальной жизни!

В чем тут подвох и манимейкера и, скорее всего, самого ведущего семинар?

В том, что понедельник и вторник – это РАЗНЫЕ дни!

Окей… Давайте представим себе, что вы делаете проверку 16 августа и 17 августа некоего вполне определенного года.

Зная дату и год, я сразу скажу, что 16-го вы продали бы больше, чем 17-го

Потому, что 17-го произошел полный обвал всей экономики – рубль упал на километр ниже плинтуса – какие ж там на фиг онлайновые продажи ваших е-буков?

То же самое можно сказать об американце, который сравнивает продажи 10 и 11-го сентября 2001 года…

И дело не только в том, что были крутые форс-мажоры…

Дело все в том же:

«Понедельник и вторник – это РАЗНЫЕ дни»

Каждый день случается что-то новое, что не подчиняется нашему контролю. И это может повлиять на продажи. Если вы это не учитываете – грош цена вашему анализу.

Любой анализ, претендующий на научность и объективность, должен «изолировать переменные».

К маркетинговому анализу это относится в полной мере. Если он, конечно, призван дать какую-то информацию, а не проводится просто от балды.

Что это, черт побери, значит?

Если говорить просто, то вы должны быть полностью уверены в том, что тест, который вы проводите, действительно дает ответ на ваш вопрос.

Если вы задаете вопрос: «Действительно ли примочка А лучше примочки Б с точки зрения повышения продаж», то вы должны контролировать все переменные в вашем тесте, которые тоже могут влиять на продажи!

Потому что если вы испытываете примочку А в понедельник, а приблуду Б во вторник, от фактически одновременно задаете второй вопрос:

«Что лучше для продаж – понедельник или вторник?»

Два вопроса сразу – плохая маркетинговая привычка

От этого наступают недомогание и путаница. Вразумительного же и полезного ответа вы не получите… Информация то у вас будет, да только вы не сможете понять – как и к чему ее приделать.

Чтобы было еще понятнее, приведем житейский пример:

У вас есть две семьи ёжиков, и вы хотите узнать – какая из них дает более здоровое и многочисленное потомство.

Куда уж проще, так?

Итак, вы помещаете одну из семей у себя в ванной комнате, а другую отсылаете своему другу в Уганде с просьбой позаботиться о них…

Вы догадались почему на вопрос: «какая семья ежиков лучше?» в таких условиях ответа вы не получите?

Потому что в Уганде ежикам вполне может сложнее или проще заниматься сексом чем у вас в ванной.

Фактически вы задали несколько вопросов:

  • «Является ли Уганда лучшим местом для ежового секса чем моя ванная?»
  • «Является ли мой африканский друг лучшим вдохновителем ежистого секса чем я?»
  • «Являются ли угандийские ежихи более симпатичными чем отечественные»

И так далее…

И какой ответ вы хотели получить?

Переменные не были изолированы.

На самом деле вам нужно было иметь две ежовые семьи, которые тестировались бы В ОДНИХ И ТЕХ ЖЕ УСЛОВИЯХ и в одном месте!

Если ваш маркетинг претендует на научность, то любые ваши исследования должны именно так и проводиться, иначе толку от них никакого.

В Сети это достигается с помощью специальных скриптов, которые делают «сплит-тест» между примочкой А и приблудой Б в реальном времени. То есть вы делаете все от себя зависящее, чтобы равномерно и равнозначно распределить обе штуковины между тестируемыми, исключив любые другие факторы, которые могут повлиять на оценку.

(Если вы не очень в этом шарите, то самое время найти среди ваших знакомых социолога и заставить его объяснить вам, как это все устроено)

В реальном мире маркетологи постоянно проводят такое тестирование А и Б. Для этого у них есть куча способов:

  • Одновременная рассылка писем А и писем Б двум половинам списка потребителей и подсчет результатов. Разумеется, это делается с применением «процедуры рандомизации» — чтобы вначале всех потребителей перемешать совершенно случайным образом, а уж потом делить их пополам и рассылать письма.
  • Договоренность с журналом о том, что половина тиража будет иметь рекламу А, а другая – Б и эти журналы будут распространены по двум половинам читателей (тоже рандомизированным)
  • И так далее…

Если вы просто поддадитесь на рекламную уловку типа «Эта штуковина повысит ваши продажи на 423%», то вряд ли это будет разумно без учета всех ваших особенностей и без изоляции переменных.

Такое может сойти только для стабильных факторов – например: «Если вы изучите копирайтинг и примените его на свое сайте, то ваши доходы вырастут на порядок!»

Это соответствует действительности. Но на самом деле не потому, что это сработало у одного человека, а потому, что тут как раз лежит анализ огромной массы случаев и куча факторной аналитики.

Общее правило таково:

«В единицу времени задавайте только один вопрос».

Пользуйтесь сплит-сервисами и скриптами для точной аналитики – их в инете найти можно, хотя если вы хотите найти что-то реально работающее и такое чтобы самому меньше и дешевле париться, то вам придется попотеть.

Ошибка «Твой Сайт = Мой Сайт»

Давайте снова рассмотрим тот же пример.

Иван Иванович Иванов ставит на свой сайт некую феню, и продажи увеличиваются.

Допустим, что Иванов провел тестирование корректно, и результаты имеют смысл – приблуда вроде бы эффективна…

Обещает ли это со всей красноармейской неотвратимостью, что добавка той же приблуды на ваш сайт увеличит и ваши продажи?

Увы, нет!

Если бы копировать успех было так просто, я уже давно грел кости где-нибудь на в Австралии среди обалдевших от счастья утконосов…

То, что для русского польза – для киргиза смерть.

Позитивное влияние некой примочки на один сайт еще не гарантирует такого же влияния той же примочки на другой…

Вот пример…

Некто Петров открывает сайт для своей парикмахерской. На сайте можно забронировать время для пострижки и побрейки так, что суммарный успех сайта определяется статистикой ежедневных назначенных визитов.

В один из дней он решает протестировать эффективность сайта. Для этого он добавляет на сайт фото себя любимого.

Потом он проводит сплит-тестирование по всем правилам и получает результат: действительно его физиономия увеличивает отклик и повышает статистику…

Он рассказывает вам эту историю, и вы делаете индуктивное умозаключение: «Добавление фотографии Петрова на сайт увеличивает отклик и продажи»

После чего вы добавляете фотографию Петрова на свой сайт для женщин, который называется: «Консультирование невест, чей жених сбежал из-под венца» и тестирование не проводите, так как эффективность «заряженного фото» приняли по умолчанию.

Упс! Тут уже зарыта ошибка!

Почему это фото парикмахера должно сработать на вашем сайте?

Если, к примеру, Петров – это толстый, мрачный мордоворот, то такое вполне может импонировать другим таким же толстым мрачным мордоворотам, которые робко заглядывая в парикмахерскую, увидят такого же урода как они сами и не так будут бояться стричься и бриться.

Однако, вряд ли нервным стервозным дамам, которые посещают ваш сайт, такое особенно понравится…

Впрочем, это очевидный пример. Давайте копнем в другом направлении и посмотрим, что еще полезного можно извлечь из этого опыта…

Окей. Давайте сделаем другой вывод: «Добавление моей фотографии на сайт увеличит продажи»

Это более умный вариант. Как выдумаете – он обоснован?

Подумайте одну минуту…

Ну как? Вроде бы все правильно так как в этот раз мы выбрали более глобальную переменную – добавление фото вообще.

И все-таки ответ будет: НЕТ!

Почему?

Представьте, что вы, 50-летний мужик, решил въехать в этот брачный сегмент рынка, чтобы срубить на нем денег. Ничего криминального в принципе в этом нет – идея здравая…

Ниша как ниша – очень даже ничего… Люди каждый день женятся, а, так как сбегают из-под венца немногие, то, может быть, таким женщинам реально нужна помощь…

По статистике это довольно молодые дамы, потому что дамы постарше либо не выходят замуж за тех, кто может такое учудить, либо заранее обеспечивают обездвиживание объекта, чтобы сбежать ему было просто невозможно.

Вот только вряд ли ваша наглая улыбающаяся 50-летняя рожа вдохновит бедных молоденьких, заплаканных овечек на повышение отклика…

В любом случае вам необходимо протестировать свой сайт самому!

Может быть, одно фото сработает лучше, чем другое, а, может, без фото будет намного лучше…

Идея все та же – то, что сработало у одного манимейкера не обязательно сработает у другого!

Возможно сработает, возможно нет.

Но если что-то и не сработало, то не обязательно потому, что не работает в принципе. Возможно, другие характеристики вашего сайта сделали эффективность той или иной примочки невозможной.

Все это с точностью применимо к советам по копирайтингу, которые я надавал в большом количестве в своих книгах…

Дело в том, что применение этих советов, приемов и техник предполагалось как творческое и осознанное – на основе анализа и практики. У тех, кто так и поступил результаты оказались поразительными – часто даже лучше, чем у меня самого, благодаря настойчивости и таланту.

Те же, кто просто тупо передрал образцы в свои сайты, не удосужившись сами сайты подогнать под образцы, получил во многих случаях отлуп по всем правилам.

Все методы. которые я описываю, работают безупречно. Если то, что ты описываешь принесло успех полутора миллионам сайтов из полтора миллиона пятидесяти одного, то у тебя есть очень веские причины рассчитывать на успех и в своем случае.

Никакое рекламное обещание, с которым вы сталкиваетесь в Сети или в реальном мире, не дает вам основания полностью рассчитывать на истинность этого обещания. Помните об этом, когда покупаете средства от лишнего веса, морщин или пятен на трусах.

То, что работает на площадках интернет-магазинов, не обязательно сработает в директ-мэйл…

Все, что написано, призвано сделать из вас несколько больших скептиков чем те, какими вы были до этого…

Это научит вас задавать осмысленные вопросы тем, кто предлагает вам панацеи и чудодейственные примочки.

Ну, а маркетологов это научит тому, как надо подавать информацию, чтобы скептицизм потребителей не очень выступал, как это часто бывает, когда заходишь на чей-нибудь корпоративный сайт и видишь, как ребят буквально пучит от лучшего в мире геморроя и от собственной значимости, за которой, если разобраться, одна пена и только…

Спрашивайте тех, кто вам продает что-то замечательное и потрясающе эффективное – в каких условиях это тестировалось, и вы избежите проблем, когда, покупая какую-нибудь программу для «моментального обогащения», вы приобретаете ее у задрыги, которому не хватило денег даже на хостинг…

Поступая так, вы не только улучшите свою игру в этом мире… Вы поможете сделать ее лучше и другим! Ибо ничто так не ценится в маркетинге (да и не только в нем) как острый отточенный ум, способный наблюдать и понимать – что же именно он наблюдает…

«Гештальт-ошибка»

О том, что такое «гештальт» вам лучше попросить психологов и гештальт-терапевтов, поскольку на эту тему написано много чего — не меньше, чем по НЛП…

В общем и целом, далеко не претендуя на точность, скажу, что под гештальтом можно понимать целостное, завершенное восприятие чего-либо – без разбивки на составные детали. Или более точно это: «физическая, биологическая, физиологическая или символическая структура или набор элементов, свойства которой нельзя получить только как сумму свойств составляющих ее элементов»

Надеюсь, врубились… 🙂

Для того, чтобы объяснить суть ошибки №3 этого понимания вполне хватит. А кому не хватит – бегом на курсы и семинары гештальтистов.

Какое же отношение имеет гештальт к маркетинговому анализу?

Представьте, что вы протестировали свой минисайт, рассчитанный на немедленный отклик по двум элементам:

  • Заголовок
  • Страница оформления заказа 

Очень приличный выбор элементов тестирования, кстати… Эти параметры влияют на отклик, пожалуй, больше, чем любые другие…

Итак, вы проводите мультитест под коим понимается, что вы тестируете больше, чем одну переменную за раз, потом смотрите на свои данные и видите: Вау! Заголовок А работает лучше, чем заголовки Б, В и Г, а страница заказа Б работает лучше, чем страницы А, В, Г и Д.

Класс!

Сейчас мы соединим заголовок А со страницей Б и получим само совершенство, которое заставит наш отклик пробить потолок, так?

И тут приходит, как принято выражаться, крутое попадалово…

Заголовок А вполне может дать облом в сочетании со страницей Д!

Два гения не обязательно родят третьего…

Поэтому есть смысл тестировать больше вариантов нежели предполагаемая комбинация из двух наилучших элементов. Например, стоит проверить эффект заголовка А в сочетании с другими страницами заказов, то есть рассматривать тестирование комбинаций, а не только отдельных элементов сайта!

Ошибка «Закон 40»

Иногда вам скажут, что это называется «правилом 25-ти» иногда, что это «Критерий 40» — в зависимости от того с каким сумасшедшим маркетологом вы беседуете :).

К сожалению, даже самые умные и толковые маркетологи, которых я знаю, продолжают использовать этот бред, под которым нет никакого научного основания.

О чём, собственно, идет речь?

В любом научном тестировании вам нужен какой–то способ измерить степень вашей уверенности в том, что результаты имеют смысл.

Например…

Предположим, что мы хотим провести кампанию рассылки емэйл по подписному листу.

Прежде, чем вы разошлете письма всей базе, вы решаете провести пробный маркетинг, рассылая различные варианты сообщений небольшим независимым выборкам из вашего списка.

Идея в том, что вы скорее всего получите лучшую кампанию если остановитесь на лучшем отклике из всех вариантов, поскольку если вы разошлете только один вариант, то неизвестно насколько хорошо он сработает.

Ничего удивительного, правда?

Окей. Давайте представим, что у вас есть 5 различных вариантов емэйл кампаний с такими вот результатами:

1: 5.1 продажа на каждые 1000 отосланных писем

2: 2.3 продаж на каждые 1000 отосланных писем

3: 0.6 продаж на каждые 1000 отосланных писем

4: 1.2 продаж на каждые 1000 отосланных писем

5: 4.5 продаж на каждые 1000 отосланных писем

Это, разумеется, средние величины…

Таким образом, если тенденция, которую вы получили, сработает и впредь, то вариант №1 окажется просто подавляющим по эффективности. Аж в 10 раз выше, чем, например, вариант 3.  Ясно что 50 проданных е-буков и 500 – это нехилая разница…

Однако, откуда мы знаем, что эта тенденция сохранится, когда мы разошлем наш вариант №1 по всему списку?

Упс…

Допустим, что ваша база подписчиков составляет полмиллиона. Пусть даже точнее – 420.000. Вы рассылаете различные варианты сообщений случайным выборкам размером в 4000 респондентов.

Насколько точен будет ваш расчет потенциальной эффективности в отношении всего списка в целом? Вроде бы 4000 – это довольно изрядно, правда?

Увы. Результаты, как и женщины, могут вас очень удивить, если вы поверите в такое тестирование без оглядки…

(Я понимаю, что для некоторых уже слишком много цифр, но вы уж потерпите немного, окей? Маркетинг и цифры – близнецы-братья).

Есть такая скучная наука под названием «статистика», которую не применяет почти ни один уважающий себя маркетолог.

Это просто поразительный факт!

Вы только вдумайтесь: примерно 97% всех маркетологов фирм и организаций не применяют количественные методы исследования и проверки своих галлюцинаций именуемых «маркетинговыми планами»! Маркетологи слишком грешат качественными исследованиями, потому что там есть хоть какой-то креатив. А какой креатив в математических формулах?

Все хотят быть творцами-поварами и романтиками-кулинарами, но мало кому нравится строгать и пилить дрова для костра.

Так вот — в скучной статистике есть много методов для того, чтобы определить – можно ли доверять вашим результатам или нет. То есть вы вводите данные вашего теста в математическую формулу и можете очень точно подсчитать – насколько верны ваши предсказания…

Другими словами, с определенной мерой погрешности вы можете предсказать – насколько выявленная вами тенденция сохранится, если вы разошлете свои протестированные послания всему списку.

(В отношении вашего сайта ваш тест может очень точно показать, например, как поведут себя посетители, когда увидят тот или иной вариант сейлз-леттер (продающего текста).

К сожалению, такой подход – почти абсолютная загадка для большинства маркетологов, и я знаю очень хорошего специалиста, который очень хорошо шарит в такого рода вещах. Думаю, что уговорить его провести небольшой ликбез на эту тему было бы очень неплохо…

Большинство манимейкеров потеют над бойкими заголовками, придумыванием хитрых путей нанесения увечий броузеру, чтобы посетитель намертво залип на странице, спамом и прочими аксессуарами качественного характера. В то же время мозги у профессионалов должны быть заточены именно в указанной области…

Конечно, лучше отобрать тот вариант кампании, который дал больший пробный отклик, чем остальные и использовать его, однако вы не знаете в этом случае – рассылаете ли вы действительно лучший вариант…

Если у вас нет точных расчетов «доверительности», то вы вполне можете получить на самом деле далеко не лучший результат.

Некоторые маркетологи интуитивно чувствуют здесь подвох и вежливо так спрашивают: «Насколько я могу быть убежден в том, что тестирование даст точную оценку предполагаемых результатов».

Это отличный – просто-таки грандиозный – вопрос. Один из самых нужных в маркетинге вообще.

Однако ни один специалист по прямому маркетингу вам не даст на него ответа.

Стандартно он ответит так: «Надо провести тест, пока мы не получим 20 (или 25, или 40 – в зависимости от персоны маркетолога) откликов, тогда у нас будет возможность для выводов»

Когда я услышал такое в первый раз, то почесал репу и подумал: «Не может быть!»

Я не гений статистики, то чему-то в ВУЗе меня все-таки научили. И это что-то просто вопило: «Что за хрень?»

Нет ни одного научного доказательства того, что это правило работает…

Вот почему:

Чтобы измерить уровень достоверности ваших наблюдений вам надо учитывать следующие факторы:

A. Размер вашей выборки

Б. Процент откликов

В. Количество откликов.

Нельзя просто тупо сказать: «Тестируй, пока не получишь 40 откликов», потому что это полный бред – это ноль в вакууме.

 Квадратный кубометр…

Однако, это правило все же лучше, чем ничего, потому что оно хотя бы заставляет человека получить хоть какую-то инфу, прежде чем делать глубокомысленные выводы. От многих и этого не дождешься…

Ошибка «Аналитический паралич»

Один из моих знакомых постоянно публикует в журнале свою рекламу о продаже косметики и имеет неплохой очень даже коэффициент ROI (возврата капиталовложений) – на каждый вложенный в рекламу бакс он получает 1.5 бакса.

(Это прямо скажем, просто, замечательно… Если бы те же баннеры давали такую эффективность я бы увешал ими весь сайт…)

Однажды он решил начать рекламироваться более агрессивно, и первой его светлой идеей была идея о необходимости протестировать цену – нынешнюю по сравнению с предполагаемой новой. Неплохой ход, однако… Результаты могли бы дать ему возможность поднять цены, не потеряв продаж.

Однако после этой мудрой мысли ему пришла в голову уже не такая мудрая…

Он отдал свое тестовое объявление в работу медиабайеру и стал ждать…

И ждать…

И ждать…

И ждать…

Когда я встретил его через пару дней и спросил о том как идет его кампания, он ответил: „Мужик, мы зависли… Я ничего не могу предпринять пока не получу данных анализа. А тест пока не закончился…”

Я тормознул и спросил его: „А какие у тебя были данные прошлых кампаний”

„Мы легко получали полтора бакса на каждый вложенный бакс”

Тогда я заметил: „Слушай меня внимательно… Только не отвечай пока тщательно все не обдумаешь, как бы тебе не хотелось: почему ты не продолжаешь сейчас кампанию, которая давала такие отличные результаты?”

Эффект был такой же как у ученика Дзен, когда после 10 лет пинков и тумаков, его вдруг постигает озарение…

Мы быстро направились к нему в офис, и он активизировал старую кампанию, которая, как он знал, точно приносит ему деньги…

Позднее анализ показал, что новая цена была действительно лучше, и он без проблем перешел к ней.

Нет никакого смысла прекращать делать то, что ты уже делаешь если это приносит результаты.

Однако, со стороны это намного более очевидно, чем если сам попадаешь в такую ситуацию…

Тестирование — отличная вещь, однако если оно отменяет все остальные успешные действия, то к черту такое тестирование…

ДЕЙСТВИЕ – это святое… Потому что глупое решение, принятое сегодня, лучше чем грандиозное и великолепное, которое будет принято через год…

Автор: Вик Орлов
Редактор: Макс Измайлов

Оставьте комментарий

Этот сайт использует Akismet для борьбы со спамом. Узнайте как обрабатываются ваши данные комментариев.