Путеводитель по джунглям методик тестирования рекламных текстов

Автор статьи: Репьев Александр

Перевод А.П. Репьева>

Путеводитель по джунглям методик тестирования рекламных текстов

Пауль Фельдвик (Paul Feldwick)

СУЩЕСТВУЕТ МНОЖЕСТВО способов испытания рекламных
текстов, каждый из которых основан на своей теории и предположениях относительно
механизма работы рекламы. Разработчики каждого метода обычно подчеркивают достоинства
их собственного метода с внушающей беспокойство убежденностью. Рекламодатель,
скорее всего, подумает: <Разумеется, все они не могут быть правыми одновременно>.
А его рекламное агентство может ему сказать: <Все они неправы>. Давайте попытаемся
продраться сквозь эти дебри и проанализировать эти методы по возможности беспристрастно.

Перед тем, как выделить основные теории и методики, полезно описать спектр
отношений людей к исследованиям, связанным с испытанием рекламных текстов.

В левой части спектра находится предположение, что реклама работает слишком
сложно и тонко, чтобы ее можно было бы анализировать и замерять с помощью какого-либо
метода. Это отношение превалирует среди творческих директоров, но его придерживаются
и многие другие рекламисты и рекламодатели. Для этих людей рекламные решения
суть продукт только размышлений и умозаключений. Можно признать некоторую правоту
этой точки зрения, особенно после того, как посвятишь долгие годы изучению психологической
сложности задачи и противоречивости данных. Многие знаменитые и успешные кампании
утверждались на такой основе.

Диаметрально противоположной точки зрения придерживаются компании, занимающиеся
испытаниями рекламного текста, которые исходят из предположения, что они могут
предсказать с высокой степенью точности поведение рынка. Эти предсказания в
основном основываются на числовых данных, которые почти не оставляют свободы
для субъективных оценок.

По понятным причинам такая позиция многим компаниям кажется привлекательной.
Она не только обещает уменьшить риск и повысить эффективность, она также означает,
что решения в отношении рекламы уже не надо доверять отдельным менеджерам, коим
свойственно ошибаться. Однако многие воспринимают такую позицию крайне скептически.

Между этими крайними точками зрения можно встретить две распространенные позиции.
Согласно одной, наиболее важны умозаключения, но их желательно подкрепить некоторыми
откликами целевой аудитории. Никто не делает вид, что все это очень научно,
но, тем не менее, пытается получить более или менее неформальную проверку жизнью
— насколько сообщение затрагивает людей; насколько они понимают его; насколько
оно интересует их и прочее. Это разновидность качественного исследования исключительно
распространена на большинстве рынков мира. Сторонники такого метода утверждают,
что, хотя такой подход и не отличается особой научной строгостью, он чувствителен,
гибок и дает ощущение прямого диалога с потребителем. Стоит отметить, что с
помощью такого подхода было создано много успешных компаний.

Подобную позицию, в частности, представляют британские рекламисты. Она была
отчасти реакцией на довольно механистические формы исследований в области рекламы,
которые были характерны для 1960-х годов.

Здесь стоит подчеркнуть, что рекламные исследования — это не просто оценки.
Без надлежащей стратегической и технологической работы, методики оценки сами
по себе вряд ли повысят шансы рекламы на успех. На первый взгляд, это очевидно,
но на практике увлечение оценочными исследованиями часто оказывается настолько
сильным, что на эти исследования расходуют непропорционально большую долю исследовательского
бюджета. (По моему опыту всегда находятся деньги для еще одной серии испытаний
рекламного текста, при этом вряд ли стоит надеяться на получение средств на
<обзорные> исследований — хотя они могут оказаться более ценными.)

Я встретил в США одного рекламодателя, который весь свой исследовательский
бюджет в $300000 тратил на одну фирменную методику тестирования степени убеждения.
Каковыми бы ни были достоинства этой конкретной методики (я ее оцениваю весьма
низко), это означало, что его представление о потребителе было практически нулевым.
Рекламы для испытаний создавались практически на глазок. Оценочные тесты, даже
если их проводить правильно, не дают ответа на все вопросы рекламодателя. Может
оказаться, что в стесненных финансовых обстоятельствах больше пользы будет от
надлежащего стратегического исследования, чем в какой-либо оценке текстов.

Правее лежат исследования с количественно-качественными методиками, которые
не предсказывают прямо коммерческую эффективность, а измеряют концепции, сходные
с теми, которые исследуют в количественных подходах; такие как воздействие,
понимание, способность вспомнить, при этом они оставляют достаточно простора
для умозаключений и дискуссий относительно того, что же они в действительности
означают. Возьмем рекламу, которая лучше коммуницирует, но не нравится. Будет
ли она работать лучше, чем реклама, которая всем нравится, но менее четко передает
содержание?

На рассматриваемом спектре есть другие промежуточные точки. Некоторые приверженцы
качественных исследований могут их активно использовать, другие могут их игнорировать,
если они противоречат их мнению. Одни количественные системы более строги и
предсказуемы, чем другие.

Что предпочтете вы, как рекламодатель, будет отчасти зависеть от того, во что
вы готовы поверить при анализе противоречивых утверждений исследователей. Многое
также будет зависеть от вашего корпоративного стиля и культуры. Интуитивный
предприниматель скорее предпочтет качественные подходы; крупная бюрократичная
многонациональная корпорация может предпочесть количественные методики. Если
рекламодатель и агентство придерживаются диаметрально противоположных точек
зрения, возникнет определенная напряженность.

Но какой бы методики вы ни придерживались, вы по-прежнему будете иметь дело
с одними и теми же вопросами. Какие параметры будут характеризовать будущий
успех рекламы? Любые ответы на этот вопрос будут основываться на осознанных
и неосознанных предположениях относительно рекламного процесса. Важно ли, чтобы
успешная реклама запоминалась, нравилась, передавала сообщение, которое можно
передать словами? Оказывает ли реклама мгновенный измеряемый эффект на склонность
сделать покупку, или этот эффект реализуется позднее в результате повторений
или пробных покупок?

В попытках ответить на эти и другие подобные вопросы были написаны тома. А
лучшие ответы, которыми мы располагаем, все еще на уровне <может быть> и <иногда>.

На сегодняшний день создано море систем предварительного испытания реклам.
DDB Needham в США выпустила толстенный справочник тестовых методов, которые
имеются в США. Не все из перечисленных там методов используют в Европе, но и
не все европейские методы популярны в США. В последние годы ряд особенно интересных
методов были созданы в Австралии и Новой Зеландии. К счастью, все методы можно
грубо разделить на семейства, как в биологии.

Понять структуру рынка тестирования рекламы нам могут помочь две наиболее полезные
концепции: <сдвиг отношения/убеждение> и <воспоминание/впечатление и коммуникация>.
Обе методики имеют богатую историю: методика <сдвига отношения> восходит к проводимым
Шверином испытаний в театре в 1950-х годах; а методика <воспоминания> в конечном
счете обязана своим появлением тестам прессы, проводимым Даниелем Старчем и
Джорджем Гэллапом в 1920-х и 1930-х годах.

Методика <сдвига отношения> основана на предположении, что изменение отношения
или склонности совершить покупку данного товара происходит во время чтения рекламы
и позволяет предсказать последующее поведение читателя на рынке. Этот сдвиг
отношения можно изолировать и измерить различными способами. Общепринятым способом
является испытание pre-post, методика которого разработана Шверином. Эта методика
составляет основу системы ARS, в настоящее время используемую в тестах rsc и
AD*Vantage компании McCollum Spielmann Worldwide (в Германии она используется
по лицензии фирмой GfK).

Метод типа Шверина можно описать следующим образом. Группы респондентов приглашают
для просмотра телевизионной передачи, чтобы создать впечатление, что именно
эта передача является основным объектом исследования. Перед показом их приглашают
принять участие в лотерее на выигрыш корзины продуктов питания или других товаров
(включая, например, испытательную поездку в автомобиле.) Для каждого наименования
в корзине респондент выбирает предпочитаемый брэнд из представленного перечня.
После показа, который включал рекламные паузы с испытываемыми роликами, повторяют
процедуру лотереи с призами. Любое увеличение процента респондентов, которые
выбирают рекламируемый брэнд, используют как основу для подсчета очков убеждения
— основного показателя исследования. Эта методика имеет множество вариантов.

Несмотря на свою популярность и оригинальность, эта методика с выбором подарков
подверглась критике из-за ряда влияющих обстоятельств. Вариант этой методики
состоит в использовании двух выборок респондентов, одна из которых видит рекламу,
а другая видит только передачу. Я лично отдаю предпочтение этой методике, хотя
теоретически могут быть проблемы со сравнением результатов для двух групп респондентов.
Преимущества методики следующие: она позволяет проводить более <чистые> тесты,
и задавать более тонкие вопросы для измерения сдвига отношения.

В то время как корзина с подарками позволяет задавать простые вопросы <да-нет>,
в данном случае можно получать рейтинг склонности совершить покупку. Кроме этого,
вы можете задавать другие вопросы, касающиеся имиджа. В частности, вы можете
определить сдвиги в намерениях или предпочтениях среди существующих приверженцев
брэнда, которым по определению некуда <сдвигаться> при выборе подарков, но которые,
тем не менее, должны быть признаны как наиболее важная часть рынка для каждого
раскрученного брэнда.

С более серьезными возражениями против всей концепции сдвига отношения выступают
те, кто отрицают его фундаментальные предположения: (1) заметное изменение имеет
место за время просмотра, и (2) что результаты могут служить надлежащим индикатором
последующего поведения. Этот аргумент высказывался в последние годы Гордоном
Брауном.

Браун придерживается совершенно иной модели механизма работы рекламы. Он утверждает,
что имиджи и ассоциации откладываются в сознании в момент просмотра рекламы,
но изменения отношения к брэнду, скорее всего, происходят позднее, в момент
покупки или даже как следствие использования продукта. Потребители могут принять
сообщение, но оно их вряд ли убедит, или будет рассмотрено, как имеющее к ним
отношение до того момента, когда они вступят в контакт с продуктом.

Отсюда следует, что сдвиг отношения, измеренный во время просмотра, не может
служить надежным предсказателем действия рекламы. Есть много успешных реклам,
испытание которых не показывает немедленного сдвига отношения; более того, сдвиг
отношения, который может действительно иметь место в атмосфере испытания, может
никак не характеризовать последующее влияние рекламы на поведение испытуемого
и на его восприятие того или иного брэнда.

Браун допускает, что некоторые типы реклам получат предсказуемо хорошие показатели
при испытаниях на сдвиг отношения. К ним относит рекламы, которые он называет
содержащими <новые новости>, то есть новую рациональную информацию о продукте,
которая вызывает немедленную переоценку, любопытство и желание попробовать.
Это в значительной мере касается реклам новых или вторично запускаемых продуктов
— это подтверждается корреляцией между показателями убеждения и краткосрочным
увеличением продаж, что постоянно демонстрируют в качестве подтверждения ведущие
приверженцы теории сдвига отношения (у новых продуктов есть только одна возможность
— показывать рост продаж). Для старых продуктов сдвиг отношения имеет мало пользы.
Тем не менее, споры ведутся и по сей день.

Проведенные в 1994 году эксперименты показали, что четыре ролика не дали на
момент тестирования никакого положительного сдвига отношения (правда, оценивалось
намерение приобрести, а не ситуация с корзиной), но показали четко замеряемое
воздействие на восприятие потребителями данного брэнда, когда он был реально
использован.

Это отражает положения модели действия рекламы, предполагающей, что способность
рекламы откладывать в долгосрочной памяти правильные имиджи и ассоциации является
основным предсказателем успеха. Методология, разработанная Миллвордом Брауном
(Millward Brown), известная как тест на образование связей (Link Test), представляет
собой разновидность другой популярной методики исследований, известной под разными
названиями: воздействие и коммуникация (Impact and Communication) и запоминание
(Recall).

Вместо того, чтобы попытаться измерить какой-то один параметр, характеризующий
поведение — что считается нереальным — в этой методике измеряют ряд промежуточных
умопостроений. Эта методика уходит корнями к теории рекламы Старча (Starch,
1925). Согласно этой теории, чтобы быть успешной, реклама должна быть увиденной
и прочитанной. В нее должны поверить, ее должны запомнить и прочувствовать.
Эта методика обычно измеряет следующее:

• Воздействие или способность рекламы пробиться сквозь информационный шум.

• Запоминание брэнда.

• Запоминание содержания текста, проверка понимания и коммуникации.

• Тест <нравится-не нравится>.

• Так называемые диагностические вопросы для оценки отношения к рекламе, например — трудно поверить, реальная ситуация, забавно, скучно и т.д.

Вопросник может получиться довольно длинным, среди
вопросов есть много открытых. При этом получают большой объем информации, которая
может быть полезной при попытке понять, как респонденты воспринимают рекламу
и реагируют на нее. Однако на практике встречаются некоторые сложности:

• Как следует формулировать сами вопросы?

• Как следует кодировать и интерпретировать ответы?

Еще более важны вопросы:

• Какие из этих умопостроений или их сочетаний предсказывают поведение?

• Какой уровень на каждой шкале предсказывает желательный результат? Какое сочетание <хороших> и <плохих> показателей можно считать удовлетворительным?

именно по этим причинам большинство подобных тестов
можно скорее рассматривать как помощь при анализе, а не как системы предсказаний.
Это означает что сами данные открывают широкий простор для интерпретации и:
увы, для конфликтов.

Хотя на первый взгляд кажется, что модель Старча основана на здравом смысле,
при попытках превратить ее в рабочую модель возникает масса вопросов относительно
важности каждого критерия. Например, многие такие тесты начинались с показа
испытываемой рекламы в блоке с другими роликами (создание информационного шума)
для тестирования на выделение рекламы на фоне других. Похоже, что это имеет
смысл. При этом молчаливо предполагается, что, чем реклама выделяется больше,
тем лучшее ее запомнят. Но после проведения таких испытаний в течение многих
лет, Браун обнаружил почти полное отсутствие корреляции между очками, полученными
роликами в блоке, и последующим запоминанием, измеряемым при трекинге рекламы.

Здравый смысл также подсказывает задать респондентам вопрос- что им понравилось
и что не понравилось в рекламе, и оценить их ответы по пятибалльной шкале. При
этом полученные результаты могут быть интересными, но как определить — какое
соотношение <нравится> и <не нравится> желательно или приемлемо? Если такой
вопрос имеет смысл вообще. Будет ли реклама, которая нравится 10% и не нравится
5% лучше или хуже, чем реклама, для которой эти показатели 40% и 20, соответственно?
Важно или нет, если 20% респондентам реклама не понравилась? Если нет, то при
каких значениях это превращается в проблему? интерпретация таких ответов часто
основана не на знании, а на эмоциях — для одних рекламодателей сама идея того,
что их реклама может кому-то не понравиться очень некомфортна, даже если есть
множество успешных кампаний с диаметрально противоположными оценками, и есть
масса примеров кампаний, исключительно успешных с точки зрения продаваемости,
которые мало кому нравились.

Другая очень противоречивая тема — это запоминание сообщения. Требуется очень
осторожно выстраивать последовательность вопросов и интерпретации ответов. Рекламы
с простым словесным содержанием (например, <Чистит одержу азотной кислотой>)
не обязательно более эффективны, чем невербальные рекламы, которые могут вызвать
мощные зрительные и эмоциональные реакции, которые трудно выразить словами.
и так далее.

исследования такого типа, если их проводит опытный и интуитивный исследователь,
могут быть очень полезными. Но они могут оказаться и бесполезными, если небрежно
сформулированные вопросы, неправильное кодирование и неправильные выводы при
интерпретации, основанные на неправильных моделях действия рекламы, неправильно
представляют реальное поведение потребителя.

С учетом трудностей анализа сложных и запутанных реакций потребителей, может
даже возникнуть соблазн опереться на один из аргументов исследования сдвига
отношения. Но память, интерпретация и вербализация рекламы потребителем очень
запутаны, а психологию механизма работы рекламы в контексте испытания лучше
всего представлять, как черный ящик; при этом сдвиг отношения будет напрямую
связан с конечным результатом, ростом желания купить.

На это, однако, можно возразить, что, если сдвиг отношения не может определять,
что правильно и что неправильно в рекламе, то и его способность улучшить рекламу,
исключительно низка. Короче говоря, главный критический аргумент против исследований
сдвига отношений — его низкая диагностическая способность.

Поэтому можно было бы ожидать, что тесты на убеждение смещены правее по шкале
нашего спектра, чем тесты на воздействие и коммуникации.

вышеупомянутый тест на связь (link test) являет собой попытку пойти
дальше <импрессионисткой> школы тестов на воздействие и коммуникацию и получить
эмпирические формулы, позволяющие делать какие-то прогнозы. Как я уже говорил,
эта теория основана на способности человека запоминать содержание рекламы на
определенный срок. Браун утверждал, что он разработал систему уравнений, описывающих
отношение к рекламе, которые помогают предсказать запоминание при трекинговых
исследованиях; причем оказалось, что результаты коррелируют с краткосрочным
поведением кривой продаж. Метод дает большое количество диагностической информации
относительно того, что запоминается. А это та область, которая все еще нуждается
в стратегическом анализе.

испытания на сдвиг отношения и на запоминание суть два основных столпа в тестировании
рекламных текстов. И оба этих метода имеют множество вариаций. В частности,
имеются методы испытания роликов во время их показа по телевидению и без показа
по телевидению. Создатели метода запоминания на следующий день после показа
утверждают, что их методика дает более правильные результаты, чем стандартный
метод воздействия и коммуникации, поскольку испытываемый ролик включается в
реальную рекламную паузу в естественной среде. После этого через 24 часа после
эфира по телефону выясняют, что зрители запомнили из рекламы. (Разумеется, за
это время память многое теряет, что по мнению приверженцев этой методики, делает
этот тест более строгим.) Ту же самую методику можно приспособить к различным
вариантам теста на сдвиг отношения.

Здесь хотелось бы отметить еще ряд моментов. Одним из них является механический
метод регистрации интереса к рекламе посекундно. (Измерения движения глаз и
гальванический сигнал кожи вышли, скорее всего, обоснованны, хотя недавно мне
встретилась новая методология, которая основана на измерении активности мозга
с помощью электродов, прикрепленных к голове респондента.)

Эти методологии занимают промежуточное положение между количественными и качественными
методами. Они включают заполняемые вопросники, способы привлечения интереса
и групповые дискуссии. Есть и гибридные методы, которые сочетают элементы запоминания
и убеждения, например тест Sherman Buy. На самом же деле большинство тестов
включают всего понемножку, но обычно видно, что один аспект более важен, чем
другие.

Также есть другие методы, которые я бы описал более подробно, если было можно
в рамках статьи. Кроме того, всегда есть возможность появления завтра нового
метода.

Весь вопрос в том, что предпочесть?

Может сложиться мнение, что уже накоплено достаточно данных, чтобы раз и навсегда
отдать предпочтение тому или иному методу. К сожалению, имеющиеся данные сложны
и противоречивы, отчасти потому что большая часть работ была проделана под эгидой
исследовательских компаний, каждая из которых подчеркивала достоинства их собственного
продукта. Часть сравнительных исследований проводилась и практиками. Эти сравнительные
анализы, я уверен, основываются на достоверных данных, но волей неволей исследовательский
институт заинтересован в том, чтобы представить свои данные наилучшим образом.
Время от времени предпринимаются независимые попытки оценить точность результатов
той или иной методики. Но безрезультатно.

В 1991 году институт IRI, на основании тщательного обследования огромного объема
материалов, заключил: <Маловероятно, что для старых брэндов имеется четкая связь между стандартными методиками замеров телевизионных роликов на запоминание и убеждение и их продаваемостью>.

Приблизительно в то же самое время ARF (Фонд рекламных исследований) привел
результаты сложного и дорогостоящего исследования, которое было основано на
пяти парах роликов. Выводы Фонда были в очень расплывчатыми: <методы испытания рекламного текста работают!> и <на основании результатов данного исследования ни один из методов нельзя отвергнуть>.

Однако другие исследователи, проанализировав данные ARF, пришли к иным вывода.
Как и сами тесты реклам, результаты данного исследования дали много пищи для
дискуссий. Разумеется, маловероятно, что для всех обстоятельств можно дать один
ответ. Но общепризнанно, что различные рекламы работают по-разному; а посему
в оценках нужно быть исключительно избирательным. Этот подход поддерживает и
Джордж Гэллап:

Я не собираюсь говорить вам, что нужно делать. Я не собираюсь выступать третейским
судьей в многолетней борьбе различных методов испытания реклам. Вы имеете широкий
выбор. Если вы считаете, что испытание рекламного текста важно для вашего бизнеса,
вы должны исключительно серьезно подойти к выбору метода, а не поручать тестирование
первой попавшейся исследовательской компании.

Начните с вопроса — где вы сами находитесь на шкале подходов? Верите ли вы
во всемогущество хорошо информированного умозаключения, или в четкую систему?
Чувствуете ли вы себя комфортно от прямого человеческого контакта при качественных
исследованиях, или вам нужна поддержка чисел? Вы также можете задать себе и
другой вопрос — следует ли все рекламы вашей компании тестировать одним и тем
же способом? Или же вы будете избирательно относиться к тестовым методикам применительно
к каждой стратегии и идее рекламы?

Если вы решите использовать один из стандартных методов, вы будете иметь дело
с известной методикой и наборов критериев, что облегчает интерпретации. При
этом все в организации будут точно знать, по каким правилам все играют. Если
для каждой кампании вы предполагаете использовать специальную методику, это
потребует от всех гораздо больше времени и сил. Вам потребуется опытный рекламный
исследователь, который более заинтересован в решении конкретных проблем, чем
в формировании базы данных. А такие действительно существуют. Вполне возможно,
что, пойдя по такому пути, вы получите лучшие результаты, а сам процесс разработки
методики тестирования под конкретную рекламу сам по себе будет ценен с точки
зрения генерации идей.

Если вы хотите придерживаться одной системы, как это делают многие компании,
то вам нужно будет проанализировать имеющиеся данные и решить, какие из них
лучше соответствуют вашим представлениям о том, как работает реклама, и корпоративному
стилю вашей рекламы. Например, может случиться, что ваша корпоративная философия
базируется на улучшениях продуктов, и роль рекламы состоит в том, чтобы об этом
сообщать. В таком случае вам подойдет методика сдвига отношения. Если вас более
интересуют неосязаемые ценности брэнда, вам подойдут другие методики.

Может быть, к принятию данного решения стоит привлечь ваши рекламные агентства.
Вы будете спокойнее, если вы считаете, что тестирование реклам помогает агентству
лучше создавать рекламы, а не является полицейской мерой.

И, наконец, не забывайте, что тестирование рекламного текста — это всего лишь
один из этапов на пути к успешной рекламе. Оно не заменяет стратегического планирования
и исследований, и качественного анализа грубых идей. Ни один из методов тестирования
текста рекламы не является идеальным.

Первоичточник www.repiev.ru (Александр Репьев)