Найбільш цікаві, однак, методи оцінювання точності й надійності різних видів тестів.
Якщо рекламне звернення необхідно протестувати стосовно комунікативної мети, необхідно розробити також і оперативну мету — виміряти змінні величини, що її уособлюють. На практиці дослідники найчастіше працюють із невизначеними, нечітко сформульованими цілями. За умови, що цільовий сегмент населення можна точно визначити, учасники тесту теж мають бути репрезентовані представниками саме цієї цільової групи. Не варто забувати, однак, що люди психологічно дуже різняться, а отже, результати опитування можуть не відображати реакцію всієї цільової групи, хоч як ретельно її представників не добирали б.
Та найбільш важливе — це мимовільна реакція респондентів на обставини тесту й вимірювальні прилади, які використовуються. Основна проблема в будь-якому дослідженні рекламного звернення — це тенденція респондентів діяти не так, як вони діяли б у реальному житті. Такий ефект має назву зворотного, або ефекту протидії, вибору цілі, ефекту піддослідного кролика тощо.
За кордоном використовують різні засоби, щоб звести до мінімуму зворотний ефект. Один із них полягає у відверненні уваги респондентів від справжнього об'єкта дослідження. Так, респонденту можна сказати, що він оцінює телепрограми, а не рекламні ролики, які їх супроводжують. Такий метод хоч і дійовий, але не бездоганний в етичному плані, оскільки вводити людину в оману можна тільки до певної межі.
Ще один спосіб — там, де можливо, використовувати вимірювання, які не створюють протидії (зворотного ефекту). Так, можна непомітно (телевізійні камери) досліджувати рух покупців у магазині в процесі купівлі того чи іншого товару.
Мінімальний зворотний ефект мають методи тестування за допомогою поштового зв'язку, тому що в цьому випадку немає безпосереднього впливу на респондента.
Спеціалісти вважають, що ефект протидії є найнебезпечнішим. Якщо респондент знає, що його дії або думку записують, він може поводити себе зовсім інакше, ніж завжди. Ця проблема трохи послаблюється, коли респондент звикає до системи тестування, як це спостерігається в усіх розвинутих країнах. Однак і там вона ніколи не зникає зовсім. У цьому, між іншим, і полягає одна з причин залучення до тестування великої кількості людей. Чим більше респондентів, тим більшою є надія отримати об'єктивні відповіді.
Одна з проблем тестування рекламного звернення полягає в тім, що саме тестувати: оригінал-макет чи вже остаточно готове рекламне звернення. Суть проблеми залежатиме від того, наскільки відрізняється макет від рекламного звернення і від впливу цієї різниці на поведінку аудиторії.
Інша проблема — це частота показу. Необхідно мати відповідь, по-перше, наскільки можливим є прогнозування реакції на рекламну кампанію з десятками й сотнями показів, а по-друге, чи може один показ бути достатньо результативним і скільки їх треба саме для даного товару (послуги).
Ще одна проблема — визначити контекст, в якому рекламне звернення краще за все демонструвати.
При тестуванні рекламного звернення необхідно врахувати такі обставини, як це радять закордонні фахівці:
1. Визначитися, як показувати. Тести в демонстраційному залі або показ рекламного звернення опитуваним у торговельних центрах, називають тестами з примусовим показом, коли створюється дещо штучна ситуація. Інші види тестування (наприклад, ефірний показ по телебаченню) ніби й передбачають нормальні домашні умови, але респонденти все одно розуміють, що вони беруть участь у тесті, а не просто дивляться телевізор або слухають передачу по радіо. Тому проблема впливу обставин показу на результати залишається.
2. Група респондентів має складатися із представників цільового сегмента ринку. За всіх способів тестування найбільшою проблемою залишається те, що невідома думка тих, хто не брав участі у тесті. Адже вона може бути зовсім іншою. Крім того, завжди є сумніви, чи є достатньо представницькою вибрана група респондентів.
3. Вірогідність вимірювання реакції. Точність тестування залежатиме від точного визначення її цілей. Ефективність рекламної кампанії для створення поінформованості про торгову марку не можна вимірювати тестом, який розрахований на вивчення реакції споживача у вигляді купівлі. Для рекламної кампанії, що в ній намагаются створити імідж, престиж або асоціювати її з якимись емоційними почуттями, може знадобитися багато повторів і прихована перевірка, у тесті з використанням купонів одноразовий показ взагалі не може бути використаний.
4. Міра поєднання природного й штучного. Не треба крайнощів: або тільки примусовий показ у торговельному центрі, або тільки невимушена домашня обстановка. Слід пам'ятати, що штучних елементів цілком достатньо в обох випадках.
5. Надійність тесту рекламного звернення. Важливо, щоб умови первинного і вторинного тесту були еквівалентними. Якщо, шриклад, споживачам показували рекламні звернення в різному контексті (в різних телепрограмах), або між двома актами тестування їм показували конкуруючу рекламу, умови тестування не будуть еквівалентними й тестування матиме низький рівень надійності.
Крім факторів надійності й точності, спеціалістами застосовуються ще п'ять критеріїв:
• вибірковість — тести мають різнитися стосовно різних рекламних роликів, навіть присвячених тій самій торговій марці;
• незалежність вимірювань — вимірювання різних тестів мають бути не взаємозалежними за численних актів тестування;
• різнобічність — крім основних оцінок, тест має дати інформацію, яка пояснюватиме причини різного рівня оцінок;
• універсальність — результати тестувань, виконаних різними методами, мають бути близькими;
• застосовуваність на практиці — будь-яке тестування завжди проводиться тільки з розрахунком на наступну роботу за результатами тесту.
При тестуванні рекламного звернення особливу увагу необхідно виділяти дослідженню процесу забування. Вирішення проблеми забування тісно зв'язане з питанням про повторні покази рекламного звернення в засобах масової інформації. Зарубіжні дослідження довели, що показник «збереження в пам'яті» знижується щотижня на 25 відсотків. Показником є відтворювання в пам'яті тексту рекламного звернення без підказу. Рівень запам'ятовування —відтворення в пам'яті різнився від 10 до 16 відсотків, а щотижневі (JRP) сумарні оцінки були від 40 до 200. Регресивний аналіз дав змогу створити таку модель:
DAt = 0.3Wt – 0.1At-1
де, DAt — зміни у відсотках показника «відтворення в пам'яті без підказу» за тиждень t; Wt — сумарна оцінка, отримана за тиждень t; At-1 — рівень відтворення у пам'яті без підказу за тиждень(t-1).
Ця модель не може поширюватись на цільову аудиторію України, але можна використати деякі методичні підходи.
Так, перший член 0,3Wt, вказує на те, що 100 JRP (сумарні оцінки) за тиждень у середньому дають три відсотки відтворення в пам'яті без підказу. Другий член формули 0,1At-1 середнім темпом забування. Якщо відтворення в пам'яті було на минулому тижні на рівні 15 відсотків, тоді за відсутності наступних показів реклами можна припустити, що відтворення в пам'яті знизиться до 13,5 відсотка. Тобто від одного тижня до другого забувається 10 відсотків інформації.