92% маркетологов довольны ИИ, но доказать эффект могут лишь 27%

Что происходит, если успех определяет платформа

Без встроенных измерений командам остаётся верить цифрам из дашбордов вендоров. Рекламная платформа оптимизирует конверсию, сервисная — автономность, контентная — вовлечённость. Все три могут показывать рост внутри собственных отчётов, пока бизнес-результат стоит на месте. Инструмент, выполняющий работу, сам решает, удалась ли работа.

Показательно: 85% опрошенных сообщили об улучшении хотя бы в одной категории метрик, которую до запуска не отслеживали. Исследователи не смогли установить, добавили ли эти команды измерения позже или использовали внешний источник, но сам разрыв показателен. Рецепт авторов стандартен для маркетинговых операций (marketing ops): связывать активность платформ с данными CRM, финансистами и результатами экспериментов.

Кому принадлежит результат

Даже правильные метрики не работают без ответственного. Только 17% организаций назначают владельца бизнес-результатов ИИ — наименее распространённая из восьми практик, измеренных в исследовании. Роль эта не совпадает с владением платформой или процессом: владелец платформы отвечает за работоспособность инструмента, владелец процесса — за ход работы, владелец результата — за то, достиг ли ИИ цели.

Связь существенная. Организации с назначенным владельцем результата квантифицировали эффекты в 46% случаев против 23% у остальных; они чаще применяли контролируемые тесты и финансовую отчётность. Причинно-следственная связь в исследовании не доказана, но ассоциация заметная.

Чем внимательнее измеряешь, тем хуже выглядит

Парадоксальный, но логичный вывод: организации, применяющие три и более измерительных практик из числа изученных, чаще сообщали о проблемах с передачей задач от ИИ сотрудникам, о сложностях внедрения и качестве данных, чем команды с нулём или одной практикой. Неясно, вскрыли ли измерения скрытые дефекты или сложные внедрения просто дают больше поводов для находок. Урок в любом случае один: зрелая ИИ-программа выглядит messier именно потому, что кто-то наконец проверяет, что происходит после срабатывания автоматизации.

Отсюда и рекомендация расширять рамку ревью за пределы скорости и объёма: смотреть, где ломаются передачи, где сотрудники игнорируют рекомендации, где клиенты вынуждены повторяться, где метрика движется не туда.

Когда останавливаться

Только 28% организаций используют согласованные критерии для решения, масштабировать, менять или останавливать ИИ-приложение; лишь 37% reviewing результатов по регулярному графику. Значительная часть систем работает без правила на случай, когда прямая метрика растёт, а бизнес-результат — нет.

Что это меняет для практиков? Для каждого приложения — до следующего ревью — нужно зафиксировать результат, базовую линию, порог успеха и способ сравнения, а затем письменно определить, какой результат оправдывает масштабирование, какой требует изменений и какой — остановку. ИИ способен радикально усилить martech-стек (маркетинговые технологии). Он же способен сделать слабую систему измерений почти не dismantle-able после запуска. Полный отчёт Sprinklr и Metric Sherpa выложен в открытый доступ, без регистрации.