Подводные камни и практические реалии использования генеративного ИИ в рабочем процессе аналитики

За последние несколько месяцев мы много слышали о том, как генеративный ИИ изменит цифровой маркетинг. Как консультанты, мы работаем с брендами, чтобы использовать технологии для инновационного маркетинга. Мы быстро изучили потенциал ChatGPT, самого известного в мире чат-бота на основе крупноязыковой модели. Теперь мы видим, как генеративный ИИ может выступать в качестве помощника, создавая первоначальные наброски кода и визуализации, которые наши эксперты превращают в пригодные для использования материалы.

На наш взгляд, ключ к успешному проекту генеративного ИИ заключается в том, чтобы у конечного пользователя были четкие ожидания относительно конечного результата, чтобы любые материалы, созданные ИИ, можно было редактировать и формировать. Первый принцип использования генеративного ИИ заключается в том, что вы не должны доверять ему, чтобы он давал абсолютно правильные ответы на ваши запросы.

ChatGPT правильно ответил только на 12 из 42 вопросов GA4

Мы решили протестировать ChatGPT в том, чем регулярно занимаются наши консультанты, — отвечая на распространенные вопросы клиентов о GA4. Результаты были не столь впечатляющими: из 42 заданных нами вопросов ChatGPT предоставил только 12 ответов, которые мы сочли приемлемыми и отправили нашим клиентам, что составляет всего 29%.

Еще восемь ответов (19%) были «полуправильными». Они либо неправильно истолковали вопрос и дали другой ответ на заданный (хотя фактически правильный), либо содержали небольшое количество дезинформации в правильном ответе.

Например, ChatGPT сообщил нам, что строка «Другое», которую вы найдете в некоторых отчетах GA4, представляет собой группу из множества строк данных небольшого объема (правильно), но случаи, когда это происходит, определяются «алгоритмами машинного обучения Google». Это неправильно. Для этого существуют стандартные правила.

Копаем глубже: искусственный интеллект: руководство для начинающих

Ограниченность знаний ChatGPT — и это самоуверенность

Остальные 52% ответов были фактически неверны, а в некоторых случаях активно вводили в заблуждение. Наиболее распространенная причина заключается в том, что ChatGPT не использует обучающие данные после 2021 года, поэтому многие последние обновления не учитываются в его ответах.

Например, Google официально объявил об устаревании Universal Analytics только в 2022 году, поэтому ChatGPT не может сказать, когда это произойдет. В этом случае бот, по крайней мере, предупредил свой ответ в этом контексте, начав со слов «… насколько мне известно, отключение произойдет в 2021 году…»

Однако на некоторые оставшиеся вопросы были даны ошибочные ответы с тревожной уверенностью. Например, бот сообщает нам, что «GA4 использует подход, основанный на машинном обучении, для отслеживания событий и может автоматически идентифицировать события покупки на основе собираемых данных».   

Хотя в GA4 есть автоматически отслеживаемые события «расширенных измерений», они обычно определяются путем прослушивания простого кода в метаданных веб-страницы, а не с помощью машинного обучения или статистической модели. Кроме того, события покупки, безусловно, не входят в сферу расширенного измерения.

Итак, как мы можем использовать ChatGPT и другие инструменты генеративного ИИ?

Как показал наш тест GA4, ограниченные «знания», содержащиеся в ChatGPT, делают его ненадежным источником фактов. Но он остается очень эффективным помощником, предоставляя эксперту первые наброски анализа и кода, чтобы сократить время, необходимое для решения задач.

Он не может заменить роль знающего аналитика, который знает, какой результат он ожидает увидеть. Вместо этого можно сэкономить время, поручив ChatGPT проводить анализ на основе выборочных данных без сложного программирования. Из этого вы можете получить точное приближение за секунды и указать ChatGPT изменить свой вывод или манипулировать им самостоятельно.

Например, недавно мы использовали ChatGPT для анализа и оптимизации покупательских корзин розничного продавца. Мы хотели проанализировать средний размер корзины и определить оптимальный размер, чтобы предложить покупателям бесплатную доставку. Для этого требовался рутинный анализ распределения выручки и маржи, а также понимание изменений во времени.

Мы поручили ChatGPT проверить, как размеры корзин менялись в течение 14 месяцев, используя набор данных GA4. Затем мы предложили несколько первоначальных SQL-запросов для дальнейшего анализа в BigQuery и некоторые варианты визуализации данных для полученных результатов.

Хотя варианты были несовершенными, они предлагали полезные области для дальнейшего изучения. Наш аналитик адаптировал запросы из ChatGPT для завершения вывода. Это сократило время, затрачиваемое старшим аналитиком, работающим с младшей группой поддержки, на создание выходных данных с примерно трех дней до одного дня.

Копайте глубже: 3 шага, чтобы заставить ИИ работать на вас

Автоматизация ручных задач и экономия времени

Другим примером является его использование для автоматизации дополнительных ручных задач в рамках заданного процесса, таких как проверки обеспечения качества для таблицы данных или созданного фрагмента кода. Это ключевой аспект любого проекта, и пометка несоответствий или аномалий часто может быть трудоемкой.

Однако использование ChatGPT для проверки фрагмента кода из 500+ строк для объединения и обработки нескольких наборов данных — гарантируя отсутствие ошибок — может значительно сэкономить время. В этом сценарии то, на что обычно у кого-то ушло два часа на проверку себя вручную, теперь можно было выполнить за 30 минут.

Окончательные проверки качества по-прежнему должны выполняться экспертом, а качество выходных данных ChatGPT сильно зависит от конкретных параметров, которые вы задали в своих инструкциях. Однако задача с очень четкими параметрами и отсутствием двусмысленности в выводе (числа либо совпадают, либо нет) идеально подходит для генеративного ИИ, чтобы справиться с большей частью тяжелой работы.

Относитесь к генеративному ИИ как к помощнику, а не как к эксперту

Прогресс, достигнутый ChatGPT за последние месяцы, впечатляет. Проще говоря, теперь мы можем использовать разговорный английский для запроса высокотехнологичных материалов, которые можно использовать для самого широкого круга задач в области программирования, коммуникации и визуализации.

Как мы показали выше, к результатам этих инструментов нужно относиться с осторожностью и экспертной оценкой, чтобы сделать их ценными. Хорошим примером использования является повышение эффективности анализа в нашей повседневной работе или ускорение длительных и сложных задач, которые обычно выполняются вручную. Мы скептически относимся к результатам и используем наши технические знания, чтобы превратить их в материалы с добавленной стоимостью для наших клиентов.

Хотя генеративный ИИ, примером которого является ChatGPT, продемонстрировал огромный потенциал в революционном изменении различных аспектов наших цифровых рабочих процессов, крайне важно подходить к его приложениям со сбалансированной точки зрения. Существуют ограничения в точности, особенно в отношении последних обновлений и нюансов.

Однако по мере развития технологии потенциал использования ИИ в качестве инструмента для расширения наших возможностей и повышения эффективности нашей повседневной работы будет расти. Я думаю, что мы должны меньше фокусироваться на том, чтобы генеративный ИИ заменил эксперта, и больше на том, как он может повысить нашу производительность.