На что влияет ускорение экспериментов и зачем банкам нужны собственные R&D-лаборатории, рассказывает Кирилл Николаев, директор по аналитике Т-Банка, спикер Fintech Data Day.
— Чем обусловлена актуальность задачи ускорения экспериментов в области работы с данными?
К. Николаев: Сегодня все крупные компании, работающие в B2C-секторе, постоянно проводят тестирования на клиентах, чтобы улучшать свои продукты и бизнес-показатели. Ключевыми факторами в таких тестах являются объем аудитории и чувствительность используемых методов, позволяющих точно определить, как то или иное изменение влияет на поведение клиентов. Продуктовая аналитика, которая активно развивается в России в последнее десятилетие (к слову, наша страна — родина такого явления, как продуктовый дата-аналитик), позволяет обоснованно измерять и показывать, какие измеримые улучшения работают, а какие нет. Использование методов снижения шума, дисперсии, выделения главных факторов изменений обеспечивает существенное повышение чувствительности экспериментов и ускорение их проведения.
Существуют различные методы повышения чувствительности экспериментов: снижение дисперсии, такие как вычитание базового уровня, Multi-CUPED, выделение главного сигнала, предсказательные модели и другие. На практике такие подходы позволяют ускорить проведение экспериментов в 5–7 раз, а теоретически даже до 10 раз, сохраняя при этом мощность и применимость измеряемых метрик.
Ускорение экспериментов является критически важным фактором. Когда в компании работают сотни аналитиков, а клиентская база насчитывает миллионы пользователей, скорость проведения исследований ограничена именно объемом этой базы, возможностью влиять на нее и видеть значимый, интерпретируемый результат.
Чем быстрее проводятся эксперименты, тем больше гипотез можно проверить, быстрее принимать решения и оперативнее внедрять улучшения. Компания, которая быстрее и точнее понимает потребности клиентов, быстрее адаптирует и улучшает свой продукт, в итоге выигрывает борьбу за клиента. Особенно это актуально в высококонкурентных сегментах, таких как банковский B2C-сектор. Конечно, сохраняется консервативная часть аудитории, которая пользуется одним-двумя банками, однако наиболее активная и продвинутая часть клиентов одновременно использует три и более банков, легко перемещая между ними свои ресурсы, транзакции и капитал. Любое уникальное торговое предложение (УТП), повышающее удобство или качество продукта, быстро приводит к миграции клиентов.
Таким образом, ключевым фактором успеха становится способность быстро выявлять и создавать качественные продукты, отвечающие потребностям клиентов. Именно поэтому продуктовая аналитика и умение эффективно проводить и анализировать эксперименты становятся обязательными инструментами для компаний, работающих на конкурентных рынках.
— Какие подходы использовались в банке для улучшения работы с данными?
К. Николаев: Первый и самый очевидный шаг — построение единой A/B-системы, поскольку множество микросистем мешают друг другу, создают шум и отличаются по качеству.
Второй шаг — формирование собственной R&D-лаборатории статистики. Полагаю, что в современном мире в крупных подразделениях обязательно должны быть собственные R&D-команды. Причем речь не всегда идет о техническом R&D — часто это продуктовые исследования. Если компания претендует на лидерство хотя бы в одной области, она обязана создавать R&D-направление, выделяя туда самых увлеченных и энергичных сотрудников, особенно тех, у кого есть неплохой бэкграунд для понимания сути научной деятельности.
За полтора года работы специалисты R&D-отдела провели множество исследований, накопили экспертизу и уже начали разрабатывать не копии существующих, а уникальные решения. Теперь мы принимаем активное участие в различных конференциях, в том числе международных, где представляем свои наработки в части снижения дисперсии, результаты экспериментов с кешбэками, по завершении которых мы смогли снизить требования к объему выборок почти в четыре раза, что позволило за ограниченное время провести сложнейшие исследования и оптимизировать стратегии выдачи кешбэков клиентам.
На сегодняшний день нам удалось существенно повысить интерес профессионального сообщества к этой теме — хардовые доклады представителей нашей R&D-лаборатории вызывают огромный интерес у слушателей, что демонстрирует востребованность технических и математических методов повышения качества экспериментов и исследований.
Еще один важный аспект — внутреннее обучение сотрудников. Когда R&D-лаборатория находится на переднем крае исследований, необходимо эффективно передавать знания другим подразделениям, иначе лаборатория останется изолированной. Поэтому мы внедрили систему обучения и интегрировали ее в процессы онбординга и повышения квалификации. Теперь все сотрудники должны владеть базовыми навыками работы с A/B-системой и методами анализа.
Также мы массово внедряем технические подходы непосредственно в A/B-систему. Любые метрики, которые используют команды, автоматически обрабатываются, что повышает чувствительность и точность измерений, даже если сами команды об этом не задумываются.
Наконец, мы создали институт «экспертов по экспериментам» (ЕЕ), в котором собрали аналитиков, обеспечивающих экспертизу и сопровождение экспериментов на всех этапах — от первоначального дизайна исследования до финальной оценки и внедрения результатов.
Источник: http://futurebanking.ru/post/4168
Вам также может понравиться
