Главный продуктовый аналитик/Руководитель направления A/B тестирования
Обеспечивать сквозную реализацию и операционную устойчивость процессов A/B-тестирования в компании: управлять запуском, мониторингом и закрытием экспериментов по портфелю, контролировать соблюдение методологических стандартов (дизайн тесто…
↑ Вакансия с автоподнятиемОбязанности:
- Обеспечивать сквозную реализацию и операционную устойчивость процессов A/B-тестирования в компании: управлять запуском, мониторингом и закрытием экспериментов по портфелю, контролировать соблюдение методологических стандартов (дизайн тестов, выбор метрик, пороги значимости, поправки на множественные сравнения, правила интерпретации результатов) на всех этапах жизненного цикла;
- Организовывать и поддерживать постоянную коммуникацию с бизнес-подразделениями: собирать потребности, помогать формулировать гипотезы и целевые эффекты, согласовывать метрики успеха и допустимые риски, транслировать методологические ограничения и сроки, адаптировать статистические выводы под бизнес-язык для принятия решений;
- Обобщать и систематизировать кейсы по направлениям бизнеса: фиксировать типовые постановки задач, лучшие практики, повторяющиеся ошибки и узкие места; формировать библиотеку решений и рекомендаций, актуализировать их с учётом продуктовых изменений, сезонности и регуляторных требований;
- Управлять бэклогом хаба A/B-тестирования: приоритизировать задачи и эксперименты по бизнес-ценности и технической реализуемости, контролировать сроки исполнения, отслеживать риски и отклонения, своевременно эскалировать проблемы и предлагать альтернативные подходы (в т. ч. предварительные тесты с синтетическими клиентами, прокси-метрики, поэтапные запуски);
- Обеспечивать валидность и надёжность результатов: контролировать корректность сплитования трафика и данных, выявлять риски смещения (selection bias, подглядывания и др.), согласовывать допущения и ограничения с аналитикой, продуктом и комплаенсом;
- Формировать и предоставлять регулярную отчётность по портфелю экспериментов: статусы, результаты, экономический эффект, риски и рекомендации, адаптировать формат отчётов под разные аудитории (команда, бизнес, топ-менеджмент), обеспечивать прозрачность и воспроизводимость выводов;
- Развивать внутренние компетенции и культуру работы с экспериментами: проводить обучение и менторинг сотрудников, ревью дизайнов тестов, поддерживать базу знаний (шаблоны заявок, чек-листы, матрицы рисков, инструкции), внедрять единые стандарты и практики по всей организации.
Требования:
- Опыт в роли руководителя направления/команды A/B-тестирования либо в сильной аналитической роли с фокусом на экспериментах; подтверждённые кейсы масштабирования практик тестирования и внедрения единых стандартов в кросс-функциональной среде;
- Глубокое понимание математической статистики для A/B: мощность, MDE, доверительные интервалы, поправки на множественные сравнения, последовательные и байесовские тесты; умение объяснять эти концепции неаналитикам, сохраняя точность и практическую применимость;
- Практический опыт операционной работы с ограничениями бизнеса и регуляторики: сегментация клиентов, комплаенс-риски, этика экспериментов, работа с чувствительными данными и ограничениями по воздействию на отдельные группы;
- Владение инструментами и стеком: SQL (продвинутый уровень), Python для расчётов и симуляций, BI-системы (Power BI/Tableau/Superset), платформы A/B-тестирования; понимание архитектуры данных, ETL/ELT-процессов и интеграций;
- Опыт управления бэклогом, сроками и рисками: приоритизация задач, контроль исполнения, эскалации, выстраивание прозрачных процессов взаимодействия между командами;
- Сильные навыки коммуникации и фасилитации: умение вести диалог с бизнесом, договариваться между командами с разными интересами, транслировать ограничения и риски, защищать методологические решения перед стейкхолдерами, формировать единые правила игры;
- Понимание жизненного цикла продуктового эксперимента: от гипотезы и метрик до внедрения и пост-анализа; опыт работы с синтетическими клиентами и предварительными тестами (pre test), если есть — плюс.
Условия:
- Стабильную работу в одном из крупнейших банков страны
- Конкурентную заработную плату, соцпакет.
- Условия для роста и развития (в т.ч. конференции, тренинги, внутренние программы развития).
- Дружный коллектив единомышленников;
- Передовой стек технологий, высокопроизводительное оборудование.
- Возможность решать разнообразные прикладные задачи с выводом в промышленную эксплуатацию, возможность существенно влиять на результат (в т.ч. в бизнес-смысле) и способы его достижения (вплоть до внесения изменений в архитектуру).
- Квартальный бонус по результатам работы;
- ДМС, страхование жизни;
- корпоративное обучение
Похожие вакансии Аналитика данных
Привет! Мы — РТО, команда единомышленников с большим опытом в консалтинге. Мы анализируем эффективность рекламных инвестиций, прогнозируем KPI и формируем стратегические и тактические рекомендации по маркетингу для крупнейших игроков рынка из всех отраслей: финансы, e-com, FMCG, ритейл, фарма, авто и многие другие.
Сейчас мы ищем аналитика под выделенного клиента. Тебе предстоит участвовать в полном цикле разработки Marketing Mix моделей для разных направлений его бизнеса: от первого брифа с заказчиком до презентации результатов. Ты будешь не только строить модели, но и объяснять бизнесу, что из них следует.
Чем предстоит заниматься
Проводить брифинги с заказчиком: разбираться в задаче, собирать данные и гипотезы
Строить модели полного цикла: обработка данных, определение спецификации, обучение, проверка качества, написание отчёта по модели
Оценивать влияние рекламы и внешних факторов на бизнес-показатели и окупаемость рекламных инвестиций
Делать дополнительные расчёты на основе модели: сценарии, прогнозы, оптимальное распределение бюджета по каналам
Презентовать результаты и отвечать на вопросы заказчика по модели
Какого кандидата мы ищем
С высшим образованием: техническим, математическим или экономическим
С опытом эконометрического моделирования; учебный тоже засчитываем (диплом, курсовые, пет-проекты)
Со знанием статистики и теории вероятностей, регрессионного анализа (МНК), анализа временных рядов
Владеющего Python на начально-прикладном уровне
Уверенно работающего в Excel и PowerPoint
С желанием научиться простым языком объяснять, как работает модель, и аргументировать решения, принятые при её построении
Читающего техническую документацию на английском
Будет твоим преимуществом
Опыт в рекламе, маркетинговой аналитике или в агентстве
Опыт построения Marketing Mix моделей (MMM), то есть моделей, которые оценивают вклад рекламы и других факторов в продажи и бизнес-показатели
Понимание медиаметрик: охват, TRP, CPM, CPC, ROAS, CAC
Что мы предлагаем
Интересные задачи на данных крупного клиента с большим количеством направлений бизнеса
Удалённый формат работы
Наставничество опытной команды и возможность вырасти от технического специалиста по моделированию до бизнес-консультанта
Заработная плата: от 80 000 ₽ NET
BIG DATA МТС — место, где телеком-данные превращаются в реально работающие IT-продукты. Мы создали и протестировали несколько десятков сервисов. Самые успешные из них уже стали частью экосистемы МТС. Например, МТС Маркетолог, рекомендации в KION (МТС ТВ), услуга “Кто звонит?” или Спам-blacklist.
Мы ищем Middle Data Analyst в продукт Защитник.
Описание продукта
Мы — команда Big Data продукта МТС Защитник, который защищает миллионы пользователей от телефонного спама и мошенников. Защитник — умная защита от нежелательных звонков, мы не просто определяем нецелевые звонки и блокируем, но и записываем их, расшифровываем, определяем категорию. Если позвонит мошенник, то умный помощник сообщит об этом прямо во время разговора. Продукт основан на аналитике больших данных с использованием ИИ. Наша миссия — мы делаем телефонные разговоры безопасными и комфортными. Это живая и постоянно меняющаяся задача: спамеры адаптируются под фильтры, меняют поведение, а мошенники регулярно придумывают новые схемы, используя социальную инженерию и давление на эмоции. Поэтому мы ищем Middle дата-аналитика, который поможет нам в развитии инструментов борьбы со спамом и мошенниками.
Чем предстоит заниматься
- Осуществлять поиск новых источников данных и проводить их анализ.
- Проводить исследовательскую работу с данными: искать и обосновывать новые фичи, проверять гипотезы о поведении пользователей/процессов, участвовать в создании и улучшении датасетов для аналитики и ML-моделей.
- Выстраивать и поддерживать отчетность и систему продуктовых метрик.
- Развивать компетенцию аналитики в продукте.
Что нужно для этой работы
- Опыт работы аналитиком от 2 лет.
- Умение презентовать результаты работы.
- Уверенный SQL, понимание принципов СУБД.
- Уверенный Python для анализа данных.
- Уверенное знание математической статистики.
- Базовое понимание основных алгоритмов машинного обучения.
- Будет плюсом опыт построения дашбордов, визуализации результатов, опыт работы с Apache Superset, PySpark и Hadoop.
Что предлагаем
- Собственную платформу MTS Ocean для получения ИТ-ресурсов, а это значит, что деплой, мониторинг, observability — не будут для тебя проблемой, ты сможешь сосредоточиться на фичах.
- Профессиональные гильдии инженеров, где мы поддерживаем друг друга и помогаем стать лучше.
- Внутреннюю площадку TechTalks для обмена опытом, дискуссий, развития навыков самопрезентации.
- Участие во внешних IT-конференциях. Мы выступаем на HighLoad++, DataFest, Mobius, Test Driven Conf, Joker, DevOps, Матемаркетинг и даже проводим собственную конференцию по архитектуре True Tech Arch.
- Полезные курсы и вебинары в корпоративном университете и электронную библиотеку.
А еще
- ДМС с первого месяца работы, включая стоматологию.
- Страхование от несчастных случаев с 1 месяца работы. Материальную помощь в сложных жизненных ситуациях.
- Отпуск 28 календарных дней.
- Прием врачей общей практики и массаж в офисе.
- Мобильную связь за счет компании и льготные тарифы для близких.
- Подписку на онлайн-кинотеатр KION, сервис МТС Музыка, книжный сервис Строки от МТС, безлимитные мессенджеры и соцсети.
HireSeeker собирает вакансии со всех площадок и присылает только релевантные. Бесплатно.