CVM Аналитик (Senior)

Мы - команда операционной аналитики в трайбе SbeCampaining. Поддерживаем бизнес в ежедневных решениях: подводим итоги сложных a/b тестов, сопровождаем отчетность, разбираем аномалии в данных и помогаем нашему бизнесу принимать решения.

Ищем аналитика, который будет заниматься мониторингом запуска кампаний коммуникаций, выводить проверки, сигнализирующие об отклонениях в сборке и работе кампаний, предлагать бизнесу пути решения системных проблем.

Обязанности

• Анализ данных работы кампаний коммуникаций. Выявление отклонений
• Вывод автоматических проверок для алертинга в случае возникновения ошибок
• Консультация бизнес команд по причинам срабатывания проверок
• Предложение системных мер по сокращению ошибок в запуске кампаний
• Взаимодействие с бизнес-заказчиками для получения запросов на необходимые проверки
• Ведение отчетности по мониторингу и систематизация данных, связанных с ошибками запуска кампаний коммуникаций

Требования

• Уверенное владение SQL (сложные запросы, оптимизация, оконные функции)
• Уверенное владение Python (pandas, работа с данными, ООП, взаимодействие с БД)
• Понимание принципов A/B тестирования
• Умение разбираться в данных и находить причины изменений метрик
• Самостоятельность и умение работать с неструктурированными задачами

Будет плюсом

• Опыт работы с Apache Spark / PySpark
• Опыт работы с большими данными
• Опыт построения отчетности и дашбордов

Условия

• комфортный современный офис рядом с м. Кутузовская
• офисный формат работы
• ежегодный пересмотр зарплаты, квартальная и годовая премия
• корпоративный спортзал и зоны отдыха более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
• программа адаптации и помощь руководителя на старте
• расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
• гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
• подписка Прайм с возможностью совместного использования на трёх близких
• вознаграждение за рекомендацию друзей в команду Сбера.

Мы строим платформу данных, в которой доверие к данным становится мгновенным и измеримым. Любой потребитель — человек или AI-агент — в момент получения данных должен сразу видеть: кто за них отвечает, насколько они качественны, соблюдаются ли обязательства по контрактам, насколько они свежи и какова их история. Без такой наблюдаемости невозможно ни управлять качеством, ни гарантировать надежность, ни строить автономные агентные системы.

Старший аналитик данных структурирует и интерпретирует метаданные, превращая их в ясную, объективную и доступную картину состояния данных. В фокусе этой роли — расчет ключевой метрики Time2Data и ее компонентов. Это позиция на пересечении аналитики данных, Data Governance и продуктовой стратегии: требуется уверенно работать с большими объемами метаданных, разбираться в техническом контексте платформы и доносить выводы до владельцев продуктов так, чтобы на их основе можно было принимать решения.

Ключевые задачи

• Разрабатывать и поддерживать методологию расчета метрик Data Governance Observability (Time2Data и его компоненты: Time2Discovery, Time2Access, Time2Integrate, Time2Prepare, Time2Use), а также прокси-метрик, влияющих на Time2Data (качество данных, свежесть данных, соблюдение контрактов, полнота lineage, уровень сертификации дата-продуктов).
• Проверять методологию на реальных данных: замерять фактические действия пользователей, сопоставлять с целевыми показателями и уточнять подходы к расчету.
• Согласовывать методологию расчета метрик с доменами, добиваясь единого понимания и применения на уровне всего банка.
• Проектировать и поддерживать единую систему отчетности observability: витрины данных, дашборды в DataLens и агрегацию метаданных, логов и проверок качества для обеспечения прозрачности состояния данных.
• Обеспечивать наблюдаемость метрик не только для человека, но и для AI-агента: управлять контекстом так, чтобы агенты могли использовать и оценивать пригодность данных без участия человека.
• Анализировать отклонения метрик, проводить количественные исследования и проверять гипотезы о влиянии изменений в платформе на компоненты Time2Data и доверие к данным, формируя рекомендации по улучшению.
• Закладывать требования к наблюдаемости в продукты на ранних этапах, работая с владельцами сервисов, чтобы метрики собирались и рассчитывались корректно с самого начала.
• Выступать партнером для владельцев сервисов: помогать им видеть полную картину по своим метрикам, выявлять аномалии и проверять гипотезы о влиянии изменений на качество данных и Time2Data.

Экспертиза

• Опыт работы аналитиком данных от 3 лет с практикой обработки больших объемов (метаданные, логи, события) с использованием SQL, Python, PySpark, Git и Airflow, а также визуализации в Power BI или DataLens.
• Владение статистическими методами проверки гипотез для объективной оценки влияния изменений на метрики наблюдаемости.
• Понимание жизненного цикла данных через призму Time2Data: способность декомпозировать Time2Data на составляющие и предлагать способы их измерения, а также видеть, как качество данных в одном домене влияет на Time2Data в другом в масштабе всей организации.
• Навыки работы с неполными и разнородными данными: умение структурировать информацию из разных источников и приходить к ясным, проверяемым выводам.
• Навык самостоятельного ведения аналитических исследований «от идеи до внедрения»: обнаружение проблемы, проверка гипотезы, выбор метрик, оценка эффекта, доведение до продакшена.
• Готовность быстро погружаться в незнакомый технический контекст и задавать правильные вопросы инженерам.
• Умение влиять аргументами, а не полномочиями: способность аккуратно оспаривать чужие допущения и убеждать расчетами, оставаясь партнером для команды, а не контролером.

Дополнительные навыки, которые мы ценим

• Понимание Data Governance: знание концепций метаданных, lineage, качества данных, data contracts.
• Знание архитектуры Data Platform и DWH: понимание устройства платформы данных и особенностей работы с Hadoop, Greenplum и другими компонентами платформы.
• Опыт внедрения систем наблюдаемости данных (data observability) или мониторинга в крупных организациях.
• Знакомство с OpenLineage, OpenTelemetry или другими стандартами сбора lineage и метрик.
• Понимание того, как AI-агенты используют метаданные и метрики для принятия решений (agentic-потребление данных).
• Опыт работы с потоковыми данными и системами событий для сбора метрик в реальном времени.

Бенефиты для сотрудников

• Возможность работать из офиса или удаленно.
• ДМС со стоматологией, массажем, телемедициной, ежегодными чекапами, которое работает как в Москве, так и в регионах.
• Три оплачиваемых отгула в год.
• Страхование жизни в путешествиях, от несчастных случаев, болезней и критических заболеваний.
• Бесплатные индивидуальные консультации психологов, юристов, экспертов по личным финансам и консультантов по здоровому образу жизни.
• Поддержку опытного наставника, обучающие курсы для комфортной адаптации, помощь в развитии экспертизы со стороны профессиональных сообществ банка.
• Собственную ИТ-академию, участие в конференциях.
• Льготные условия по банковским продуктам и услугам.
• Скидки от партнеров банка в приложении PrimeZone в сферах здоровья, развлечений, творчества и интернет-покупок.

Проект:

Разрабатываем систему, которая автоматизирует весь жизненный цикл инвестиционной сделки.

Команды работают над следующими направлениями:

- Алгоритмизированный поиск потенциальных сделок и клиентов

- Управление процессом заключения инвестиционных сделок

- Финансовые расчеты и оценка портфеля

- Построение финансовой и управленческой отчетности по портфелю инвестиций банка

- Инвестиционные сервисы для компаний - наших клиентов

Инвестиционная платформа - это уникальная разработка на российском рынке для выдачи и сопровождения инвестиционного финансирования юридическим лицам. Такие сделки имеют большое значение для российской экономики.

Используются самые современные технологии и открыты к предложениям участников команды по изменению стека. Вы будете работать с микросервисной архитектурой (Kubernetes, Docker, Istio, Kafka).

Основные требования:

Сильный Python (pandas, NumPy), уверенная аналитика данных, умение быстро превращать «сырые логи» в выводы.
Хорошее понимание оценки качества LLM: какие типы метрик бывают, где они ломаются, как валидировать метрику, как избегать “gaming”.
Понимание статистики и экспериментов: доверительные интервалы, тесты, множественные сравнения, дизайн A/B, интерпретация результатов.
Практический опыт работы с LLM (Open Source и/или proprietary): понимание специфики инструкционного поведения, галлюцинаций, safety ограничений.
Навыки продуктового и инженерного мышления: формулировать критерии качества так, чтобы они становились механизмом управления.

Дополнительные требования:

Опыт построения evaluation фреймворков и “evaluation harness” (любые внутренние/внешние тулзы), интеграция оценок в CI/CD.

Опыт с LLM based evaluation (LLM judge) и методами калибровки/контроля смещения судьи.

Знание систем аналитики и хранилищ (SQL, ClickHouse/BigQuery/Spark/S3), мониторинг/дашборды (Grafana/Superset/Looker и аналоги).

Обязанности:

Владение системой качества и метрик (end-to-end ownership)

Определять и поддерживать “quality scorecard” для AI: что считаем качеством, какие метрики ключевые, какие — нет.

Держать фокус на эффективности системы и снижать стоимость измерений.

Бенчмарки и регрессионное тестирование

Постоянно актуализировать пакет бенчмарков под ключевые сценарии, чтобы успевать за быстро развивающейся сферой LLM.

Внедрить регулярное сравнительное тестирование версий модели и конкурентов по единой.

Аналитика логов и диагностика слабых мест

Анализировать логи и пользовательский фидбэк с позиции качества: кластеризация проблем, тематические срезы, частотность, тяжесть.

Связывать проблемы в логах с бенчмарками: проблемы должны быть измеримы.

Разработка и внедрение метрик качества

Разрабатывать новые метрики/прокси метрики (автоматические и полуавтоматические), калибровать их против эталонных оценок.

Продумывать, где нужна человеческая оценка, где достаточно автоматики, как снижать стоимость измерений без потери достоверности.

Внедрять метрики в процессы: CI/релизные проверки, мониторинг качества, алерты.

Эксперименты и принятие решений

Проектировать и анализировать A/B-эксперименты качества (в онлайне и/или в контролируемых тестах), делать выводы: “что улучшилось/ухудшилось”, “почему”, “что делать дальше”, “можно ли катить в прод”.

Условия:

Возможность карьерного роста и получения экспертизы в ведущих финансовых организациях страны;

Скидки на абонемент в фитнес-центр, курсы английского языка;

Оформление по ТК РФ на бессрочный трудовой договор;

Удаленный формат работы (РФ).