bell integrator

Аналитик Python (LLM)

bell integrator · На сервисе с: 20.08.26 17:25

Зарплата не указанаРоссияМоскваУдалёнка

Проект:

Разрабатываем систему, которая автоматизирует весь жизненный цикл инвестиционной сделки.

Команды работают над следующими направлениями:

- Алгоритмизированный поиск потенциальных сделок и клиентов

- Управление процессом заключения инвестиционных сделок

- Финансовые расчеты и оценка портфеля

- Построение финансовой и управленческой отчетности по портфелю инвестиций банка

- Инвестиционные сервисы для компаний - наших клиентов

Инвестиционная платформа - это уникальная разработка на российском рынке для выдачи и сопровождения инвестиционного финансирования юридическим лицам. Такие сделки имеют большое значение для российской экономики.

Используются самые современные технологии и открыты к предложениям участников команды по изменению стека. Вы будете работать с микросервисной архитектурой (Kubernetes, Docker, Istio, Kafka).

Основные требования:

Сильный Python (pandas, NumPy), уверенная аналитика данных, умение быстро превращать «сырые логи» в выводы.
Хорошее понимание оценки качества LLM: какие типы метрик бывают, где они ломаются, как валидировать метрику, как избегать “gaming”.
Понимание статистики и экспериментов: доверительные интервалы, тесты, множественные сравнения, дизайн A/B, интерпретация результатов.
Практический опыт работы с LLM (Open Source и/или proprietary): понимание специфики инструкционного поведения, галлюцинаций, safety ограничений.
Навыки продуктового и инженерного мышления: формулировать критерии качества так, чтобы они становились механизмом управления.

Дополнительные требования:

Опыт построения evaluation фреймворков и “evaluation harness” (любые внутренние/внешние тулзы), интеграция оценок в CI/CD.

Опыт с LLM based evaluation (LLM judge) и методами калибровки/контроля смещения судьи.

Знание систем аналитики и хранилищ (SQL, ClickHouse/BigQuery/Spark/S3), мониторинг/дашборды (Grafana/Superset/Looker и аналоги).

Обязанности:

Владение системой качества и метрик (end-to-end ownership)

Определять и поддерживать “quality scorecard” для AI: что считаем качеством, какие метрики ключевые, какие — нет.

Держать фокус на эффективности системы и снижать стоимость измерений.

Бенчмарки и регрессионное тестирование

Постоянно актуализировать пакет бенчмарков под ключевые сценарии, чтобы успевать за быстро развивающейся сферой LLM.

Внедрить регулярное сравнительное тестирование версий модели и конкурентов по единой.

Аналитика логов и диагностика слабых мест

Анализировать логи и пользовательский фидбэк с позиции качества: кластеризация проблем, тематические срезы, частотность, тяжесть.

Связывать проблемы в логах с бенчмарками: проблемы должны быть измеримы.

Разработка и внедрение метрик качества

Разрабатывать новые метрики/прокси метрики (автоматические и полуавтоматические), калибровать их против эталонных оценок.

Продумывать, где нужна человеческая оценка, где достаточно автоматики, как снижать стоимость измерений без потери достоверности.

Внедрять метрики в процессы: CI/релизные проверки, мониторинг качества, алерты.

Эксперименты и принятие решений

Проектировать и анализировать A/B-эксперименты качества (в онлайне и/или в контролируемых тестах), делать выводы: “что улучшилось/ухудшилось”, “почему”, “что делать дальше”, “можно ли катить в прод”.

Условия:

Возможность карьерного роста и получения экспертизы в ведущих финансовых организациях страны;

Скидки на абонемент в фитнес-центр, курсы английского языка;

Оформление по ТК РФ на бессрочный трудовой договор;

Удаленный формат работы (РФ).

Похожие вакансии Аналитика данных

hh.ru
островок.финансово-юридический департамент

Продуктовый аналитик (middle)

островок.финансово-юридический департаментНа сервисе с: 09.06.26 20:05↑ Вакансия с автоподнятием
Зарплата не указанаРоссияМоскваУдалёнка

Задачи:

  • Сопровождение продуктовых изменений:

    • Активное участие на всех этапах АБ-экспериментов: формирование и оценка гипотез, описание дизайна эксперимента, подведение итогов и формирование рекомендаций по дальнейшему развитию инициативы;
    • Генерация гипотез для роста;
    • Поиск и челлендж новых гипотез вместе с продуктовой командой для улучшения опыта пользователя и метрик продукта.
  • Построение и актуализация продуктовых дашбордов:

    • Создание и поддержание аналитических дашбордов для мониторинга здоровья продукта и ключевых метрик бизнеса. P&L отелей;
    • Содействие продуктовой команде в построении и управлении P&L отелей, анализ влияния различных рычагов на конверсию продукта, участие в планировании.
  • Взаимодействие с командой продукта:

    • Плотная работа с продакт-менеджерами, UX исследователями и командой разработки.

Что пригодится:

  • Опыт работы на аналогичной позиции от 2 лет;
  • Уверенное владение SQL;
  • Уверенный опыт анализа данных на Python и знание основных алгоритмов машинного обучения;
  • Умение проводить A/B-тесты с дизайна до анализа результатов;
  • Опыт с BI-системами;
  • Критическое мышление и способность анализировать данные;
  • Знание основ теории вероятности и математической статистики;
  • Умение эффективно коммуницировать с другими командами.
hh.ru
ртлабс

Продуктовый аналитик / менеджер

ртлабсНа сервисе с: 20.08.26 17:55
Зарплата не указанаРоссияМоскваГибрид

РТЛабс создаёт и развивает масштабные цифровые сервисы Госуслуг — портал, мобильные приложения, социально значимые услуги, системы электронного правительства. Мы делаем жизнь миллионов пользователей проще и помогаем решать важные жизненные вопросы в несколько кликов

Команда развивает сервисы и услуги образования:
- Навигатор дополнительного образования
- Мобильное приложение для учителей
- Сервисы поступления в вуз онлайн
- Мобильное приложение «Госуслуги Моя школа» и т.д.

Сейчас ищем продуктового аналитика / менеджера продукта, который усилит нашу команду сервисов образования

Что ты будешь делать:

  • Генерировать продуктовые гипотезы и искать способы их валидации
  • Формировать требования к развитию продукта, декомпозировать задачи на логичные и измеримые этапы реализации
  • Определять продуктовые метрики, которые сигнализируют об успешности или о проблемах сервиса
  • Собирать обратную связь от пользователей. Проводить CustDev и формулировать JTPD для новых фич
  • Быстро разбираться в бизнес-процессах, анализировать рынок и конкурентов, искать пути развития продукта
  • Анализировать всю доступную нормативную документацию и обратную связь — метрики, реакции пользователей, и предлагать улучшения
  • Ставить задачи на внешние команды
  • Готовить презентации, раскрывающие ценность продукта и отдельных фич. Коротко и ясно формулировать основную ценность доработок и решаемые проблемы пользователей, защищать решения перед C-level и зам. министрами
  • Формировать и грумить бэклог с заказчиком
  • Участвовать в тестировании разработок на предмет соответствия согласованным бизнес-требованиям, контроль устранения ошибок при разработке ПО

Особенности вакансии: сейчас мы рассматриваем человека на декретную ставку, после выхода основного сотрудника планируем перевод на бессрочный трудовой договор

Что мы ожидаем от тебя:
  • Имеешь опыт работы по ТК в качестве бизнес-аналитика, продуктового аналитика или менеджера продукта от 2 лет
  • Имеешь высшее образование, желательно профильное
  • Имеешь опыт работы по гибким методологиям Agile, Scrum
  • Понимаешь жизненный цикл разработки продуктов
  • Умеешь проводить исследования (качественных и количественных, UX) и делать структурированные выводы
  • Имеешь опыт управления рисками, как в рамках проекта, так и при взаимодействии с внешними командами
  • Несёшь ответственность за результат
  • Обладаешь сильными аналитическими, организаторскими и коммуникативными способностями
Что мы предлагаем:
  • Гибридный формат работы в Москве или Ярославле (3 дня офис, 2 дня удаленно)
  • Гибкое начало рабочего дня (с 8:00 до 11:00)
  • Опыт работы в аккредитованной ИТ-компании над социально значимыми уникальными проектами
  • Программу ИТ-ипотеки на льготных условиях
  • ДМС со стоматологией и международной страховкой
  • Компенсацию 9 видов расходов: от КАСКО до путевок на отдых
  • Интересную программу внутреннего и внешнего обучения
  • Сильную команду талантливых специалистов
  • Прозрачные условия для развития и карьерного роста
  • Уютный и современный офис
Сайты компаний
Зарплата не указанаРоссияМоскваОфис

Мы - команда операционной аналитики в трайбе SbeCampaining. Поддерживаем бизнес в ежедневных решениях: подводим итоги сложных a/b тестов, сопровождаем отчетность, разбираем аномалии в данных и помогаем нашему бизнесу принимать решения.

Ищем аналитика, который будет заниматься мониторингом запуска кампаний коммуникаций, выводить проверки, сигнализирующие об отклонениях в сборке и работе кампаний, предлагать бизнесу пути решения системных проблем.

  • Анализ данных работы кампаний коммуникаций. Выявление отклонений

  • Вывод автоматических проверок для алертинга в случае возникновения ошибок

  • Консультация бизнес команд по причинам срабатывания проверок

  • Предложение системных мер по сокращению ошибок в запуске кампаний

  • Взаимодействие с бизнес-заказчиками для получения запросов на необходимые проверки

  • Ведение отчетности по мониторингу и систематизация данных, связанных с ошибками запуска кампаний коммуникаций

  • Уверенное владение SQL (сложные запросы, оптимизация, оконные функции)

  • Уверенное владение Python (pandas, работа с данными, ООП, взаимодействие с БД)

  • Понимание принципов A/B тестирования

  • Умение разбираться в данных и находить причины изменений метрик

  • Самостоятельность и умение работать с неструктурированными задачами

Будет плюсом

  • Опыт работы с Apache Spark / PySpark

  • Опыт работы с большими данными

  • Опыт построения отчетности и дашбордов

  • комфортный современный офис рядом с м. Кутузовская

  • офисный формат работы

  • ежегодный пересмотр зарплаты, квартальная и годовая премия

  • корпоративный спортзал и зоны отдыха более 400 образовательных программ СберУниверситета для профессионального и карьерного развития

  • программа адаптации и помощь руководителя на старте

  • расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа

  • гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ

  • подписка Прайм с возможностью совместного использования на трёх близких

  • вознаграждение за рекомендацию друзей в команду Сбера.

Эта вакансия также есть на:hh.ru

HireSeeker собирает вакансии со всех площадок и присылает только релевантные. Бесплатно.