Лид экспертной аналитики в Alice AI
Наша команда развивает качество ключевой LLM-технологии компании — Alice AI LLM. Мы работаем над тем, чтобы наши модели становились умнее, полезнее и надёжнее, и ищем лида экспертной аналитики, который поможет нам двигаться ещё быстрее.
яндекс · На сервисе с: 01.07.26 09:25
↑ Вакансия с автоподнятиемНаша команда развивает качество ключевой LLM-технологии компании — Alice AI LLM. Мы работаем над тем, чтобы наши модели становились умнее, полезнее и надёжнее, и ищем лида экспертной аналитики, который поможет нам двигаться ещё быстрее.
Мы создаём новые метрики, проектируем процессы сбора и валидации данных, глубоко анализируем поведение моделей и выводим их на новые уровни качества. Особое внимание уделяем росту качества в экспертных срезах — областях, где корректность ответа может оценить лишь небольшое количество специалистов с профильным образованием и опытом. В таких задачах важно не только оценить вывод модели, но и определить авторитетные источники, проверить корректность аргументации и предложить визуализацию идеального, эталонного ответа.
Стратегия и лидерство
Вы будете формировать аналитическую стратегию для развития LLM-навыков модели, строить команду аналитиков, заниматься менторством и планировать ресурсы. Также вам предстоит разработать подходы к оценке качества LLM в разных продуктах компании в экспертных доменах.
Система метрик и оценок
Вы будете разрабатывать комплексные метрики, отражающие реальное качество моделей, создавать методологии оценки в сверхсложных экспертных срезах — формировать критерии, подбирать авторитетные источники, описывать идеальные ответы. Также предстоит сравнивать собственные модели с SOTA-подходами на рынке и автоматизировать оценки с помощью LLM (LLM-as-a-judge) и гибридных методов.
Сбор данных
Вы будете запускать сложные процессы разметки данных для fine-tuning и RLHF/RLAIF, работать с узкими экспертными группами, строить пайплайны с участием доменных специалистов и ускорять процессы с помощью LLM-инструментов, а также контролировать качество данных и готовить датасеты для исследовательских задач.
Внедрение лучших практик
Вы будете отслеживать и анализировать новые исследования, бенчмарки и методологии, проводить эксперименты с synthetic data, LLM feedback, active learning, expert-in-the-loop и внедрять исследовательские находки в производственные процессы.
Больше об аналитике в Яндексе — в канале Yandex for Analytics
* Управляли командой аналитиков не менее трёх лет
* Любите работать с данными и умеете извлекать из них практический результат
* Знаете математическую статистику и теорию вероятностей
* Умеете писать код на Python и знаете алгоритмы
* Самостоятельны и готовы браться за новые задачи, для которых нет готового решения
* Интересуетесь развитием LLM и хотите глубоко погрузиться в тему
Похожие вакансии Аналитика данных
Основные задачи:
-
Анализировать источники данных: ERP-системы, API, базы данных, файлы, event-шины и Kafka;
-
Выявлять и формализовывать требования внутренних и внешних заказчиков к данным и аналитике;
-
Участвовать в проектировании аналитических витрин и моделей данных;
-
Описывать состав показателей, правила расчёта, связи между сущностями и требования к качеству данных;
-
Готовить SQL-прототипы, выборки и технические задания для команд Data Engineering;
-
Выполнять профилирование данных и анализ расхождений между источниками;
-
Участвовать в проверке полноты, актуальности, непротиворечивости и корректности данных;
-
Принимать участие в тестировании и валидации витрин, пайплайнов и интеграций;
-
Анализировать результаты обработки данных в Spark, Starrocks, Trino или аналогичных SQL-движках;
-
Поддерживать документацию по источникам, моделям, витринам и правилам трансформации;
-
Взаимодействовать с заказчиками, аналитиками, разработчиками, инженерами данных и архитекторами.
Обязательные требования:
-
Опыт работы дата-аналитиком, DWH-аналитиком, системным аналитиком или аналитиком витрин данных;
-
Уверенное знание SQL;
-
Опыт анализа данных из нескольких источников;
-
Понимание принципов построения DWH, Data Lake или Lakehouse;
-
Опыт работы с Apache Iceberg, Parquet и объектными S3-хранилищами;
-
Опыт работы с Apache Spark, Spark SQL или PySpark;
-
Знание Python для анализа и автоматизации;
-
Понимание слоёв данных, витрин, агрегатов и ETL/ELT-процессов;
-
Опыт подготовки требований, спецификаций или технических заданий;
-
Умение описывать правила расчёта показателей и преобразования данных;
-
Опыт профилирования и проверки качества данных;
-
Понимание принципов работы пакетных и потоковых загрузок;
-
Умение взаимодействовать с бизнес-заказчиками и техническими командами.
Будет преимуществом:
-
Опыт работы в банках, страховых, инвестиционных или других финансовых компаниях;
-
Опыт работы с Impala, Trino, Hive, Greenplum или аналогичными движками;
-
Опыт работы с API, event-шинами и потоковыми данными;
-
Опыт работы с Kubernetes на уровне понимания среды исполнения;
-
Знание инструментов визуализации данных;
-
Опыт работы с Data Quality, Data Governance или Data Catalog.
МЫ ПРЕДЛАГАЕМ:
- Полную занятость, график работы 5/2. Гибкое начало рабочего дня.
- Гибридный формат работы (не менее 1-го дня в неделю из офиса, 4 дня дистанционно) для городов: Москва, Санкт-Петербург, Ярославль, Чебоксары, Воронеж, Самара, Пермь, Уфа.
- Оформление по ТК РФ, бессрочный трудовой договор.
-
Product Analyst Wooppay
Местоположение: Караганда
Формат работы: Гибрид
Опубликована: ••••••••
Требования:
• Опыт с SQL и продуктовой аналитикой
• Python (pandas/numpy)
• Понимание unit-экономики и финтех-метрик
Контакт: ••••••••
•••••••• опубликована в ••••••••
HireSeeker собирает вакансии со всех площадок и присылает только релевантные. Бесплатно.