ML-инженер (Online RL) / Post-Training LLM (Python)
Мы развиваем GigaChat и ищем сильного ML-инженера в команду online RL. Это роль для человека, который умеет доводить исследовательские идеи до работающих решений: проектировать и запускать эксперименты, строить надёжные пайплайны обучения…
Мы развиваем GigaChat и ищем сильного ML-инженера в команду online RL. Это роль для человека, который умеет доводить исследовательские идеи до работающих решений: проектировать и запускать эксперименты, строить надёжные пайплайны обучения и добиваться реального роста качества модели.
Нам нужен не просто исполнитель задач, а инженер с сильным исследовательским мышлением, который способен самостоятельно разбираться в сложных проблемах, предлагать новые идеи и решения и нести ответственность за результат
Обязанности
Разрабатывать и улучшать методы online RL
Реализовывать и дорабатывать подходы post-training и online RL.
Проектировать и проводить эксперименты: формулировать гипотезы, подбирать конфигурации, анализировать результаты не только на уровне метрик, но и на уровне причин.
Разбираться, почему модель стала лучше или хуже, насколько устойчив результат и можно ли его масштабировать на другие домены и типы задач.
Следить за state-of-the-art: читать статьи, воспроизводить результаты, адаптировать лучшие подходы под наши задачи и инфраструктуру.
Строить и развивать инфраструктуру обучения
Разрабатывать и поддерживать пайплайны online RL: от генерации rollout'ов и сбора reward-сигналов до обновления весов модели.
Обеспечивать воспроизводимость экспериментов: версионирование данных, конфигов, чекпоинтов, контроль деградаций.
Оптимизировать throughput и эффективность использования GPU: distributed training, параллелизм, профилирование узких мест.
Выстраивать связку между моделью, средами исполнения, верификаторами и reward-моделями так, чтобы новые идеи можно было быстро проверять.
Работать с данными и системой оценки качества
Участвовать в проектировании и реализации reward-сигналов: rule-based верификаторы, reward-модели, LLM-as-a-judge, execution-based проверки.
Строить и улучшать пайплайны подготовки данных: фильтрация, дедупликация, балансировка, контроль утечек.
Анализировать ошибки модели, выявлять систематические слабые места и формировать целевые обучающие выборки для их устранения.
Работать в сильной команде
Тесно взаимодействовать с исследователями, другими инженерами, командами данных и инфраструктуры.
Брать на себя ответственность за целые куски системы: от идеи до результата в проде.
Делиться знаниями, участвовать в код-ревью, помогать поднимать общую планку качества.
Требования
Отличное владение Python и PyTorch.
Практический опыт в LLM post-training: RLHF, online RL, DPO или смежных направлениях.
Опыт проведения ML-экспериментов от начала до конца: постановка гипотезы → реализация → анализ → выводы.
Понимание distributed training: Data Parallel, FSDP, DeepSpeed или аналоги.
Умение писать чистый, надёжный, production-ready код.
Способность разбираться в сложных системах и самостоятельно находить и устранять узкие места.
Будет плюсом
Опыт работы с reward-моделями, process reward models, LLM-as-a-judge.
Опыт построения сред исполнения, sandboxes и верификаторов для code- или STEM-задач.
Опыт работы с large-scale inference и оптимизацией генерации (vLLM, Sglang и т.д.).
Понимание современных open-source стеков для обучения LLM (Verl, Megatron, TRL и др.).
Публикации, open-source вклад или сильный прикладной track record.
Условия
Сильные и сложные задачи на переднем крае развития русскоязычных LLM.
Прямое влияние на качество модели: результаты твоей работы видны в бенчмарках и в продукте.
Команду сильных инженеров и исследователей, у которых есть чему поучиться.
Возможность совмещать инженерную и исследовательскую работу.
Конкурентную компенсацию, премии и расширенный соцпакет.
Похожие вакансии Data Science & ML
Мы запускаем ИИ-инкубатор в Лемана ПРО, чтобы проверять смелые гипотезы и создавать продукты будущего. В рамках одного из ключевых Proof of Concept (PoC) мы ищем специалиста, который разработает модели для генерации изображений, дизайн-проектов и визуализаций готовых решений на основе ассортимента товаров Лемана ПРО.
Это возможность работать на стыке Computer Vision и Generative AI, превращая идеи в работающие прототипы, которые в перспективе изменят клиентский опыт в сфере ремонта и обустройства дома.
Чем предстоит заниматься (Задачи)
Разрабатывать и исследовать ML-модели для генерации изображений и визуализации интерьерных/строительных решений на основе товаров Лемана ПРО.
Проектировать и реализовывать end-to-end пайплайны для PoC: от сбора и подготовки данных до обучения, оценки и демонстрации результатов.
Создавать и поддерживать фреймворки для оценки качества (evals) генеративных моделей и LLM-систем (контроль галлюцинаций, метрики качества генерации).
Писать чистый, поддерживаемый production-ready код: модульная архитектура, unit-тесты, логирование, документация, code review.
Оптимизировать инференс моделей (стоимость, latency, масштабируемость), работать с GPU-инфраструктурой.
Обеспечивать информационную безопасность: контроль рисков prompt injection, защита персональных данных (PII) и корректное управление правами доступа в агентных системах.
Тесно взаимодействовать с командой продукта и другими ML-специалистами для валидации бизнес-гипотез и дизайна A/B-тестов.
Наши ожидания (Требования)
Фундаментальная база:
Глубокое понимание принципов машинного обучения: подготовка данных и feature engineering, выбор архитектур, регуляризация, борьба с переобучением и data leakage, интерпретация результатов.
Уверенные знания математической статистики: проверка гипотез, доверительные интервалы, дизайн и анализ A/B-тестов.
Понимание принципов оценки качества ML-систем: offline/online-метрики, построение валидации, оценка бизнес-эффекта, мониторинг качества моделей и данных (data drift).
Технический стек и разработка:
Уверенное владение Python и экосистемой: pandas / polars, NumPy, scikit-learn, CatBoost / LightGBM / XGBoost, PyTorch (или аналоги).
Уверенное владение SQL для работы с большими объемами данных.
Навык написания production-кода: модульность, тестирование, логирование, Git, опыт участия в code review.
Специализация (опыт работы хотя бы в одном из направлений, приоритетно CV/GenAI):
Computer Vision и генеративный AI (генерация изображений, NeRF, 3D-реконструкция или аналогичные задачи).
NLP, LLM и построение RAG-систем.
Рекомендательные системы, поиск и ранжирование.
Классическое машинное обучение или прогнозирование временных рядов.
Генеративный AI и LLM (важно для текущего PoC):
Опыт построения evals для LLM-систем, оценки качества ответов и мониторинга поведения системы.
Понимание рисков безопасности: prompt injection, некорректный tool calling, утечки данных.
Опыт работы с API языковых моделей, Hugging Face и orchestration-фреймворками (LangChain, LlamaIndex или аналоги).
Опыт fine-tuning или адаптации LLM (LoRA / PEFT).
Понимание принципов проектирования AI-агентов: управление состоянием (state management), выбор инструментов, контроль автономности и human-in-the-loop.
Инфраструктура и MLOps:
Опыт работы с Airflow, MLflow, Kafka, Redis, Kubernetes, Prometheus и Grafana.
Опыт эксплуатации GPU-инфраструктуры и оптимизации инференса (квантование, ONNX, TensorRT и т.д.).
Понимание принципов информационной безопасности, privacy и работы с персональными данными.
Опыт работы в e-commerce, retail или других продуктовых highload-системах будет значительным преимуществом.
О проекте
Мы запускаем проект роботизации ломбардной сети: создаём роботизированные терминалы, которые самостоятельно принимают изделия, оценивают драгоценные металлы, помещают залог в автоматизированное хранилище и выдают его клиенту. Это новый для рынка продукт, и у вас будет возможность участвовать в его создании с первых этапов и масштабировании на федеральную сеть.
Ищем инженера по машинному зрению, который отвечает за «глаза» роботизированного комплекса: распознавание ювелирных изделий, считывание маркировки Data Matrix, измерение геометрии камней и определение типа изделия.
Чем предстоит заниматься:
- Обрабатывать изображения: устранять блики, выравнивать освещение, убирать шумы, сегментировать объект в ячейке, извлекать контуры и признаки
- Распознавать Data Matrix на изделиях, бирках и ярлыках, в том числе повреждённых, снятых под углом или при неравномерном освещении; контролировать качество маркировки
- Измерять размеры камней: калибровка по эталонам, пересчёт пикселей в миллиметры, оценка погрешности
- Классифицировать изделия по форме и типу (кольцо, цепь, серьги, браслет и т. д.) классическими методами и нейросетями, в том числе редкие классы с малым числом примеров
- Подбирать камеры, объективы и схему освещения, бороться с бликами на металле и камнях
- Калибровать камеры и измерительный тракт, вести эталоны, регулярно проверять точность
- Собирать и размечать датасеты из реальных снимков, делать аугментацию, контролировать качество выборки
- Интегрировать модуль зрения с ПЛК и роботом (триггеры съёмки, передача координат) и с учётной системой SAP совместно с программистами
- Тестировать на потоке, разбирать ложные срабатывания, дообучать модели на новых типах изделий, поддерживать модели в продакшене
- Готовить ТЗ на модуль зрения, регламенты калибровки, протоколы испытаний, инструкции для персонала
Что для нас важно:
- Высшее техническое образование (компьютерные науки, прикладная математика, радиотехника, приборостроение, оптотехника)
- Опыт работы CV/MV-инженером от 3 лет
- Уверенный Python, знание алгоритмов обработки изображений; C++ будет плюсом
- OpenCV: фильтрация, пороговая обработка, контуры, морфология, гомографии, калибровка камеры и коррекция искажений
- Опыт обучения моделей классификации и детекции на PyTorch или TensorFlow, transfer learning, работа с предобученными сетями
- Опыт детекции и декодирования Data Matrix (open source или Halcon, Cognex VisionPro, Keyence); знание типичных проблем: блики, повреждения, низкий контраст
- Умение подобрать камеру, объектив и освещение, рассчитать поле зрения и разрешение
- Понимание метрологии: погрешности, калибровка, пересчёт пикселей в миллиметры
- Опыт работы с реальными данными: сбор и разметка датасетов, анализ ошибок, вывод моделей в рабочий контур
- Базовое понимание промышленной автоматизации: триггеры от ПЛК, цифровые сигналы, Modbus TCP, REST/HTTP, очереди и логи
Будет плюсом:
- Halcon, NI Vision, Cognex VisionPro
- 3D-зрение: стереокамеры, структурированный свет, лазерные профилометры, фотограмметрия
- Знание ювелирной специфики: номенклатура изделий, типы огранки и закрепки камней
- Знание стандартов маркировки: GS1 DataMatrix, ГОСТ Р ИСО/МЭК 16022, маркировка ювелирных изделий
- Деплой моделей: ONNX, TensorRT, оптимизация под edge-устройства (Jetson, промышленные ПК), Docker
- Опыт связки «зрение → захват» с манипуляторами, ROS
- Опыт defect detection (поиск дефектов на поверхности)
- Английский на уровне чтения технической документации и статей.
Условия
- Участие в инновационном проекте с нуля в крупной федеральной компании.
- Заработная плата обсуждается с успешными кандидатами (оклад + бонус).
- ДМС, оплата мобильной связи.
- Компенсация командировочных расходов.
- Офис в Москве, работа на объектах сети.
HireSeeker собирает вакансии со всех площадок и присылает только релевантные. Бесплатно.