Data Scientist

Мы разрабатываем Vision-Language-Action-модели для управления роботами. Учим их выполнять манипуляционные задачи по текстовым инструкциям, используя изображения с камер и данные о состоянии робота.

Наша команда занимается претрейном: разрабатывает архитектуры и методы обучения, работает с данными разных робототехнических платформ и масштабирует обучение. Среди задач — перенос навыков между роботами, обобщение на новые объекты и условия, подключение новых модальностей.

Ищем ML-разработчика, который будет развивать методы претрейна, проводить исследовательские эксперименты и доводить удачные решения до использования в основных обучающих запусках.

Разработка и претрейн VLA-моделей

Вам предстоит разрабатывать и обучать VLA-модели для манипуляционных задач. Вы будете экспериментировать с архитектурами, представлениями наблюдений и действий, функциями потерь и методами объединения модальностей, улучшать перенос навыков на новые объекты, условия и робототехнические платформы.

Работа с обучающими данными

Вы будете формировать смеси робототехнических и мультимодальных датасетов, настраивать семплирование и согласовывать данные роботов с разными сенсорами и пространствами действий. Предстоит оценивать влияние качества, объёма и состава данных на способности моделей и улучшать обучающие выборки.

Разработка пайплайнов контроля качества данных

Вам предстоит автоматизировать проверку и очистку данных перед обучением: выявлять рассинхронизацию видео, состояний и действий, пропуски и зависания кадров, аномалии в траекториях. Вы будете развивать инструменты визуального разбора эпизодов, формировать отчёты о качестве, настраивать исправление, фильтрацию и маскирование проблемных фрагментов. Предстоит проверять ложные срабатывания и оценивать влияние очистки данных на качество моделей.

Масштабирование и оптимизация распределённого обучения

Вам предстоит развивать распределённое обучение на нескольких GPU и узлах, повышать стабильность длительных запусков и эффективность использования ресурсов. Вместе с инфраструктурной командой вы будете профилировать обучение и устранять узкие места в вычислениях, коммуникациях и загрузке данных.

Исследования и оценка качества моделей

Нужно будет формулировать и проверять исследовательские гипотезы, воспроизводить подходы из статей и проводить абляционные эксперименты. Вместе с командой робототехники вы будете проверять модели на реальных роботах, анализировать ошибки и использовать результаты для улучшения претрейна.

Больше об ML в Яндексе — в канале Yandex for ML

* Разрабатывали и обучали трансформерные или генеративные модели в одном или нескольких направлениях: мультимодальное обучение, Computer Vision, NLP, генерация видео или Robot Learning
* Хорошо понимаете основы глубинного обучения, устройство трансформеров и методы оптимизации, умеете разбираться в причинах нестабильного обучения и ухудшения качества моделей
* Уверенно программируете на Python, работаете с PyTorch или JAX, умеете писать поддерживаемый обучающий код и разбираться в существующем
* Имеете опыт распределённого обучения с FSDP, DeepSpeed или аналогичными инструментами, понимаете принципы параллелизма данных и шардинга, умеете диагностировать проблемы производительности, потребления памяти и стабильности запусков
* Работали с большими датасетами и пайплайнами их подготовки, понимаете влияние качества данных, семплирования и организации загрузки на обучение
* Умеете самостоятельно ставить эксперименты, выбирать метрики, обеспечивать воспроизводимость результатов и аргументировать технические решения

* Работали с VLA, Imitation Learning, Behavior Cloning или обучали политики на данных разных робототехнических платформ
* Обучали диффузионные или flow-matching-модели, генеративные модели изображений и видео
* Оптимизировали многоузловое обучение: профилировали GPU и коммуникации, подбирали стратегии параллелизма, работали с mixed precision, activation checkpointing, сохранением и восстановлением состояния обучения
* Разрабатывали пайплайны автоматического контроля качества данных, инструменты визуализации и поиска аномалий в видео и временных рядах
* Внедряли обученные политики на реальных роботах и оценивали качество выполнения задач
* Имеете исследовательские публикации, участвуете в опенсорс-проектах или можете рассказать о собственных проектах с воспроизводимыми результатами

Мебель Рус — мебельная компания с собственным производством корпусной и мягкой мебели. С 2019 года мы создаем мебель на заказ и сегодня являемся одной из ведущих компаний по производству корпусной мебели на побережье.

О проекте:

Мы создаём ИИ-ассистента для проектирования корпусной мебели.

Идея проекта — научить AI анализировать фотографии замеров помещения, распознавать стены, окна, двери, коммуникации и другие объекты, а затем автоматически создавать помещение и мебельный проект в Базис-Мебельщик с последующим просчётом конструкции.

Это проект на стыке Computer Vision, мультимодальных моделей, LLM/VLM и автоматизации CAD-систем.

Сейчас мы ищем AI/ML-инженера, который поможет превратить эту идею в работающий продукт.

Чем предстоит заниматься

• Дообучать мультимодальную модель Qwen3.8-27B с использованием LoRA/PEFT под задачи распознавания фотографий замеров, рукописных записей и планировок.

• Собирать, структурировать, размечать и аугментировать датасеты.

• Настраивать преобразование изображений в структурированные данные: геометрия стен, высота помещения, окна, двери, коммуникации, розетки, трубы, заметки и т.д.

• Разрабатывать AI/GUI-агента для Базис-Мебельщик через API программы и JavaScript, без примитивной эмуляции кликов мышью.

• Интегрировать Computer Vision и OCR для анализа фотографий замеров.

• Строить и развивать полный pipeline:

фото замеров → распознавание → структурированные данные → генерация скрипта → готовый проект в Базис-Мебельщик

• Тестировать решения на реальных замерах и оценивать качество моделей.

• Формировать метрики, находить ошибки и улучшать модель на основе результатов тестирования.

Что нам важно

• Уверенное владение Python.

• Опыт работы с PyTorch, Hugging Face Transformers, PEFT/LoRA.

• Практический опыт дообучения LLM/VLM — Qwen, LLaVA, InternVL или аналогичных моделей.

• Хорошее понимание Computer Vision: OpenCV, детекция, сегментация, OCR.

• Опыт работы с API и автоматизацией программ.

• Знание JavaScript.

• Понимание принципов работы AI-агентов, GUI-агентов или RPA.

• Опыт подготовки, разметки и аугментации датасетов.

Будет большим плюсом

• Опыт работы с Базис-Мебельщик или другими CAD-системами.

• Знание DXF и принципов работы с 2D/3D-геометрией.

• Опыт в мебельном производстве или проектировании мебели.

• Опыт разработки AI-агентов, работы с интерфейсами программ.

• Опыт с RL / Reinforcement Learning.

• Понимание задач автоматизации проектирования.

Что предлагаем

• Удалённая работа.

• Проектная или полная занятость — готовы обсуждать подходящий формат.

• Оплата по итогам собеседования, в зависимости от опыта и уровня экспертизы.

• Возможность долгосрочного сотрудничества.

• Проект с большим количеством задач, где можно непосредственно влиять на архитектуру и развитие продукта.

Важный момент!

Мы ищем не просто разработчика, который умеет запускать готовые модели.

Нам нужен специалист, которому интересно разобраться в задаче, экспериментировать с моделями, собирать pipeline и довести AI-решение до работающего продукта.

Если вам интересны мультимодальные модели, Computer Vision, AI-агенты и автоматизация реальных бизнес-процессов — будем рады познакомиться.