Middle+ Machine Learning Engineer (ML Infrastructure & Highload)

Наша CV команда создает лучший в Сбере продукт для автоматического распознавания документов, используя самые передовые технологии. Главными задачами для нас являются разработка и улучшение OCR-модели на базе VLM, сбор обучающих данных с использованием кастомного agentic harness, и развёртывание клиентского сервиса внутри банка. Мы ищем Middle/Senior инженера, который будет заниматься полным циклом обучения и деплоя продукта.

• изучать SOTA подходы к OCR: чтение свежих пейперов в сфере e2e OCR, адаптация подходов data mining, SFT/RL, гипотезы

• ставить эксперименты по обучению VLM-моделей: проверка гипотез на multi-node сетапе, замер метрик на внешних и внутренних бенчмарках.

• дорабатывать пайплайн обучения: улучшение репозитория на текущем стеке (accelerate, TRL) - ускорение обучения, добавление аугментаций, адаптация под новые модели

• собирать обучающие данных: агрегация существующих и новых данных в требуемом формате MarkDown, поиск новых доменов, написание скриптов по загрузке

• размечать датасеты: запуск процесса разметки для вновь собранных или существующих данных при помощи кастомного agentic harness сборщика разметки (а также его улучшение), или внутренней платформы разметки асессорами

• адаптировать сервис: интеграция обученных моделей в сервис на основе vLLM для сёрвинга клиентам внутри банка.

• высшее образование: математика, информатика или профильный data science

• 3+ лет в ML, из них не меньше года лет с LLM/VLM в проде

• английский для чтения статей и документации

• Fine-tuning: SFT, LoRA/QLoRA, RL (DPO, GRPO)

• современные движки инференса: vLLM, sgLang, triton

• опыт работы с VLM: понимание принципов работы, дообучения, основных ограничений

• агентные пайплайны: вызовы моделей, обработка исключений, ограничение стоимости

• опыт в разметке датасетов асессорами, или автоматическими инструментами

• Python: пишете код, который уходит в прод. Тесты, ревью, код-стайл

• специфика банка: много контрагетов, с ними нужно иногда коммуницировать

**Будет плюсом**

• опыт python-бэкендера: FastAPI, асинхронность, очереди, PostgreSQL, векторные хранилища

• работа с разметчиками и контрагентами

• публикации, доклады, open source.

• комфортный современный офис - м. Кутузовская

• гибридный формат работы

• ежегодный пересмотр зарплаты, годовой бонус

• корпоративный спортзал и зоны отдыха

• более 400 образовательных программ СберУниверситета для профессионального и карьерного развития

• расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа

• гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ

• подписка Прайм с возможностью совместного использования на трёх близких

• вознаграждение за рекомендацию друзей в команду Сбера

• корпоративная пенсионная программа.

Вы будете

• Участвовать в составлении роадмапа разработки, проводить ресерч и формулировать гипотезы для решения задач.
• Заниматься полным циклом разработки моделей автомодерации контента.
• Работать с multi-modal данными: изображениями, текстами и таблицами.
• Разрабатывать эффективный и воспроизводимый код для обучения моделей.
• Оптимизировать модели, ускорять inference и улучшать бизнес-метрики.
• Делиться опытом с другими участниками команды, участвовать в код-ревью.
• Взаимодействовать с аналитиками, продактами и разработчиками сервисов.

Нам важно

• Уверенное знание Python и опыт разработки на нём.
• Понимание алгоритмов и структур данных.
• Практический опыт работы с PyTorch.
• Знание математической статистики, линейной алгебры и теории вероятностей.
• Отличные знания в области машинного обучения: классический ML и DL, способность объяснить принципы работы алгоритмов и выбрать подходящий для задачи.
• Практический опыт работы в задачах NLP и/или CV, знание современных архитектур (Transformers, CLIP и др.).
• Понимание принципов работы с большими данными, знакомство с такими инструментами как Hadoop, Spark, Airflow, SQL.
• Опыт ведения проектов: принятие технических решений, декомпозиция и распределение задач, координации разработки.

О компании

AI Think — российская технологическая компания, которая разрабатывает программные решения на базе искусственного интеллекта. Наши технологии помогают предприятиям оптимизировать производственные процессы, снижать издержки и автоматизировать сложные задачи.

Основное направление — прикладные AI-решения для бизнеса: системы анализа данных, интеллектуальные алгоритмы и промышленные системы компьютерного зрения.

AI Think — аккредитованная ИТ-компания. Она входит в реестр Минцифры России и в реестр технологических компаний Москвы.

О проекте

Мы разрабатываем TAQC — систему автоматического поиска пороков ткани на основе компьютерного зрения и искусственного интеллекта.

Система анализирует поток изображений ткани с линейных камер машинного зрения, установленных прямо на производственных машинах. Она автоматически выявляет дефекты и помогает текстильным предприятиям контролировать качество продукции и снижать потери. Основной промышленный объект проекта — предприятие «Чайковский Текстиль».

Сейчас в системе работает детектор дефектов на базе YOLO. Параллельно мы разрабатываем многоэтапное решение для обнаружения и классификации дефектов:

• На первом этапе модель anomaly detection находит отклонения от нормального рисунка ткани (pattern deviation).
• На втором этапе модель классификации определяет тип дефекта.

Вам предстоит продолжить развитие этого направления: улучшать качество обнаружения дефектов, снижать количество ложных срабатываний, оптимизировать модели и доводить решения до промышленного применения.

Чем предстоит заниматься

• Дорабатывать, оптимизировать и выпускать в production систему обнаружения аномалий (pattern deviation) и классификации дефектов.
• Поддерживать и улучшать текущую модель детекции на базе YOLO.
• Исследовать, тестировать и внедрять новые подходы к anomaly detection и другим задачам компьютерного зрения.
• Подбирать, адаптировать и комбинировать модели компьютерного зрения для решения задач контроля качества ткани.
• Разрабатывать собственные алгоритмы и внутренние инструменты для решения нестандартных задач анализа изображений.
• Разрабатывать и улучшать алгоритмы поиска краёв ткани на изображениях.
• Разрабатывать алгоритмы оценки разнооттеночности ткани — неравномерности окраса и оттенка.
• Подготавливать и анализировать датасеты, подбирать аугментации, самостоятельно размечать данные в небольшом объёме.
• Координировать работу разметчиков: ставить задачи, составлять инструкции и контролировать качество разметки.
• Проводить эксперименты, анализировать результаты обучения и оценивать качество моделей на реальных производственных данных.
• Искать способы снижения ложных срабатываний и пропусков дефектов с учётом требований производства.
• Удалённо участвовать в калибровке и настройке камер машинного зрения перед установкой новых систем.
• Взаимодействовать с командой разработки, представителями заказчика и менторами-экспертами в области лёгкой промышленности.

Условия работы

• Полностью удалённая работа из любой точки мира.
• График работы — 5/2.
• Зарплата: 80 000 – 110 000 рублей на руки.
• Работа в инженерной команде, которая занимается прикладными AI-решениями.

Онбординг и развитие

• Подробный онбординг. На старте вас ждёт полноценное погружение в проект и передача дел от текущего computer vision специалиста: архитектура системы, модели, датасеты, процессы разметки и история экспериментов.
• Обучение отрасли. Отраслевые менторы помогут разобраться в особенностях лёгкой промышленности и типах дефектов тканей.
• Погружение в железо. Если у вас нет опыта работы с камерами машинного зрения, мы научим. Важно быть готовым глубоко погрузиться в тему и разобраться, как всё устроено на уровне камер: оптика, освещение, параметры съёмки, калибровка.
• Карьерный рост. После погружения у вас будет возможность самостоятельно возглавить направление computer vision. Следующий шаг - рост до руководителя отдела с наймом специалистов и построением собственной команды.

Требования

Общий уровень

• Уровень: Middle.
• От 1 года коммерческого опыта разработки или исследований в области computer vision / machine learning.

Computer Vision и Machine Learning

• Практический опыт решения задач компьютерного зрения: object detection, image classification, segmentation или anomaly detection.
• Понимание методов обнаружения аномалий на изображениях: PatchCore, PaDiM, автоэнкодеры и другие подходы.
• Понимание принципов работы архитектур нейронных сетей для задач компьютерного зрения, знакомство с различными подходами к детекции объектов: YOLO, Faster R-CNN, DETR и другими.
• Знание математических основ машинного обучения.
• Практический опыт обучения и дообучения моделей компьютерного зрения, умение подбирать подходящие архитектуры под конкретные задачи.
• Понимание процесса обучения нейронных сетей, роли основных гиперпараметров и умение обоснованно подбирать их в зависимости от задачи и результатов экспериментов.
• Знание основных метрик качества моделей компьютерного зрения, умение интерпретировать их и выбирать критерии оценки с учётом требований бизнеса, допустимого уровня ложных срабатываний и пропусков дефектов.
• Умение формулировать и проверять гипотезы, проводить эксперименты, анализировать результаты обучения и делать обоснованные выводы для улучшения моделей.
• Готовность самостоятельно разрабатывать алгоритмы и искать решения нестандартных задач, а не только применять готовые подходы.

Классическая обработка изображений

• Опыт применения классических алгоритмов обработки изображений: выделение границ и контуров, фильтрация, морфологические операции.
• Понимание цветовых пространств: RGB, HSV, Lab.
• Знание основных подходов к анализу цвета и текстуры изображений.

Работа с данными

• Опыт подготовки и анализа датасетов, понимание особенностей работы с несбалансированными данными и умение выстраивать соответствующие пайплайны обучения.
• Умение подбирать и применять аугментации с учётом специфики данных, особенностей отдельных классов и характера дефектов.
• Понимание процессов разметки данных и опыт работы с инструментами разметки: CVAT, Label Studio или аналогами.
• Умение оценивать качество и репрезентативность данных, выявлять проблемы датасета, способные повлиять на результаты обучения.

Инструменты и технологии

• Уверенное владение Python.
• Опыт работы с ML-фреймворками: PyTorch, Ultralytics / YOLO или аналогами.
• Опыт работы с библиотеками обработки изображений: OpenCV, NumPy, scikit-image или аналогами.

Современные инструменты разработки

• Широкий кругозор в области AI-разработки.
• Понимание современных подходов: agent-based coding, построение AI-pipeline, использование AI-инструментов в разработке.

Коммуникация

• Умение выстраивать работу с разработчиками, заказчиком и отраслевыми экспертами.
• Умение понятно объяснять технические решения людям без ML-бэкграунда.

Будет огромным плюсом

• Опыт работы с текстилем или в лёгкой промышленности. Он не обязателен: мы готовы обучить всем особенностям отрасли и типам дефектов.
• Опыт работы с камерами машинного зрения, в том числе линейными, их калибровкой и настройкой параметров съёмки. Если опыта нет, научим, но потребуется готовность глубоко погрузиться в тему.
• Опыт оптимизации моделей для промышленного применения: ONNX, TensorRT, квантизация или аналогичные подходы.
• Опыт работы с задачами контроля качества на производстве.
• Знакомство с few-shot и zero-shot подходами к обнаружению аномалий или интерес к их изучению и практическому применению.
• Опыт организации и контроля работы разметчиков.

Как проходит собеседование

Собеседование проходит в один этап и длится около часа. На одной встрече мы:

• Познакомимся и расскажем о проекте и условиях работы.
• Обсудим ваш опыт в computer vision и machine learning.
• Поговорим о подходах к обучению моделей, работе с данными, оценке качества и решении практических задач обработки изображений.

Как откликнуться

Отправьте отклик с кратким описанием вашего опыта в machine learning и computer vision. Будет полезно указать:

• С какими задачами компьютерного зрения вы работали.
• Какие модели и фреймворки использовали.
• Опыт обучения, дообучения и оптимизации моделей.
• Опыт работы с anomaly detection.
• Опыт подготовки датасетов, работы с несбалансированными данными, аугментациями и разметкой.
• Опыт работы с классическими алгоритмами обработки изображений.
• Опыт работы с камерами машинного зрения, если он есть.
• Примеры собственных алгоритмов или инструментов, которые вы разработали.
• Участие в прикладных проектах или исследованиях.

Также можно приложить GitHub, портфолио или примеры проектов.