Data Scientist – AV Metrics & Evaluation Analytics

Austin, Texas; on-site work only, with no remote option, relocation support, or visa sponsorship. Candidates must be authorized to work in the U.S.

↑ Вакансия с автоподнятием
Зарплата не указанаСШАAustinУдалёнка
Текст:
Оригинал доступен только пользователям с подпиской

Location

Austin, Texas; on-site work only, with no remote option, relocation support, or visa sponsorship. Candidates must be authorized to work in the U.S.

About the company

An autonomous driving technology company focused on developing metrics and evaluation frameworks that verify the safety, performance, and readiness of self-driving systems. Its teams analyze real-world and simulated driving data to support data-driven decisions and the commercialization of autonomous vehicles.

Responsibilities

  • Analyze real-world and simulated autonomous vehicle data to assess system performance and support data-driven decisions.
  • Design and refine rule-based and ML-driven metrics for driving behavior, safety compliance, and passenger comfort, and validate their sensitivity and reliability through statistical inference and hypothesis testing.
  • Work with autonomy software, simulation, and safety teams to prioritize improvements, and build scalable pipelines that automate metric computation and reporting.
  • Review driving logs and join test rides to ground analyses in real-world performance.

Requirements

  • 2+ years of experience in data science, applied statistics, or metrics development, with proficiency in Python and SQL for data analysis.
  • Strong grounding in statistical methods such as A/B testing, confidence intervals, and regression.
  • Experience designing metrics to evaluate complex systems, such as robotics, autonomous systems, or large-scale software.
  • Ability to communicate technical findings to cross-functional stakeholders; machine learning experience, big data tools (Spark, Hadoop, MapReduce), and knowledge of traffic regulations or automotive safety standards (e.g., NHTSA) are a plus.

Похожие вакансии Data Science & ML

Другие площадки
СБЕР

ML-инженер (AI Quality / Evaluation) в команду GigaChat

СБЕРАвтоподнятие
350k–600k ₽РоссияУдалёнка

Мы развиваем GigaChat и ищем сильного ML-инженера в команду AI Quality. Наша команда — это главный навигатор развития модели. Мы не просто тестируем сборки, мы исследуем новые возможности GigaChat, сопоставляем его работу с реальными продуктовыми требованиями и находим точки для кратного роста качества. Публичные бенчмарки покрывают далеко не всё и часто оторваны от жизни, поэтому мы строим собственную инфраструктуру замеров, которая честно показывает, как модель решает настоящие задачи пользователей.

Это роль для человека, который возьмёт на себя ответственность за сквозной цикл оценки: от ресёрча ландшафта и проектирования датасетов под продуктовые вызовы до написания надёжного кода и внедрения бенчмарка в общий харнесс. Ищем не столько исполнителя, собирающий дашборды, сколько мотивированного инженера-исследователя. Тот, кто глубоко понимает, что нужно продукту, замечает узкие места именного базового качества модели, вспоминает актуальную статью с подходящим методом оценки и приходит с готовым планом: «давайте замерим вот так, потому что именно это покажет наш реальный прогресс».

Чем предстоит заниматься

Развивать инфраструктуру и пайплайны замеров (Evaluation Harness).

  • Реализовывать и поддерживать бенчмарки: парсинг датасетов, промпт-шаблоны, постпроцессинг ответов, подсчёт метрик.
  • Обеспечивать железобетонную воспроизводимость: версионирование конфигов, CI-интеграция. Любой замер должен выдавать идентичный результат и сегодня, и через полгода.
  • Разбирать статьи и репозитории новых бенчмарков, понимать их методологию и встраивать в наш пайплайн с автоматическим запуском.

Строить и масштабировать LLM-as-a-Judge.

  • Развивать пайплайны моделей-судей: глубокий промпт-инжиниринг, калибровка, контроль смещений (bias), оценка консистентности и сравнение судей между собой.
  • Проектировать, настраивать и автоматизировать arena-style оценки.

Создавать целевые датасеты и анализировать данные.

  • Проектировать новые арены и тестовые наборы под конкретные слабые места модели и проверяемые гипотезы.
  • Вытаскивать сигналы о деградациях из пользовательских логов, собирать промпты, следить за актуальностью и контаминацией существующих датасетов.
  • Проводить аналитику и быстро писать скрипты для ответа на вопрос: «почему просела метрика и что именно сломалось».

Проводить research и влиять на релизы.

  • Самостоятельно отслеживать state-of-the-art в области evaluation, инициировать внедрение лучших подходов — не дожидаясь постановки задачи сверху.
  • Готовить аналитические отчёты по замерам, формулировать жёсткие go/no-go рекомендации и аргументированно отстаивать их перед командой pretrain/post-train.

Для нас важно

  • Уверенный Python и инженерная культура: код ревьюится, тестируется и не гниёт. Уверенное владение Git, CI/CD, Bash на уровне самостоятельной поддержки сервисов. Использование AI-ассистентов и знание best practices горячо приветствуются.
  • Глубокое понимание устройства LLM: не на уровне обзоров, а на практике. Вы знаете, что такое chat template, почему ризонеры могут давать разные результаты при нулевой температуре, и почему один и тот же бенчмарк можно замерить тремя способами, получив три разных числа. Практический опыт инференса open-source моделей (vLLM, SGLang).
  • Насмотренность и инициативность: вы умеете не просто следить за потоком статей, но в нужный момент вытащить из памяти релевантный подход, связать его с текущей задачей и конвертировать в конкретный план действий.
  • Базовая статистическая грамотность: доверительные интервалы, bootstrap, чёткое понимание того, когда разница в метрике статистически значима, а когда — это просто шум.

Будет плюсом

  • Опыт работы с evaluation-фреймворками (lm-evaluation-harness, HELM, BigCode Evaluation) или написания собственных харнессов.
  • Опыт с LLM-judge подходами и глубокое знакомство с профильной литературой (MT-Bench, AlpacaEval, Chatbot Arena).
  • Публикации или заметный open-source вклад в области evaluation.

Что предлагаем

  • Сильные и сложные задачи на переднем крае развития русскоязычных LLM.
  • Огромную степень влияния на продукт: от ваших метрик и рекомендаций зависит, пойдет ли флагманская модель в релиз.
  • Команду сильных инженеров и исследователей, задающих высокую планку инженерной надёжности.
  • Конкурентную компенсацию, премии и расширенный соцпакет.
Другие площадки
альфа-банк

Data Scientist (Антифрод)

альфа-банкАвтоподнятие
250k–400k ₽РоссияМоскваУдалёнка

Мы занимаемся развитием платформы интеллектуального управления безопасностью финансовых потоков. Наши ML-решения в реальном времени оценивают транзакции на предмет мошенничества, комплаенс-рисков и других нежелательных действий. В работе мы применяем продвинутые методы машинного обучения, прикладной математики и статистики. Исследуем новые данные, проверяем различные ML-гипотезы и постоянно ищем возможности значимо улучшить существующие решения. Сейчас мы расширяем команду и ищем DS-специалистов уровня Middle и Senior.

Обязанности:

  • Погружаться в бизнес-контекст платформы ограничений, изучать доступные данные и существующую инфраструктуру — высоконагруженные сервисы, обрабатывающие миллионы транзакций в день.
  • Анализировать текущие бизнес-процессы, выявлять их уязвимые места и точки роста.
  • Пробовать различные подходы машинного обучения: классификацию, кластеризацию, uplift-модели, ранжирующие модели и нейросетевые решения (частично или полностью).
  • Сравнивать результаты экспериментальных моделей с текущим решением, оценивая их преимущества и недостатки.
  • Валидировать модели с помощью офлайн-метрик (AUC, PR-кривые, NDCG, uplift-метрики и др.), убеждаться в статистически значимом приросте точности.
  • Подготавливать аналитическую статью или отчёт, в котором будет подробно сравниваться каждый метод и обосновываться выбор оптимального решения.
  • Запускать в продакшн лучшее из протестированных решений, обеспечивая его интеграцию в существующую систему управления ограничениями.


Требования:

  • Высшее техническое образование.
  • Опыт работы в DS от 2 лет. Опыт вывода моделей в прод.
  • Уверенный Python, продвинутый SQL, PySpark как плюс.
  • Большой опыт в решении задач классического ML: бустинги, регрессия, ранжирование, классификация.
  • Статистика, A/B тесты, знание основ оптимизации, понимание принципов работы используемых методов.
  • Умение презентовать результат сложных решений понятным бизнесу языком, проактивность в поиске точек роста и генерации новых идей.


Условия:

  • Стабильный и прозрачный доход: размер заработной платы обсуждается по итогам собеседования + квартальная премия по результатам KPI.
  • Гибкий график работы: вы сможете планировать время так, как удобно вам и вашей команде.
  • Полную удалёнку или гибрид на выбор, а также уютный ИТ-хаб в Москве, Санкт-Петербурге, Екатеринбурге и сезонный коворкинг в Сочи.
  • Сложные и интересные задачи, современный стек технологий.
  • Заботу о вашем здоровье: программа ДМС с первых дней работы, куда входит стоматология, обслуживание в лучших клиниках города, страхование и компенсация 10-ти дней больничного.
  • Возможность вертикального и горизонтального карьерного роста: регулярно проходят тренинги, вебинары, митапы и демо-дни.
  • Оплату посещения профильных конференций и курсов, помогаем с подготовкой к публичным выступлениям и написанием статей на Хабр.
  • Доступ к бесплатным корпоративным библиотекам Alpina Digital, МИФ и бизнес-изданий.
  • Работа у трижды лучшего работодателя РФ по версии hh.ru, Forbes, РБК.
  • Программа развития AI-грамотности: треки по работе с нейросетями от базового до продвинутого уровня.
Другие площадки
мкб

Главный разработчик моделей (ПВР)

мкбАвтоподнятие
Зарплата не указанаРоссияМоскваГибрид

Обязанности:

  • Построение моделей высокого качества (например, розничные, корпоративные модели, бизнес-модели и ПВР).
  • Написание документации по результату построения моделей.
  • Прохождение валидации моделей.
  • Участие во встречах с заказчиком моделей.
  • Написание требований на реализацию и тестирование витрин данных.
  • Участие в оптимизации процесса разработки моделей.

Требования:

  • Высшее образование
  • Аналогичный опыт работы от 3-х лет
  • Опыт в построении моделей (логистическая регрессия, бустинг), розничных моделей ПВР в банке является преимуществом
  • Опыт участия в постановке требований на витрины, аналитику, мониторинг
  • Опыт разработки моделей на Python, SAS (знание необходимых библиотек)
  • Знание SQL

HireSeeker собирает вакансии со всех площадок и присылает только релевантные. Бесплатно.