яндекс

Руководитель команды метрик качества Поиска и Алисы

Яндекс постоянно улучшает свои сервисы. Мы измеряем «счастье» пользователя: помогла ли Алиса решить задачу, насколько быстро и удобно это получилось, вернётся ли человек с похожим запросом завтра. Диалог с Алисой устроен сложнее, чем сесси…

яндекс · На сервисе с: 03.09.26 12:03

Зарплата не указанаНе указана странаЛокация не указана

Яндекс постоянно улучшает свои сервисы. Мы измеряем «счастье» пользователя: помогла ли Алиса решить задачу, насколько быстро и удобно это получилось, вернётся ли человек с похожим запросом завтра. Диалог с Алисой устроен сложнее, чем сессия в Поиске: у пользователя нет выдачи, по которой видно, куда он кликнул, — есть только текст ответа и то, что он сделал дальше.

Чтобы понять, будет ли планируемое нововведение полезным, мы проводим A/B-эксперименты: делим пользователей на две группы, каждой из которых показываем свою версию продукта.

Мы не ограничиваемся базовыми подходами к построению метрик и повышению чувствительности: стараемся разрабатывать новые сигналы удовлетворённости пользователей, находим решения в условиях неполных данных, придумываем неожиданные способы применения машинного обучения и LLM — и как инструмента разметки, и как объекта измерения.

Вы присоединитесь к одной из сильнейших аналитических команд Яндекса, которая создаёт метрики, определяющие развитие Поиска и Алисы. Мы разрабатываем собственные методы оценки качества, решаем сложные исследовательские задачи и внедряем современные ИИ-инструменты, включая LLM-агентов, чтобы автоматизировать рутинную аналитику и сосредоточиться на поиске новых продуктовых инсайтов.

Разработка универсальной метрики приёмки экспериментов Поиска и Алисы

Пользователь не делит свой день на «поход в Поиск» и «разговор с Алисой» — он решает одну задачу теми инструментами, которые оказались под рукой. Мы строим метрику, с которой можно смотреть на поток запросов целиком: она делит его на задачи и оценивает успешность с учётом того, чего пользователь на самом деле хотел.

При этом в ограничении на Алису метрика должна хорошо оценивать эксперименты Алисы, в ограничении на Поиск — поисковые, а это очень нетривиальная задача.

Поиск инсайтов для улучшения моделей

Иногда качество ответа определяется не тем, что модель сказала, а тем, как она подала ответ и насколько её ответ был похож на человеческий. Такие находки мы получаем регулярно, но пока скорее случайно.

Создание системы знаний о поведении пользователей

Вам предстоит построить систему, которая добывает инсайты о поведении пользователей потоком: находит гипотезы в данных, проверяет их экспериментами и превращает в требования к моделям.

Расхождение онлайна и офлайна

Офлайн-метрики модели растут, а онлайн-метрики — нет. При этом новые модели Алисы обучаются по офлайну. Мы хотим разобраться с этим системно: научиться по каждой офлайн-фиче находить следы её влияния в онлайне — изменившийся поток запросов, другие пользовательские паттерны, уходы в Поиск.

Здесь много места для собственных гипотез: на что пользователь реагирует на самом деле и что заложить в ответ в метрику. Эти исследования помогут нам лучше понимать, как скорректировать офлайн-метрики и процесс обучения новых моделей.

Больше об аналитике в Яндексе — в канале Yandex for Analytics

* Руководили командой аналитиков
* Программируете на Python
* Любите математику
* Владеете основами теории вероятностей и математической статистики
* Умеете решать нестандартные математические задачи
* Читаете и понимаете профильные тексты на английском языке
* Способны спокойно и аргументированно отстаивать свою точку зрения и выслушивать чужую

* Применяли машинное обучение
* Победитель или призёр международных или всероссийских олимпиад по математике

Похожие вакансии Data Science & ML

Другие площадки
S

Staff Data Scientist, Watchlist

socureНа сервисе с: 24.09.26 18:12
Зарплата не указанаСШАУдалёнка

Why Socure?

Socure is building the identity trust infrastructure for the digital economy — verifying 100% of good identities in real time and stopping fraud before it starts. The mission is big, the problems are complex, and the impact is felt by businesses, governments, and millions of people every day.

We hire people who want that level of responsibility. People who move fast, think critically, act like owners, and care deeply about solving customer problems with precision. If you want predictability or narrow scope, this won’t be your place. If you want to help build the future of identity with a team that holds a high bar for itself — keep reading.

WHY SOCURE?

Socure is building the identity trust infrastructure for the digital economy — verifying 100% of good identities in real time and stopping fraud before it starts. The mission is big, the problems are complex, and the impact is felt by businesses, governments, and millions of people every day.

We hire people who want that level of responsibility. People who move fast, think critically, act like owners, and care deeply about solving customer problems with precision. If you want predictability or narrow scope, this won't be your place. If you want to help build the future of identity with a team that holds a high bar for itself — keep reading.

ABOUT THE ROLE

We are looking for a Staff Data Scientist to join Socure's Watchlist Data Science team. Watchlist sits at the heart of global AML compliance — our platform screens hundreds of millions of entities in real time across sanctions lists, PEP databases, and adverse media sources for banks, fintechs, and payment companies worldwide.

As a Staff Data Scientist, you will work on the hardest problems in entity matching and classification: scaling our patented real-time matching engine, building advanced Natural Language Processing (NLP) models for Named Entity Recognition (NER) and Information Extraction, and bringing next-generation research to production. This is a senior individual contributor role with broad technical ownership and direct impact on a product that helps the world's financial institutions manage sanctions and AML risk.

WHAT YOU'LL DO

Data Quality & Enrichment

  • Improve the quality, coverage, and freshness of Watchlist's underlying data through next-generation ingestion pipelines.

  • Design and execute rigorous data quality analysis pipelines to identify anomalies, evaluate dataset health, and ensure high-fidelity inputs for downstream model training.

  • Apply NLP and AI to classify and enrich raw source data into normalized schemas — extracting structured entity attributes from unstructured sanctions, PEP, adverse media, and enforcement sources.

  • Expand multilingual capabilities to support global screening across Latin and non-Latin scripts.

Entity Resolution

  • Build and improve NLP systems that consolidate how watchlist identities are represented. Developing Information Extraction and Named Entity Recognition (NER) pipeline to deduplicate entities across lists and resolve aliases into canonical profiles..

  • Develop approaches to handle how entity profiles change over time as names, aliases, and sanctions status evolve.

  • Measure and benchmark entity resolution quality, driving continuous improvement in coverage and accuracy.

Match Engine & Risk Scoring

  • Design and scale advanced NLP models and algorithms that perform real-time name matching and identity classification across diverse, multilingual unstructured data sources.

  • Build multi-signal risk scoring that combines name similarity, entity type, geography, list type, and other attributes into unified, calibrated risk scores.

  • Maintain and improve benchmarking frameworks, golden datasets, and regression tests that keep the match engine at the highest levels of recall and precision.

Analytics, Tuning & Evaluation

  • Build models and analytics that help customers tune their screening thresholds to the right operating point for their risk appetite and entity mix.

  • Develop backtesting and counterfactual analysis capabilities so customers and internal teams can understand how model or threshold changes would affect screening outcomes.

  • Design evaluation frameworks for AI-powered autonomous decision systems — defining correct behavior, calibrating confidence thresholds, and monitoring for drift in production.

AML Risk Detection

  • As Watchlist expands into payment screening, build the mathematical analysis and feature engineering needed to detect AML risk patterns across transaction data and payment message fields.

  • Develop and maintain the AML taxonomy and risk signal library that underlies Watchlist's classification and detection capabilities.

  • Apply graph-based methods to surface indirect risk exposure — identifying entities connected to sanctions risk even when they are not directly listed.




Research & Technical Leadership

  • Lead technical initiatives across Watchlist Data Science and shape the team's long-term approach to entity matching, enrichment, and AI.

  • Collaborate closely with Product and Engineering to translate research into production-grade systems at scale.

  • Stay current with advances in NLP, large language models, and entity resolution; prototype and deploy relevant techniques (e.g., advanced NER, LLM-based extraction) to AML use cases.

  • Mentor peers and contribute to a culture of technical rigor and continuous improvement.

WHAT YOU BRING

  • Master's or PhD in Computer Science, Computational Linguistics, Statistics, Applied Mathematics, or a related field; or equivalent professional experience.

  • 7+ years of experience in data science or machine learning, with meaningful work in NLP, entity resolution, or information extraction.

  • Experience in AML, sanctions screening, adverse media, or financial crime detection is strongly preferred.

  • Hands-on experience building and deploying NLP pipelines for entity extraction, named entity recognition, and record linkage at production scale.

  • Familiarity with multilingual NLP and non-Latin script processing is a strong plus.

  • Experience with LLMs and agentic AI frameworks (e.g., LangChain/LangGraph) is a plus.

  • Strong proficiency in Python and major ML libraries (PyTorch, spaCy, HuggingFace Transformers).

  • Strong SQL proficiency and experience with large-scale data pipelines and production ML systems.

  • Excellent communication skills — able to translate model performance tradeoffs into compliance and business language for non-technical audiences.

Note: We cannot provide Sponsorship at this time.

You must be located in one of our talent hubs: New York, San Francisco, Seattle, or Miami.

Socure is an equal opportunity employer that values diversity in all its forms within our company. We do not discriminate based on race, religion, color, national origin, gender, sexual orientation, age, marital status, veteran status, or disability status. If you need an accommodation during any stage of the application or hiring process — including interview or onboarding support — please reach out to your Socure recruiting partner directly.

Socure is an equal opportunity employer that values diversity in all its forms within our company. We do not discriminate based on race, religion, color, national origin, gender, sexual orientation, age, marital status, veteran status, or disability status.
If you need an accommodation during any stage of the application or hiring process—including interview or onboarding support—please reach out to your Socure recruiting partner directly.



Follow Us!

YouTube | LinkedIn | X (Twitter) | Facebook

hh.ru
сбер. it

Senior/middle data scientist (Центр Модельных Рисков)

сбер. itНа сервисе с: 24.09.26 17:03
Зарплата не указанаРоссияМоскваОфис

Управление Модельных Рисков - «by-design» уникальное подразделение, которое «видит» все AI/ML модели Банка, понимает процессы/точки принятия решений моделями, кривая обучения у наших сотрудников «круче», чем в подразделениях, разрабатывающих модели.

Наша цель – помочь Банку зарабатывать больше и улучшать клиентский опыт за счет повышения эффективности моделей и их использования в Бизнес процессах.

Мы ищем DS/Quant с экспертизой на стыке финансовой математики, торговых алгоритмов и ML для работы в напралении Модельного Риска Торговой Книги. Вы будете выступать ключевым звеном контроля качества моделей и агентов, используемых в оценке рисков и ценообразовании финансовых инструментов.

Обязанности

  • оценка качества моделей ClassicML, работающих на финансовых рынках, в том числе: торговые алгоритмы, оценка эластичности по цене, кластеризация клиентов и т.д.
  • проведение независимой оценки качества моделей прайсинга финансовых инструментов, а также риск-моделей (включая VaR, CVA, PFE)
  • анализ корректности математических предпосылок, устойчивости моделей и их соответствия бизнес-требованиям и рыночным условиям
  • оценка и контроль рисков агентов, работающих в торговых алгоритмах, процессах прайсинга финансовых инструментов и оценки рыночных рисков
  • создание инструментов для автоматизации процессов мониторинга моделей и агентов с использованием Python
  • подготовка аналитических заключений по результатам валидации, формирование рекомендаций по доработке моделей
  • презентация результатов работы, аргументация выводов и защита предложенных решений перед разработчиками моделей, риск-менеджментом и бизнес-заказчиками.

Будет плюсом:

  • навыки работы с генеративными AI-моделями; опыт создания AI-агентов и использования их в работе будет преимуществом.

Требования

  • знание теории вероятностей, математической статистики и случайных процессов
  • опыт работы на стороне разработки или валидации ClassicML моделей
  • уверенные навыки программирования на Python, опыт разработки структурированного и поддерживаемого кода
  • знание базовых принципов построения моделей прайсинга производных финансовых инструментов
  • опыт работы с количественными моделями в финансах или смежных областях будет преимуществом
  • участие в летних школах или курсах: Vega, ЦМФ – также является преимуществом.

Условия

  • работа в удобном и современном офисе недалеко от станции метро Кутузовская
  • ежегодный пересмотр зарплаты, годовая премия
  • корпоративный спортзал и зоны отдыха
  • более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
  • расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
  • гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
  • подписка Прайм с возможностью совместного использования на трёх близких
  • вознаграждение за рекомендацию друзей в команду Сбера.
Соц.сети
Н

Senior ML Engineer / MLOps Engineer

Неизвестный работодательНа сервисе с: 24.09.26 16:27
Зарплата не указанаПольшаУдалёнка

#вакансия #vacancy
🚀 Senior ML Engineer / MLOps Engineer — 100% Remote
Must-have:
• Strong Python
AWS / SageMaker
MLOps, CI/CD
Docker + Kubernetes
• ML lifecycle tools: MLflow / Kubeflow / SageMaker Pipelines
• Production experience with ML & LLM applications
Generative AI / LLMOps
• PySpark / Apache Spark
• FastAPI / Flask
• Model training, fine-tuning, evaluation & optimization
📍 100% Remote | 🇬🇧 English B2+
📅 Duration: 3 months + extension
💰 Rate: TBD
⏰ Full-time
📩 Для подачи присылайте CV в telegram: ••••••••

HireSeeker собирает вакансии со всех площадок и присылает только релевантные. Бесплатно.