сбер

Senior Research Engineer (LLM Pretraining)

Мы занимаемся pretrain'ом больших языковых моделей в GigaChat: проектируем архитектуру, подбираем рецепт обучения и поддерживаем весь инженерный контур вокруг него.

сбер · На сервисе с: 30.06.26 12:09

400k–800k ₽РоссияОфис

Мы занимаемся pretrain'ом больших языковых моделей в GigaChat: проектируем архитектуру, подбираем рецепт обучения и поддерживаем весь инженерный контур вокруг него.

Недавно мы обучили MoE-модель на 700 миллиардов параметров — и на этом не собираемся останавливаться. Обучение идёт на кластерах H100 и B200. GigaChat — самый быстрорастущий проект Сбера, и pretrain — его ядро.

Чем занимается команда

  • Архитектура и законы масштабирования.
  • Рецепт обучения: оптимизаторы, расписание learning rate, нормализация, точность вычислений.
  • Устойчивость больших прогонов и ускорение сходимости.
  • Диагностика обучения и оценка изменений с опорой на математический аппарат.
  • Инженерный контур: воспроизводимость, тесты, CI/CD.

Роль с акцентом на модель, оптимизацию и инфраструктуру обучения, а не на данные. Главная цель — делать обучение быстрее, надёжнее и предсказуемее.

Какие задачи стоят перед командой

  • Ускорение цикла «идея → эксперимент → вывод → внедрение».
  • Снижение количества ручных прогонов и неочевидных сбоев, повышение воспроизводимости и прозрачности результатов.
  • Повышение надёжности больших прогонов.
  • Ранняя диагностика деградаций и отделение реальных улучшений от ложных сигналов (расхождение, NaN, коллапс энтропии, артефакты маршрутизации, ложное снижение функции потерь).
  • Обеспечение безопасного масштабирования при внедрении крупных архитектурных изменений.
  • Анализ влияния сложных архитектур (например, mixture of experts и маршрутизация) на качество, стабильность и скорость обучения.
  • Определение и развитие метрик, корректно отражающих изменения в обучении моделей.

Почему мы

  • Масштаб. 700B MoE уже обучена, дальше — больше. Кластеры на H100 и B200.
  • Публикации. Можно и нужно писать статьи по результатам своей работы — это не ограничивается.
  • Команда. В России нет другой команды, которая занимается pretrain'ом на таком масштабе. Коллеги — люди, которые глубоко разбираются в теме.
  • Влияние. Вы берёте направление целиком. Это не «выполнять задачи из бэклога», а самостоятельно определять, что важно, и доводить до результата.

Обязанности

  • Взять на себя целое направление внутри pretrain'а и развивать его: от постановки задач и планирования экспериментов до внедрения результатов в основное обучение.

  • Проектировать и проводить эксперименты: формулировать гипотезы, запускать абляции, сравнивать подходы, разбираться в результатах и превращать выводы в решения для основного обучения.

  • Разбираться с нестабильностью на больших прогонах: искать причины деградаций, строить диагностические метрики, предлагать изменения в оптимизаторе, расписании lr, нормализациях, инициализации, клиппинге, точности вычислений и маршрутизации.

  • Работать с архитектурой смеси экспертов (MoE): маршрутизатор, балансировка нагрузки, переполнение, артефакты маршрутизации, влияние на качество и производительность.

  • Поддерживать большие прогоны и продолжения обучения с чекпоинтов: следить за дрейфом, проверять изменения в коде и конфигурации, снижать риск регрессий.

  • Улучшать инженерное качество контура обучения: ревью критичных изменений, стратегия тестирования, воспроизводимость экспериментов, профилирование и устранение узких мест.

Требования

  • Глубокое понимание устройства обучения нейросетей: не на уровне обзоров и пересказов, а на уровне, где вы можете объяснить, почему конкретный прогон расходится, глядя на кривые функции потерь, нормы градиентов и энтропии.

  • Способность самостоятельно взять направление и довести его до результата: от чтения статей и постановки гипотез до внедрения в основной трейн.

  • Практический опыт с PyTorch и именно с обучением моделей, а не только с инференсом.

  • Умение доводить исследовательские идеи до надёжного инженерного решения: воспроизводимость, конфиги, тесты, автоматизация, понятные критерии качества.

  • Хорошую инженерную культуру: аккуратные PR, профилирование, внимание к качеству кода, понятные отчёты об экспериментах.

Будет плюсом

  • Опыт со смешанной точностью и распределённым обучением.
  • Опыт построения систем оценки моделей или инфраструктуры для экспериментов.

Условия

  • Удалённо.
  • Возможность оформления в аккредитованную IT-компанию.
  • Годовая премия по итогам работы до 6 окладов.
  • Регулярный пересмотр зарплат.
  • Корпоративный спортзал и зоны отдыха.
  • Более 400 программ СберУниверситета для роста.
  • Программа адаптации и помощь руководителя на старте.
  • Крупнейшее DS&AI community — более 600 DS банка, регулярный обмен знаниями, опытом и лучшими практиками, интерактивные лекции и мастер-классы от ведущих ВУЗов и экспертов технологических компаний, дайджест о самых последних разработках в области DS&AI и отчеты с крупнейших конференций мира, регулярные внутренние митапы.
  • Расширенный ДМС, льготное страхование для семьи, корпоративная пенсионная программа.
  • Ипотека для сотрудников по дисконтной программе.
  • СберПрайм+ и скидки у партнёров.
  • Бонус за рекомендации в команду.

Похожие вакансии Data Science & ML

Соц.сети
mayflower

Data Scientist (Search & Recommendations) и Data Scientist (Moderation)

mayflowerНа сервисе с: 24.09.26 22:02
Зарплата не указанаКипрLimassolОфис

🔹 ••••••••
🔹 ••••••••
в Mayflower — технологическая компания, создающая высоконагруженные продукты, которыми пользуются миллионы людей по всему миру.
Офис (Лимасол, Кипр). Помощь с переездом.
Ищет Степан Широбоков, его ••••••••.

Соц.сети
D

NLP / LLM Data Scientist

dandelionНа сервисе с: 24.09.26 19:30
Зарплата не указанаСШАУдалёнка

NLP / LLM Data Scientist
Dandelion is a product development platform for clinical AI, focused on harnessing the immense power of healthcare data to create innovations that will benefit all patients and communities.
Remote work (US-based) and flexible hours.
••••••••.
••••••••.

Другие площадки
S

Staff Data Scientist, Watchlist

socureНа сервисе с: 24.09.26 18:12
Зарплата не указанаСШАУдалёнка

Why Socure?

Socure is building the identity trust infrastructure for the digital economy — verifying 100% of good identities in real time and stopping fraud before it starts. The mission is big, the problems are complex, and the impact is felt by businesses, governments, and millions of people every day.

We hire people who want that level of responsibility. People who move fast, think critically, act like owners, and care deeply about solving customer problems with precision. If you want predictability or narrow scope, this won’t be your place. If you want to help build the future of identity with a team that holds a high bar for itself — keep reading.

WHY SOCURE?

Socure is building the identity trust infrastructure for the digital economy — verifying 100% of good identities in real time and stopping fraud before it starts. The mission is big, the problems are complex, and the impact is felt by businesses, governments, and millions of people every day.

We hire people who want that level of responsibility. People who move fast, think critically, act like owners, and care deeply about solving customer problems with precision. If you want predictability or narrow scope, this won't be your place. If you want to help build the future of identity with a team that holds a high bar for itself — keep reading.

ABOUT THE ROLE

We are looking for a Staff Data Scientist to join Socure's Watchlist Data Science team. Watchlist sits at the heart of global AML compliance — our platform screens hundreds of millions of entities in real time across sanctions lists, PEP databases, and adverse media sources for banks, fintechs, and payment companies worldwide.

As a Staff Data Scientist, you will work on the hardest problems in entity matching and classification: scaling our patented real-time matching engine, building advanced Natural Language Processing (NLP) models for Named Entity Recognition (NER) and Information Extraction, and bringing next-generation research to production. This is a senior individual contributor role with broad technical ownership and direct impact on a product that helps the world's financial institutions manage sanctions and AML risk.

WHAT YOU'LL DO

Data Quality & Enrichment

  • Improve the quality, coverage, and freshness of Watchlist's underlying data through next-generation ingestion pipelines.

  • Design and execute rigorous data quality analysis pipelines to identify anomalies, evaluate dataset health, and ensure high-fidelity inputs for downstream model training.

  • Apply NLP and AI to classify and enrich raw source data into normalized schemas — extracting structured entity attributes from unstructured sanctions, PEP, adverse media, and enforcement sources.

  • Expand multilingual capabilities to support global screening across Latin and non-Latin scripts.

Entity Resolution

  • Build and improve NLP systems that consolidate how watchlist identities are represented. Developing Information Extraction and Named Entity Recognition (NER) pipeline to deduplicate entities across lists and resolve aliases into canonical profiles..

  • Develop approaches to handle how entity profiles change over time as names, aliases, and sanctions status evolve.

  • Measure and benchmark entity resolution quality, driving continuous improvement in coverage and accuracy.

Match Engine & Risk Scoring

  • Design and scale advanced NLP models and algorithms that perform real-time name matching and identity classification across diverse, multilingual unstructured data sources.

  • Build multi-signal risk scoring that combines name similarity, entity type, geography, list type, and other attributes into unified, calibrated risk scores.

  • Maintain and improve benchmarking frameworks, golden datasets, and regression tests that keep the match engine at the highest levels of recall and precision.

Analytics, Tuning & Evaluation

  • Build models and analytics that help customers tune their screening thresholds to the right operating point for their risk appetite and entity mix.

  • Develop backtesting and counterfactual analysis capabilities so customers and internal teams can understand how model or threshold changes would affect screening outcomes.

  • Design evaluation frameworks for AI-powered autonomous decision systems — defining correct behavior, calibrating confidence thresholds, and monitoring for drift in production.

AML Risk Detection

  • As Watchlist expands into payment screening, build the mathematical analysis and feature engineering needed to detect AML risk patterns across transaction data and payment message fields.

  • Develop and maintain the AML taxonomy and risk signal library that underlies Watchlist's classification and detection capabilities.

  • Apply graph-based methods to surface indirect risk exposure — identifying entities connected to sanctions risk even when they are not directly listed.




Research & Technical Leadership

  • Lead technical initiatives across Watchlist Data Science and shape the team's long-term approach to entity matching, enrichment, and AI.

  • Collaborate closely with Product and Engineering to translate research into production-grade systems at scale.

  • Stay current with advances in NLP, large language models, and entity resolution; prototype and deploy relevant techniques (e.g., advanced NER, LLM-based extraction) to AML use cases.

  • Mentor peers and contribute to a culture of technical rigor and continuous improvement.

WHAT YOU BRING

  • Master's or PhD in Computer Science, Computational Linguistics, Statistics, Applied Mathematics, or a related field; or equivalent professional experience.

  • 7+ years of experience in data science or machine learning, with meaningful work in NLP, entity resolution, or information extraction.

  • Experience in AML, sanctions screening, adverse media, or financial crime detection is strongly preferred.

  • Hands-on experience building and deploying NLP pipelines for entity extraction, named entity recognition, and record linkage at production scale.

  • Familiarity with multilingual NLP and non-Latin script processing is a strong plus.

  • Experience with LLMs and agentic AI frameworks (e.g., LangChain/LangGraph) is a plus.

  • Strong proficiency in Python and major ML libraries (PyTorch, spaCy, HuggingFace Transformers).

  • Strong SQL proficiency and experience with large-scale data pipelines and production ML systems.

  • Excellent communication skills — able to translate model performance tradeoffs into compliance and business language for non-technical audiences.

Note: We cannot provide Sponsorship at this time.

You must be located in one of our talent hubs: New York, San Francisco, Seattle, or Miami.

Socure is an equal opportunity employer that values diversity in all its forms within our company. We do not discriminate based on race, religion, color, national origin, gender, sexual orientation, age, marital status, veteran status, or disability status. If you need an accommodation during any stage of the application or hiring process — including interview or onboarding support — please reach out to your Socure recruiting partner directly.

Socure is an equal opportunity employer that values diversity in all its forms within our company. We do not discriminate based on race, religion, color, national origin, gender, sexual orientation, age, marital status, veteran status, or disability status.
If you need an accommodation during any stage of the application or hiring process—including interview or onboarding support—please reach out to your Socure recruiting partner directly.



Follow Us!

YouTube | LinkedIn | X (Twitter) | Facebook

HireSeeker собирает вакансии со всех площадок и присылает только релевантные. Бесплатно.