
яндекс · На сервисе с: 03.07.26 19:11
↑ Вакансия с автоподнятиемКоманда состоит из нескольких разработчиков. У нас есть несколько ключевых элементов работы:
* Граф метрик в виде DAG с оценёнными причинно-следственными связями. Большая часть блоков уже реализована — есть интерактивная визуализация и пайплайн, который оценивает связи
* Платформа A/B-экспериментов, которая включает pruning, winsoring и sanity checks. Сейчас в работе десятки экспериментов
Мы используем следующий стек технологий: Python, SQL, Airflow, MapReduce, BI-системы, VCS.
Есть research-стрим: в команде выделяем время на то, чтобы тестировать подходы без необходимости отчитываться за бизнес-результат. Можно пробовать новые методы, создавать прототипы и проверять идеи.
Развитие инфраструктуры графа метрик
Вы будете работать с пайплайном оценки весов рёбер, реализовывать процедуры прямого и обратного прохода и настраивать систему валидации версий графа. Вам предстоит автоматизировать регулярные прогоны, следить за качеством связей и настраивать CI для релизов новых версий графа.
Руководство разработкой
Нужно будет разбивать задачи по проектам — графу метрик, платформе экспериментов и техдолгу, проверять архитектурные решения, помогать новым разработчикам освоиться в команде и распределять рабочую нагрузку.
Платформа экспериментов
Ваша задача — развивать модули pruning/winsoring и sanity checks, а также систему расчёта доказанного эффекта. Вам нужно поддерживать работу платформы, на которой запускаются сотни экспериментов.
Инфраструктура и техдолг
Вы будете перемещать процессы между кластерами, поддерживать квоты и переносить код. Также вам нужно будет обеспечить стабильность пайплайнов и качество данных.
Больше об ML в Яндексе — в канале Yandex for ML
* Проектировали пайплайны обработки данных: Airflow, Luigi, Dagster или аналоги
* Работали с MapReduce, Spark и большими объёмами данных
* Руководили командой или выступали в роли ведущего разработчика с распределением задач
* Владеете Python на высоком уровне и SQL — на уверенном
* Понимаете, что такое А/Б-эксперименты, CUPED, регрессии — не как исследователь, а как инженер, способный реализовать методологию в коде
* Уверенно владеете системами контроля версий (VCS: Git, Bitbucket)
* Готовы разбираться в причинно следственном-выводе (causal inference) на инженерном уровне
* Проактивны, ориентированы на результат, умеете доводить работу до прода
* Работали с CI/CD для ML-пайплайнов
* Работали с распределёнными вычислениями на больших кластерах
* Знакомы с графовыми структурами данных
* Знаете основы причинно-следственного анализа (DAG, backdoor, instrumental variables); базовой эконометрики будет достаточно — если что, разберёмся на лету
HireSeeker собирает вакансии со всех площадок и присылает только релевантные. Бесплатно.