Ведущий Data инженер (Python)

Чем предстоит заниматься:

• Писать пайплайны на Python: от сырых данных с проездов до витрин и обучающих датасетов;
• Считать метрики автономии: удержание в полосе, локализация, качество восприятия;
• Собирать датасеты для нейросетей: фильтры, баланс, авторазметка, шаринг между командами;
• Гонять инференс в проде на десятках GPU — авторазметка, эмбеддинги, каскады моделей;
• Ускорять тяжёлую обработку;
• Развивать внутренние библиотеки.

Что мы ждём от кандидата:

• Опыт промышленной разработки на Python: читаемый production-код, ревью, тесты;
• Хорошее знание SQL (джойны, оконные функции) и опыт работы с колоночными СУБД — у нас основной склад аналитики ClickHouse;
• Опыт работы с объектным хранилищем (S3 / совместимым): чтение/запись больших объёмов, партиционирование, работа с путями и метаданными;
• Опыт построения или поддержки data-пайплайнов в оркестраторах (Airflow, Dagster, Argo);
• Готовность разбираться в доменных данных (rosbag / сенсоры / логи машин) и доводить пайплайны до стабильного продакшена.

Будет плюсом:

• Практический опыт со Spark;
• Опыт с Kubernetes (джобы, ресурсы, дебаг падений подов) и/или Docker;
• Запуск инференса / ML-шагов в пайплайнах: GPU, батчи, ClearML / аналог, torch;
• Разработка внутренних Python-библиотек или data-platform компонентов;
• знакомство с ROS / LiDAR.

Примеры реальных задач:

• Спроектировать систему сбора и хранения данных для обучающего датасета с версионированием, с возможностью частичного пересчета, а также использованием преагрегатов и заданным SLA на обработку;
• Синхронизировать данные, идущих с разной частотой: IMU 100 Гц, видео 30 Гц и лидар 10 Гц;
• Реализовать систему семантического поиска похожих ситуаций с использованием эмбеддингов и векторных баз данных.

Ozon Банк расширяется, поэтому мы ищем Старшего дата-инженера в команду платформы данных. Специалисты автоматизируют ETL-процессы, разрабатывают компонентные решения для аналитиков и внедряют новые инструменты работы с данными.

Всё это необходимо, чтобы правильно и быстро реагировать на изменяющиеся потребности бизнеса, оптимизировать процессы и создавать мощную основу для принятия стратегических решений.

Наш стек: Python, Airflow, ClickHouse, PostgreSQL, Vertica, Kafka, S3, Spark, Hadoop, FastAPI, Flask, Kubernetes, Helm, Superset, Prometheus, Grafana, GitLab, Jira, Confluence.

Вам предстоит:

• Разрабатывать инструменты доставки данных.

• Проектировать и реализовывать фабрики пайплайнов.

• Обновлять актуальные данные и следить за их своевременным поступлением.

• Строить систему качества данных.

• Обучать аналитиков и дата-сайентистов современным практикам работы с данными.

• Настраивать и поддерживать системы мониторинга и алертинга.

Для нас важно, что вы:

• Более 3 лет работаете на языке Python.

• Более 3 лет работаете дата-инженером — знаете Apache Spark (PySpark), понимаете принципы работы СУБД и умеете оптимизировать запросы.

• Знаете, как работать с ClickHouse, PostgreSQL, Vertica.

• Понимаете принципы работы хранилища данных.

• Умеете писать компоненты Airflow.

• Поддерживаете порядок в коде, Git и документации.

• Тестируете свои решения при помощи Pytest.

• Умеете и любите быстро учиться, сразу применяете новые знания, можете самостоятельно находить ответы на сложные вопросы.

• Имеете высшее техническое образование.

Будет плюсом, если вы:

• Умеете работать с Kubernetes, Prometheus, Superset, Helm, FastAPI, Flask.

• Имеете опыт общения с аналитиками и дата-сайентистами.

Привет! Мы — онлайн-школа Тетрика, являемся одной из крупнейших EdTech-компаний России в сегменте школьного образования.
За 8 лет мы помогли уже тысячам школьников найти своего репетитора и провели более 2 млн занятий на собственной платформе.

Мы продолжаем расти, а значит, нам нужны новые таланты. Сейчас мы приглашаем в свою команду Мы ищем Дата инженера, который возьмёт на себя DWH, дата-платформу и вырастет в лида DE-направления. Вам предстоит навести порядок в данных, выстроить инженерные стандарты и определить, как будет развиваться направление. Вы будете работать напрямую с CDO и влиять на архитектуру и стратегию данных компании.

Чем предстоит заниматься:

• Завершить переезд аналитики на StarRocks: верифицировать данные и отключить старый контур PostgreSQL;

• Сделать данные надёжными: мониторинг свежести и полноты витрин, SLA, разбор инцидентов, проверки качества;

• Выстроить защиту от поломок при изменениях в продуктовой разработке: контракты, lineage, контроль изменений;

• Запустить каталог данных для ключевых витрин;

• Сформировать карту развития DE-направления и развивать команду из двух дата-инженеров.

Стек:

• StarRocks;

• Yandex Cloud (Managed PostgreSQL, S3);

• SQLMesh;

• Airflow;

• Python (для интеграций и вспомогательных задач);

• Metabase (BI-визуализация);

• GitLab CI/CD.

Что мы ожидаем от кандидата:

• 4+ года опыта в Data Engineering, опыт проектирования DWH и витрин;

• Уверенный SQL и навыки моделирования данных;

• Опыт с OLAP-хранилищами (StarRocks, ClickHouse или аналоги);

• Опыт с оркестрацией и инструментами трансформации (Airflow, Dagster, dbt, SQLMesh);

• Умение общаться с аналитиками и бизнесом на языке результата.

Будет плюсом:

• Опыт миграции хранилищ;

• Опыт выстраивания качества данных: тесты, data contracts, мониторинг;

• Наставничество, код-ревью или руководство небольшой командой.

Что мы предлагаем:

• Оформление по ТК РФ в аккредитованной ИТ-компании;

• Гибридный/удаленный формат работы с гибким началом рабочего дня с 9:00-11:00;

• ДМС со стоматологией после 3 месяцев работы;

• Возможность обучения сотрудника и его детей со скидкой 50% на нашей платформе;

• Корпоративные скидки от наших партнёров;

• Уютный офис в шаговой доступности от метро Курская на территории креативного кластера Artplay.

Процесс найма:

Видеоинтервью с рекрутером → техническое собеседование → видеоинтервью с руководителем → оффер.

Если тебе интересны новые задачи и постоянное развитие, смело отправляй отклик на вакансию. Пожалуйста, расскажи немного о себе и укажи зарплатные ожидания. Будем рады знакомству :)