Data Engineer (Python)

Ozon Банк расширяется, поэтому мы ищем Старшего дата-инженера в команду платформы данных. Специалисты автоматизируют ETL-процессы, разрабатывают компонентные решения для аналитиков и внедряют новые инструменты работы с данными.

Всё это необходимо, чтобы правильно и быстро реагировать на изменяющиеся потребности бизнеса, оптимизировать процессы и создавать мощную основу для принятия стратегических решений.

Наш стек: Python, Airflow, ClickHouse, PostgreSQL, Vertica, Kafka, S3, Spark, Hadoop, FastAPI, Flask, Kubernetes, Helm, Superset, Prometheus, Grafana, GitLab, Jira, Confluence.

Вам предстоит:

• Разрабатывать инструменты доставки данных.

• Проектировать и реализовывать фабрики пайплайнов.

• Обновлять актуальные данные и следить за их своевременным поступлением.

• Строить систему качества данных.

• Обучать аналитиков и дата-сайентистов современным практикам работы с данными.

• Настраивать и поддерживать системы мониторинга и алертинга.

Для нас важно, что вы:

• Более 3 лет работаете на языке Python.

• Более 3 лет работаете дата-инженером — знаете Apache Spark (PySpark), понимаете принципы работы СУБД и умеете оптимизировать запросы.

• Знаете, как работать с ClickHouse, PostgreSQL, Vertica.

• Понимаете принципы работы хранилища данных.

• Умеете писать компоненты Airflow.

• Поддерживаете порядок в коде, Git и документации.

• Тестируете свои решения при помощи Pytest.

• Умеете и любите быстро учиться, сразу применяете новые знания, можете самостоятельно находить ответы на сложные вопросы.

• Имеете высшее техническое образование.

Будет плюсом, если вы:

• Умеете работать с Kubernetes, Prometheus, Superset, Helm, FastAPI, Flask.

• Имеете опыт общения с аналитиками и дата-сайентистами.

Привет! Мы — онлайн-школа Тетрика, являемся одной из крупнейших EdTech-компаний России в сегменте школьного образования.
За 8 лет мы помогли уже тысячам школьников найти своего репетитора и провели более 2 млн занятий на собственной платформе.

Мы продолжаем расти, а значит, нам нужны новые таланты. Сейчас мы приглашаем в свою команду Мы ищем Дата инженера, который возьмёт на себя DWH, дата-платформу и вырастет в лида DE-направления. Вам предстоит навести порядок в данных, выстроить инженерные стандарты и определить, как будет развиваться направление. Вы будете работать напрямую с CDO и влиять на архитектуру и стратегию данных компании.

Чем предстоит заниматься:

• Завершить переезд аналитики на StarRocks: верифицировать данные и отключить старый контур PostgreSQL;

• Сделать данные надёжными: мониторинг свежести и полноты витрин, SLA, разбор инцидентов, проверки качества;

• Выстроить защиту от поломок при изменениях в продуктовой разработке: контракты, lineage, контроль изменений;

• Запустить каталог данных для ключевых витрин;

• Сформировать карту развития DE-направления и развивать команду из двух дата-инженеров.

Стек:

• StarRocks;

• Yandex Cloud (Managed PostgreSQL, S3);

• SQLMesh;

• Airflow;

• Python (для интеграций и вспомогательных задач);

• Metabase (BI-визуализация);

• GitLab CI/CD.

Что мы ожидаем от кандидата:

• 4+ года опыта в Data Engineering, опыт проектирования DWH и витрин;

• Уверенный SQL и навыки моделирования данных;

• Опыт с OLAP-хранилищами (StarRocks, ClickHouse или аналоги);

• Опыт с оркестрацией и инструментами трансформации (Airflow, Dagster, dbt, SQLMesh);

• Умение общаться с аналитиками и бизнесом на языке результата.

Будет плюсом:

• Опыт миграции хранилищ;

• Опыт выстраивания качества данных: тесты, data contracts, мониторинг;

• Наставничество, код-ревью или руководство небольшой командой.

Что мы предлагаем:

• Оформление по ТК РФ в аккредитованной ИТ-компании;

• Гибридный/удаленный формат работы с гибким началом рабочего дня с 9:00-11:00;

• ДМС со стоматологией после 3 месяцев работы;

• Возможность обучения сотрудника и его детей со скидкой 50% на нашей платформе;

• Корпоративные скидки от наших партнёров;

• Уютный офис в шаговой доступности от метро Курская на территории креативного кластера Artplay.

Процесс найма:

Видеоинтервью с рекрутером → техническое собеседование → видеоинтервью с руководителем → оффер.

Если тебе интересны новые задачи и постоянное развитие, смело отправляй отклик на вакансию. Пожалуйста, расскажи немного о себе и укажи зарплатные ожидания. Будем рады знакомству :)

Привет! Я Антон, отвечаю за платформенные команды в Профи.ру. Наш сервис помогает клиентам находить профессионалов для разных задач, а специалистам — зарабатывать на том, что они любят и умеют делать.

Ищу тимлида в команду BI. Несмотря на название, это скорее инженерная BI-платформа, чем бизнесовая команда. Задача ребят — сделать так, чтобы аналитики и бизнес получали нужные данные и инструменты быстро, стабильно и с понятным качеством.

В зоне команды много разных систем: realtime-аналитика, CDC из основной MySQL-базы, ETL и витрины данных, ClickHouse и Greenplum, калькулятор результатов A/B-экспериментов, OpenMetadata, Metabase и внутренние сервисы.

Сейчас у нас сразу несколько больших инженерных изменений: перенос realtime-аналитики на новый стандартизированный пайплайн, переход с RabbitMQ на Kafka, запуск CDC и обогащения событий в проде, развитие калькулятора A/B-тестов и системы расчёта зарплат поддержки.

В команде пять человек: три data-инженера, DWH-архитектор и BI-аналитик. Тебе предстоит быть их пипл-менеджером и отвечать за то, как команда проходит через эти изменения.

Работаем почти полностью удалённо. Регулярно встречаемся на онлайн-стендапе, иногда выбираемся куда-нибудь вместе, но обязательных офлайн-встреч нет.

Технологии

• Python — основной язык команды. На нём пишем большую часть сервисов и внутренних инструментов, которые сами поддерживаем.

• TypeScript — используем для сервисов, которые выходят за пределы команды, например админки и MCP-серверов.

• SQL — работаем с ClickHouse, Greenplum и MySQL.

• ClickHouse — realtime-аналитика, маркетинговые данные, затраты рекламных агентств и реплики витрин.

• Greenplum — ETL и формирование витрин по нескольким доменам данных.

• Kafka — стриминг аналитических событий и CDC.

• Debezium — CDC из основной MySQL-базы компании.

• Airflow 3 — оркестрация ETL-процессов.

• OpenMetadata — метаданные объектов баз данных и бизнес-глоссарий сущностей и метрик.

• Metabase — BI-инструмент.

• Есть немного легаси на PHP и Java, но новые решения на них не пишем.

Зачем тебе к нам

• Определять, какой будет BI-платформа Профи.ру дальше. Команда создаёт инфраструктуру и инструменты, которыми пользуются аналитики и бизнес. У тебя здесь большая зона технического влияния: от принципов доставки и хранения данных до того, как устроены ключевые витрины и доступ к ним.

• Прийти в момент, когда можно заметно изменить архитектуру. Мы переводим realtime-аналитику на новый пайплайн, переезжаем с RabbitMQ на Kafka, запускаем CDC и near-realtime-обогащение событий. Многие важные решения ещё предстоит принять и довести до продакшена.

• Работать с платформой целиком, а не с одним её слоем. В одной команде сходятся стриминг, ETL, ClickHouse и Greenplum, A/B-инфраструктура, метаданные и внутренние сервисы. Можно влиять на полный путь данных — от появления события в продукте до момента, когда аналитик или бизнес получает на его основе ответ.

Чем предстоит заниматься

• Быть пипл-менеджером для команды: работать с тремя data-инженерами, DWH-архитектором и BI-аналитиком.

• Провести команду через миграцию на новый пайплайн realtime-аналитики: перенести отправку событий и помочь перевести пользователей данных на новые структуры в ClickHouse.

• Перевести стриминговую аналитику с RabbitMQ на Kafka.

• Довести до продакшена CDC из основной MySQL-базы и near-realtime-обогащение аналитических событий.

• Развивать калькулятор результатов A/B-экспериментов: у аналитиков накопился запрос на существенные изменения в этом инструменте.

• Развивать систему расчёта зарплат поддержки, сделать расчёты прозрачнее и обеспечить отображение оплачиваемых событий в реальном времени.

• Поддерживать и развивать платформу данных: ETL и витрины, ClickHouse и Greenplum, OpenMetadata, Metabase и внутренние сервисы команды.

• Вместе с командой разбираться в логике ключевых витрин и следить за качеством и своевременностью предоставления данных.

• Писать код вместе с командой — разработка будет занимать примерно 30–40% рабочего времени.

Что нужно, чтобы к нам присоединиться

• Хорошая база в data engineering. В команде сильные самостоятельные инженеры, поэтому не нужно быть главным техническим экспертом. Но важно говорить с ребятами на одном языке, уверенно обсуждать пайплайны, ETL, хранилища и стриминг, вместе принимать решения.

• Опыт проектирования и развития data-платформ. Уметь видеть систему целиком, задавать правильные вопросы, замечать риски и помогать команде разбирать сложные технические развилки.

• Понимание realtime- и near-realtime-сценариев. В работе много стриминга, CDC и доставки событий, поэтому пригодится опыт с Kafka, ClickHouse, Debezium или похожими технологиями.

• Умение вести технические обсуждения и принимать решения в условиях неопределённости. Здесь не всегда будет один очевидный путь: важно уметь сравнивать варианты, объяснять выбор и договариваться с сильными инженерами.

• Готовность быть пипл-менеджером команды. В подчинении будут data-инженеры, DWH-архитектор и BI-аналитик, поэтому важно уметь держать общий фокус команды, помогать людям развиваться и выстраивать рабочее взаимодействие.

Что мы за это предлагаем

• Пересмотр зарплаты и грейда дважды в год — держим уровень рынка или выше.

• Опционы тем, кто круто себя проявит.

• Полный день со свободным графиком: классный офис в Москве или удалёнка. Рабочее время не контролируем.

• 100% ДМС в лучших клиниках России и СНГ — со стоматологией и лечением онкологии.

• Технику для работы — ноутбук на Mac или Windows и всё, что понадобится. Включая подписки на AI-инструменты.

• Обучение: оплатим профильные курсы, конференции и митапы. Проводим крутые хакатоны и тренинги.

• Скидку на Профи.ру — компенсируем до 3450 рублей gross от стоимости заказа.

• Книги: электронная библиотека «Альпины» и книжная полка в офисе.

• Завтраки в офисе: запеканки, каши, лосось с авокадо, круассаны и другая вкуснятина :)

• Вечеринки, которые сложно назвать корпоративом: покоряем горнолыжные склоны, устраиваем фестивали, собираемся в разных городах.

• Плюшку на выбор каждый месяц — компенсируем 50% стоимости, до 6900 gross рублей: спорт, психотерапия, массаж, check-up, коворкинг, няня или сиделка, парковка у офиса, обустройство рабочего места, мед. услуги вне ДМС или ДМС для родственника.