Data Engineer (Data Engineering Team) в Capital
📍Варшава/Лимассол/София
💎3+ года опыта, Redshift, Snowflake, DBT, Apache Airflow, Python, Tableau/Power BI/Looker
🚀Фаундер — Виктор Прокопеня
Capital — международная финтех-компания, которая развивает онлайн-платформу для торговли финансовыми инструментами
Размер команды — 1k-5k
Узнать детали и откликнуться: тут
🤝Ещё 150+ вакансий аналитиков в компаниях с русскоговорящими фаундерами / командами — в нашей рассылке
Больше вакансий в компании:
— Java Software Engineer
— Junior AI Engineer
Привет! Я Антон, отвечаю за платформенные команды в Профи.ру. Наш сервис помогает клиентам находить профессионалов для разных задач, а специалистам — зарабатывать на том, что они любят и умеют делать.
Ищу тимлида в команду BI. Несмотря на название, это скорее инженерная BI-платформа, чем бизнесовая команда. Задача ребят — сделать так, чтобы аналитики и бизнес получали нужные данные и инструменты быстро, стабильно и с понятным качеством.
В зоне команды много разных систем: realtime-аналитика, CDC из основной MySQL-базы, ETL и витрины данных, ClickHouse и Greenplum, калькулятор результатов A/B-экспериментов, OpenMetadata, Metabase и внутренние сервисы.
Сейчас у нас сразу несколько больших инженерных изменений: перенос realtime-аналитики на новый стандартизированный пайплайн, переход с RabbitMQ на Kafka, запуск CDC и обогащения событий в проде, развитие калькулятора A/B-тестов и системы расчёта зарплат поддержки.
В команде пять человек: три data-инженера, DWH-архитектор и BI-аналитик. Тебе предстоит быть их пипл-менеджером и отвечать за то, как команда проходит через эти изменения.
Работаем почти полностью удалённо. Регулярно встречаемся на онлайн-стендапе, иногда выбираемся куда-нибудь вместе, но обязательных офлайн-встреч нет.
Python — основной язык команды. На нём пишем большую часть сервисов и внутренних инструментов, которые сами поддерживаем.
TypeScript — используем для сервисов, которые выходят за пределы команды, например админки и MCP-серверов.
SQL — работаем с ClickHouse, Greenplum и MySQL.
ClickHouse — realtime-аналитика, маркетинговые данные, затраты рекламных агентств и реплики витрин.
Greenplum — ETL и формирование витрин по нескольким доменам данных.
Kafka — стриминг аналитических событий и CDC.
Debezium — CDC из основной MySQL-базы компании.
Airflow 3 — оркестрация ETL-процессов.
OpenMetadata — метаданные объектов баз данных и бизнес-глоссарий сущностей и метрик.
Metabase — BI-инструмент.
Есть немного легаси на PHP и Java, но новые решения на них не пишем.
Определять, какой будет BI-платформа Профи.ру дальше. Команда создаёт инфраструктуру и инструменты, которыми пользуются аналитики и бизнес. У тебя здесь большая зона технического влияния: от принципов доставки и хранения данных до того, как устроены ключевые витрины и доступ к ним.
Прийти в момент, когда можно заметно изменить архитектуру. Мы переводим realtime-аналитику на новый пайплайн, переезжаем с RabbitMQ на Kafka, запускаем CDC и near-realtime-обогащение событий. Многие важные решения ещё предстоит принять и довести до продакшена.
Работать с платформой целиком, а не с одним её слоем. В одной команде сходятся стриминг, ETL, ClickHouse и Greenplum, A/B-инфраструктура, метаданные и внутренние сервисы. Можно влиять на полный путь данных — от появления события в продукте до момента, когда аналитик или бизнес получает на его основе ответ.
Быть пипл-менеджером для команды: работать с тремя data-инженерами, DWH-архитектором и BI-аналитиком.
Провести команду через миграцию на новый пайплайн realtime-аналитики: перенести отправку событий и помочь перевести пользователей данных на новые структуры в ClickHouse.
Перевести стриминговую аналитику с RabbitMQ на Kafka.
Довести до продакшена CDC из основной MySQL-базы и near-realtime-обогащение аналитических событий.
Развивать калькулятор результатов A/B-экспериментов: у аналитиков накопился запрос на существенные изменения в этом инструменте.
Развивать систему расчёта зарплат поддержки, сделать расчёты прозрачнее и обеспечить отображение оплачиваемых событий в реальном времени.
Поддерживать и развивать платформу данных: ETL и витрины, ClickHouse и Greenplum, OpenMetadata, Metabase и внутренние сервисы команды.
Вместе с командой разбираться в логике ключевых витрин и следить за качеством и своевременностью предоставления данных.
Писать код вместе с командой — разработка будет занимать примерно 30–40% рабочего времени.
Хорошая база в data engineering. В команде сильные самостоятельные инженеры, поэтому не нужно быть главным техническим экспертом. Но важно говорить с ребятами на одном языке, уверенно обсуждать пайплайны, ETL, хранилища и стриминг, вместе принимать решения.
Опыт проектирования и развития data-платформ. Уметь видеть систему целиком, задавать правильные вопросы, замечать риски и помогать команде разбирать сложные технические развилки.
Понимание realtime- и near-realtime-сценариев. В работе много стриминга, CDC и доставки событий, поэтому пригодится опыт с Kafka, ClickHouse, Debezium или похожими технологиями.
Умение вести технические обсуждения и принимать решения в условиях неопределённости. Здесь не всегда будет один очевидный путь: важно уметь сравнивать варианты, объяснять выбор и договариваться с сильными инженерами.
Готовность быть пипл-менеджером команды. В подчинении будут data-инженеры, DWH-архитектор и BI-аналитик, поэтому важно уметь держать общий фокус команды, помогать людям развиваться и выстраивать рабочее взаимодействие.
Пересмотр зарплаты и грейда дважды в год — держим уровень рынка или выше.
Опционы тем, кто круто себя проявит.
Полный день со свободным графиком: классный офис в Москве или удалёнка. Рабочее время не контролируем.
100% ДМС в лучших клиниках России и СНГ — со стоматологией и лечением онкологии.
Технику для работы — ноутбук на Mac или Windows и всё, что понадобится. Включая подписки на AI-инструменты.
Обучение: оплатим профильные курсы, конференции и митапы. Проводим крутые хакатоны и тренинги.
Скидку на Профи.ру — компенсируем до 3450 рублей gross от стоимости заказа.
Книги: электронная библиотека «Альпины» и книжная полка в офисе.
Завтраки в офисе: запеканки, каши, лосось с авокадо, круассаны и другая вкуснятина :)
Вечеринки, которые сложно назвать корпоративом: покоряем горнолыжные склоны, устраиваем фестивали, собираемся в разных городах.
Плюшку на выбор каждый месяц — компенсируем 50% стоимости, до 6900 gross рублей: спорт, психотерапия, массаж, check-up, коворкинг, няня или сиделка, парковка у офиса, обустройство рабочего места, мед. услуги вне ДМС или ДМС для родственника.
Data Engineer
Длительность: долгосрок
Вилка: 170-190
Формат работы: удаленный
Локация, гражданство РФ
Проектирование и разработка пайплайнов обработки данных, поддержка и развитие DWH/ETL-процессов, рефакторинг кода, аналитика и миграция источников данных в отчетности.
Требования:
Общий опыт коммерческой разработки от 3 лет.
MSSQL: уверенное владение (T-SQL, оптимизация запросов, хранимые процедуры).
Python: от 2 лет.
Airflow: от 1 года (построение и сопровождение DAG, планирование, мониторинг).
Понимание принципов построения ETL/ELT-пайплайнов, работы с большими объемами данных, обеспечения отказоустойчивости и идемпотентности загрузок.
Git, уверенное владение SQL.
Опыт проектирования и разработки пайплайнов данных с нуля, участие в архитектурных решениях.
Опыт рефакторинга существующего кода, оптимизации производительности запросов, повышения отказоустойчивости.
Умение разбираться в чужом коде, самостоятельная проработка технических решений, декомпозиция сложных задач.
Опыт работы с инцидентами.
Опыт аналитических задач по изменению источников данных в отчетности (переключение с одной мастер-системы на другую), сверка данных, валидация результатов миграции.
Будет плюсом:
Опыт работы в e-com.
Системы учета задач и документации:
Jira, Confluence, GitLab.
🍂Резюме нужно прислать сегодня
В резюме должен быть отражен опыт, указанный в вакансии
••••••••
Привет! Это команда разработки операционной аналитики.
Наша логистика доставляет миллионы товаров в сутки. Чтобы делать это быстро и качественно, всем точкам нашей сети доставки важно получать оперативную и качественную аналитику.
Задача нашей команды – предоставлять real-time и около real-time аналитику для тысяч наших пользователей на сортировочных центрах, расположенных по всей стране, оперируя терабайтами данных, получаемых от множества внутренних систем.
Наш стек
ClickHouse, Kafka, Airflow, Grafana, Superset, GitLab.
Вы будете
Создавать real-time отчетность для сортировочных центров и различных команд в логистике.
Настраивать интеграцию данных с другими базами данных и сервисами.
Разрабатывать новые схемы хранения данных и подходы к их обработке, участвовать в оптимизации имеющихся схем.
Создавать стабильные отказоустойчивые и масштабируемые аналитические сервисы.
Развивать внутренний инструментарий команды.
Нам важно
Опыт работы с обработкой больших данных и колоночными СУБД.
Продвинутое знание SQL.
Опыт разработки на Python.
Опыт в оптимизации производительности запросов и ETL процессов.
Уверенный технический бэкграунд (вы представляете себе, что такое контейнеры, K8s, Kafka, CI/CD и т. д).
Будет плюсом
Опыт работы с ClickHouse.
Опыт работы с Airflow.
Опыт работы с Prometheus.
HireSeeker собирает вакансии со всех площадок и присылает только релевантные. Бесплатно.