Data Engineer (Python)
Мы строим Data Lake под регуляторное хранилище на базе ClickHouse. Ищем опытного Data Engineer, который не понаслышке знает, как всё устроено - от архитектуры хранилища до тонкостей работы конкретной СУБД под нагрузкой.
↑ Вакансия с автоподнятиемПривет!
Мы строим Data Lake под регуляторное хранилище на базе ClickHouse. Ищем опытного Data Engineer, который не понаслышке знает, как всё устроено - от архитектуры хранилища до тонкостей работы конкретной СУБД под нагрузкой.
Вам предстоит разобраться в сложном legacy-коде, спроектировать и запустить надёжные пайплайны данных, а также поучаствовать в ключевых архитектурных решениях. Мы ждём человека, которому интересно данное направление, который умеет аргументировать свою позицию и берёт ответственность за результ
Технические требования (Hard Skills)
Обязательно
• Oracle PL/SQL: чтение и понимание сложного существующего кода (пакеты, хранимые процедуры, функции, тонкости транзакционной логики), умение переносить/перепроектировать бизнес-логику под новый стек.
• SQL: отличное владение аналитическим SQL: сложные JOIN, оконные функции, CTE, агрегации, оптимизация запросов.
• ClickHouse: уверенный опыт работы - движки таблиц (MergeTree-семейство и др.), партиционирование, индексы, материализованные представления, движки для интеграции, кодеки сжатия, репликации.
• Apache Airflow: разработка production-ready DAG, управление зависимостями, retry/backfill, переменные и соединения, мониторинг ошибок.
• DataLake: понимание архитектур хранилищ, моделирование данных под аналитику, работа с большими объёмами, опыт с Apache Iceberg как плюс.
Важно (будет плюсом)
• Python: уверенный уровень (автоматизация ETL, работа с Airflow, клиентами БД, тестирование).
• Trino: понимание принципов работы, построение запросов, оптимизация JOIN, работа с каталогом.
• Apache Spark: опыт batch-обработки (PySpark), интеграция с Iceberg/S3, понимание распределённых вычислений.
• Data Quality: опыт внедрения проверок качества данных, мониторинг аномалий.
• Мониторинг: построение мониторинга пайплайнов, автоматизация алертинга.
• Инфраструктура и CI/CD: Git, опыт работы с S3-compatible storage, понимание CI/CD для data-конвейеров.
Будет преимуществом
• Опыт работы в банковской сфере: знание банковских продуктов, плана счетов, принципов учёта.
• Знание регуляторной отчётности.
• Опыт работы с PL+ (ЦФТ).
• Опыт проектирования lakehouse-архитектуры.
• Опыт миграций с legacy-хранилищ.
Опыт работы
• От 3 лет в IT, из них не менее 1 года в роли Data Engineer / ETL-разработчика / инженера данных.
• Опыт работы с высоконагруженными аналитическими системами и большими объёмами данных.
• Опыт участия в архитектурных обсуждениях и проектировании решений.
• Желателен опыт в финансовом секторе / банках.
Образование
• Высшее техническое/математическое/IT.
Личные качества (Soft Skills)
• Умение работать в команде и эффективно коммуницировать с аналитиками, архитекторами, разработчиками и бизнесом.
• Умение аргументировать технические решения и участвовать в конструктивных дебатах.
• Самостоятельность, проактивность, ответственность за результат.
• Готовность разбираться в чужом сложном legacy-коде.
• Внимательность к деталям и аккуратность при работе с критичными финансовыми данными.
Что мы предлагаем:
- Абсолютную свободу от бюрократии – здесь ценят инициативу и идеи.
- Дружелюбную корпоративную атмосферу и поддержку со стороны коллег.
- Возможности для обучения и развития – мы готовы инвестировать в ваш профессиональный рост.
- Ежегодный пересмотр зарплаты с учётом ваших достижений.
- Годовой бонус, который приятно дополняет вашу зарплату.
- Современный и уютный офис, который вошёл в Топ-10 лучших в Казахстане.
- Офисный формат работы с возможностью удаленного подключения при необходимости.
- Бесплатный тренажерный зал в офисе.
- Электронную библиотеку.
- Релокационный пакет.
Похожие вакансии Data Engineer
Привет! Это команда разработки операционной аналитики.
Наша логистика доставляет миллионы товаров в сутки. Чтобы делать это быстро и качественно, всем точкам нашей сети доставки важно получать оперативную и качественную аналитику.
Задача нашей команды – предоставлять real-time и около real-time аналитику для тысяч наших пользователей на сортировочных центрах, расположенных по всей стране, оперируя терабайтами данных, получаемых от множества внутренних систем.
Наш стек
ClickHouse, Kafka, Airflow, Grafana, Superset, GitLab.
Вы будете
Создавать real-time отчетность для сортировочных центров и различных команд в логистике.
Настраивать интеграцию данных с другими базами данных и сервисами.
Разрабатывать новые схемы хранения данных и подходы к их обработке, участвовать в оптимизации имеющихся схем.
Создавать стабильные отказоустойчивые и масштабируемые аналитические сервисы.
Развивать внутренний инструментарий команды.
Нам важно
Опыт работы с обработкой больших данных и колоночными СУБД.
Продвинутое знание SQL.
Опыт разработки на Python.
Опыт в оптимизации производительности запросов и ETL процессов.
Уверенный технический бэкграунд (вы представляете себе, что такое контейнеры, K8s, Kafka, CI/CD и т. д).
Будет плюсом
Опыт работы с ClickHouse.
Опыт работы с Airflow.
Опыт работы с Prometheus.
Чем предстоит заниматься:
- Писать пайплайны на Python: от сырых данных с проездов до витрин и обучающих датасетов;
- Считать метрики автономии: удержание в полосе, локализация, качество восприятия;
- Собирать датасеты для нейросетей: фильтры, баланс, авторазметка, шаринг между командами;
- Гонять инференс в проде на десятках GPU — авторазметка, эмбеддинги, каскады моделей;
- Ускорять тяжёлую обработку;
- Развивать внутренние библиотеки.
Что мы ждём от кандидата:
- Опыт промышленной разработки на Python: читаемый production-код, ревью, тесты;
- Хорошее знание SQL (джойны, оконные функции) и опыт работы с колоночными СУБД — у нас основной склад аналитики ClickHouse;
- Опыт работы с объектным хранилищем (S3 / совместимым): чтение/запись больших объёмов, партиционирование, работа с путями и метаданными;
- Опыт построения или поддержки data-пайплайнов в оркестраторах (Airflow, Dagster, Argo);
- Готовность разбираться в доменных данных (rosbag / сенсоры / логи машин) и доводить пайплайны до стабильного продакшена.
Будет плюсом:
- Практический опыт со Spark;
- Опыт с Kubernetes (джобы, ресурсы, дебаг падений подов) и/или Docker;
- Запуск инференса / ML-шагов в пайплайнах: GPU, батчи, ClearML / аналог, torch;
- Разработка внутренних Python-библиотек или data-platform компонентов;
- знакомство с ROS / LiDAR.
Примеры реальных задач:
- Спроектировать систему сбора и хранения данных для обучающего датасета с версионированием, с возможностью частичного пересчета, а также использованием преагрегатов и заданным SLA на обработку;
- Синхронизировать данные, идущих с разной частотой: IMU 100 Гц, видео 30 Гц и лидар 10 Гц;
- Реализовать систему семантического поиска похожих ситуаций с использованием эмбеддингов и векторных баз данных.
HireSeeker собирает вакансии со всех площадок и присылает только релевантные. Бесплатно.