H
HireSeeker

Data Engineer (Python)

#вакансия #астана #оффлайн #workITkz #python

550 000–850 000 KZT (≈ 98k–152k ₽)КазахстанАстанаОфис

#вакансия #астана #оффлайн #workITkz #python
Должность: Data Engineer
Компания: ••••••••
••••••••
Город: Астана
Занятость: оффлайн
Оплата: ••••••••

Описание вакансии:
— Python
— SQL
— PostgreSQL
— MySQL
— MS SQL
— ClickHouse
— Airflow
— Spark
— Kafka
— Docker
— Git
— Data Lake / DWH
— Разрабатывать и поддерживать ETL/ELT-пайплайны на Python.
— Интегрировать данные из API, БД, файлов и облачных хранилищ.
— Работать с PostgreSQL, MySQL, MS SQL, ClickHouse.
— Настраивать и сопровождать Airflow или аналогичные инструменты.
— Оптимизировать пайплайны и SQL-запросы.
— Мигрировать большие объёмы данных между системами.
— Участвовать в проектировании data-инфраструктуры.
— Взаимодействовать с аналитиками, разработчиками и Data Science-командой.

— Опыт Data Engineer / Python Developer от 2 лет.
— Уверенный Python 3.x.
— Практический опыт ETL/ELT.
— Хороший SQL и реляционные БД.
— Airflow, Prefect или аналоги.
— Apache Spark.
— Kafka.
— Data Lake / Data Warehouse.
— Git и Docker.
Условия/working conditions:
— Полная занятость.
— Официальное трудоустройство по ТК РК.
— График 5/2, 09:00–18:00.
— Оплачиваемый отпуск.
— Современное рабочее место и техника.
— Возможности профессионального и карьерного роста.
— Участие в развитии архитектуры проектов.

Контакты:
Telegram ••••••••
Whatsapp ••••••••

Статьи для Data Engineer

Похожие вакансии Data Engineer

hh.ru
Г

Руководитель разработки - Технический лидер (разработчик / аналитик)

гку горфинтехсервис
Зарплата не указанаРоссияМоскваОфис
Обязанности:
  • Архитектурное проектирование: развивать архитектуру аналитической подсистемы (слои загрузки, DWH/DDS, витрины), выбирать и обосновывать архитектурные паттерны (ETL/ELT, секционирование, шардирование), обеспечивать интеграцию с источниками и внешними системами города.
  • Системный и бизнес‑анализ: собирать и декомпозировать требования подразделений финансового органа, переводить их в технические спецификации, проектировать модели данных и правила трансформаций, вести документацию (спецификации, карты процессов, словари данных).
  • Разработка и техническое лидерство: разрабатывать и поддерживать пайплайны в Apache Airflow (DAGs на Python, кастомные операторы, сенсоры), оптимизировать SQL и PL/pgSQL в PostgreSQL, работать с платформой Полиматика (аналитические модели, витрины, отчётность), проводить код‑ревью, настраивать CI/CD.
  • Управление командой: руководить группой 3–5 специалистов (аналитики, разработчики данных, инженеры DWH), распределять задачи, оценивать сроки и риски, проводить онбординг и менторство, координировать взаимодействие со смежными командами и заказчиком.
  • Эксплуатация и надёжность: контролировать работоспособность подсистемы, настраивать мониторинг и алертинг, управлять релизами, обеспечивать отказоустойчивость и восстанавливаемость процессов.
Требования:
  • Опыт в IT от 7 лет, в разработке данных / DWH — от 5 лет.
  • Уверенное владение PostgreSQL: SQL, PL/pgSQL, оптимизация запросов (EXPLAIN/ANALYZE), партиционирование, индексы, репликация, бэкапы.
  • Опыт промышленной эксплуатации Apache Airflow: DAGs на Python, переменные, пулы, ретраи, SLA, сенсоры; понимание архитектуры (Scheduler, Worker, Webserver, Metadata DB).
  • Уверенный Python 3 для задач Airflow: ООП, библиотеки (psycopg2, SQLAlchemy, pandas, openpyxl), обработка исключений, логирование, тестирование (pytest), работа с API.
  • Опыт работы с платформой Полиматика (или с другими BI-системами, при готовности быстро погрузиться в специфику Полиматики): построение аналитических моделей, настройка расчётов, подготовка витрин для отчётности.
  • Знание подходов к проектированию хранилищ данных: Data Vault, Kimball, Inmon; слои DDS/DWH/DM; SCD‑типы.
  • Опыт интеграции данных: REST/SOAP API, файловые обмены (XLSX, XML, CSV, JSON), прямые подключения к БД.
  • Понимание инфраструктуры: Linux, Docker, основы Kubernetes, CI/CD (GitLab CI, Teamcity).
  • Навыки моделирования: BPMN, EPC, ER‑моделирование, описание AS‑IS / TO‑BE.
  • Опыт управления командой от 2 лет (3+ подчинённых).
  • Готовность работать с повышенными требованиями ИБ, соответствовать 152‑ФЗ, соблюдать регламенты госзаказчика.
  • Умение переключаться между стратегическим видением (архитектура), детальной проработкой (аналитика) и реализацией (код).
  • Умение мотивировать команду, брать ответственность за результат, управлять конфликтами.
  • Навык «перевода» с языка бизнеса на язык разработчиков и наоборот. Умение работать с бюрократическими процессами.
  • Стрессоустойчивость: Способность работать в условиях жестких дедлайнов и высокой ответственности.
Условия:
  • Гибридный формат: регулярные встречи и присутствие на площадке заказчика по согласованию.
  • Работа в стабильной государственной структуре с долгосрочными проектами.
  • Возможность прохождения бесплатного обучения и повышения квалификации.
  • Возможность влиять на архитектуру и процессы, формировать и развивать команду, устанавливать стандарты разработки.
  • Высокие требования к качеству, надёжности, документированию и информационной безопасности — проект с государственным уровнем ответственности.
Открыть на hh.ru
hh.ru
skillstaff

Data инженер (интеграционные среды) Senior, финтех

skillstaff
Зарплата не указанаРоссияМоскваУдалёнка
Мы находимся в поиске Data инженерa в команду развития интеграционной среды и корпоративных данных. Вы будете участвовать в построении единого интеграционного слоя, развитии витрины DMDC и автоматизации подключения источников данных.

Чем предстоит заниматься:

  • Развивать интеграционную среду: подключать метаданные информационных систем к Единому интеграционному слою и витрине DMDC.
  • Создавать шаблоны в платформе управления метаданными для подключения ключевых типов СУБД: PostgreSQL, Oracle, MS SQL, ClickHouse, DB2, Elasticsearch, Tarantool.
  • Проектировать и разрабатывать Python-скрипты для автоматической генерации DDL/DML-запросов.
  • Разрабатывать и поддерживать Airflow DAG для процессов загрузки и обслуживания данных.
  • Исправлять ошибки существующих потоков и повышать их надежность.
  • Разрабатывать Airflow DAG для обслуживания таблиц Iceberg, в том числе с использованием кастомных операторов для оптимизации чтения при большом количестве delete-файлов.
  • Дорабатывать функциональность витрины DMDC для полной поддержки возможностей каталога данных.
  • Дорабатывать функциональность витрины DMDC для полной поддержки возможностей каталога данных.

Для нас важно:

  • Глубокая экспертиза в разработке на PySpark и написании сценариев Airflow.
  • Опыт работы с высоконагруженными распределенными системами обработки и хранения данных (Hadoop).
  • Практические навыки конфигурации и оптимизации Spark-приложений, управления ресурсами Spark.
  • Опыт работы со стеком Streaming/Storage/Messaging: Spark Streaming, Iceberg, Kafka, S3.
  • Навыки работы с контейнеризацией и оркестрацией в Kubernetes.
  • Опыт проведения нагрузочного тестирования систем обработки данных.
  • Экспертное владение SQL и навыки оптимизации сложных запросов.
  • Понимание основ математической статистики, анализа данных и машинного обучения (PyTorch, TensorFlow).
  • Умение работать с распределенными системами и обеспечивать консистентность данных при автоматическом определении типов схем.

Главный принцип SkillStaff - Выбирай!

  • РАЗНООБРАЗИЕ ПРОЕКТОВ. Выбирай из сотен компаний и проектов то, что интересно и полезно для твоего роста. SkillStaff помогает реализовывать ежегодно порядка 500 различных ИТ-проектов для крупного бизнеса.
  • КОМФОРТ. SkillStaff — аккредитованная IT-компания, белая зарплата и удобный график работы. Создавай идеальные условия для своей работы: удаленная работа или возможность работать как в офисе клиента, так и в комфортном офисе SkillStaff в центре Москвы на Воздвиженке.
  • РАЗВИТИЕ. Выбирай сам путь, по которому ты хочешь развиваться. Используй возможность обмена опытом и получение знаний через участие в разных проектах, совместную работу с высококвалифицированными коллегами.
  • КУЛЬТУРА. Нашу культуру создают сами сотрудники – мы их слышим и помогаем развиваться, чтобы #вместе переходить на новый уровень!
Открыть на hh.ru
Соц.сети

Data Engineer

280k–320k ₽РоссияУдалёнка

#vacancy #remote #Вакансия #Удаленка #DataEngineer #Банк #PySpark #Airflow #Hadoop #Kafka #Kubernetes #SQL #Вакансия #IT

🚀 Data Engineer в Банк|компания ••••••••
📌 Проект: Развитие Единого интеграционного слоя и витрины DMDC.

🏦 Заказчик: Банк.
— Ставка: 280–320К руб/мес
— Занятость: Full time
— Длительность: долгосрочно
— Локация: РФ , гражданство РФ
— Оформление: договор с ИП

🛠 Ключевые задачи:
• Разработка потоков подключения метаданных к интеграционному слою.
• Автоматизация и шаблонизация подключения СУБД (PostgreSQL, Oracle, MS-SQL, ClickHouse, DB2, Elasticsearch, Tarantool).
• Написание Python-скриптов для генерации DDL/DML и Airflow DAG для загрузки/обслуживания данных.
• Оптимизация Airflow DAG для таблиц Iceberg (кастомные операторы, чтение при большом количестве delete-файлов).
• Доработка витрины DMDC и ведение проектной документации.
✅ Требования:
• Глубокая экспертиза в PySpark и Airflow.
• Опыт с нагруженными распределёнными системами (Hadoop).
• Настройка и оптимизация Spark-приложений, управление ресурсами.
• Стек Streaming/Storage/Messaging: Spark Streaming, Iceberg, Kafka, S3.
• Kubernetes (K8s), нагрузочное тестирование.
• Экспертный SQL + оптимизация сложных запросов.
• Знание матстатистики, анализа данных, основ ML (PyTorch/TensorFlow).
• Опыт работы в распределённых системах и обеспечение консистентности данных.
💻 Стек: PostgreSQL, MS-SQL, Oracle, ClickHouse, DB2, Tarantool, Elasticsearch, Hadoop (Impala, Hive), Spark, Iceberg, Kafka, S3, Python (Pandas, NumPy, Matplotlib), C#, SQL, Git, Jira, Kubernetes.

📩 Отклик: •••••••• (все требования и стек, если с ними был опыт, должны быть отражены в резюме!)✅

HireSeeker собирает вакансии со всех площадок и присылает только релевантные. Бесплатно.

Посмотреть полный каталог →Свежие вакансии Data Engineer