Data Engineer (Python, C#)

#vacancy #remote #Вакансия #Удаленка #DataEngineer #Банк #PySpark #Airflow #Hadoop #Kafka #Kubernetes #SQL #Вакансия #IT

280k–320k ₽РоссияУдалёнка

#vacancy #remote #Вакансия #Удаленка #DataEngineer #Банк #PySpark #Airflow #Hadoop #Kafka #Kubernetes #SQL #Вакансия #IT

🚀 Data Engineer в Банк|компания ••••••••

📌 Проект: Развитие Единого интеграционного слоя и витрины DMDC.

🏦 Заказчик: Банк.
— Ставка: 280–320К руб/мес
— Занятость: Full time
— Длительность: долгосрочно
— Локация: РФ , гражданство РФ
— Оформление: договор с ИП

🛠 Ключевые задачи:
• Разработка потоков подключения метаданных к интеграционному слою.
• Автоматизация и шаблонизация подключения СУБД (PostgreSQL, Oracle, MS-SQL, ClickHouse, DB2, Elasticsearch, Tarantool).
• Написание Python-скриптов для генерации DDL/DML и Airflow DAG для загрузки/обслуживания данных.
• Оптимизация Airflow DAG для таблиц Iceberg (кастомные операторы, чтение при большом количестве delete-файлов).
• Доработка витрины DMDC и ведение проектной документации.
✅ Требования:
• Глубокая экспертиза в PySpark и Airflow.
• Опыт с нагруженными распределёнными системами (Hadoop).
• Настройка и оптимизация Spark-приложений, управление ресурсами.
• Стек Streaming/Storage/Messaging: Spark Streaming, Iceberg, Kafka, S3.
• Kubernetes (K8s), нагрузочное тестирование.
• Экспертный SQL + оптимизация сложных запросов.
• Знание матстатистики, анализа данных, основ ML (PyTorch/TensorFlow).
• Опыт работы в распределённых системах и обеспечение консистентности данных.
💻 Стек: PostgreSQL, MS-SQL, Oracle, ClickHouse, DB2, Tarantool, Elasticsearch, Hadoop (Impala, Hive), Spark, Iceberg, Kafka, S3, Python (Pandas, NumPy, Matplotlib), C#, SQL, Git, Jira, Kubernetes.

📩 Отклик: •••••••• (все требования и стек, если с ними был опыт, должны быть отражены в резюме!)✅

Похожие вакансии Data Engineer

hh.ru
Зарплата не указанаРоссияМоскваУдалёнка
Мы находимся в поиске Data инженерa в команду развития интеграционной среды и корпоративных данных. Вы будете участвовать в построении единого интеграционного слоя, развитии витрины DMDC и автоматизации подключения источников данных.

Чем предстоит заниматься:

  • Развивать интеграционную среду: подключать метаданные информационных систем к Единому интеграционному слою и витрине DMDC.
  • Создавать шаблоны в платформе управления метаданными для подключения ключевых типов СУБД: PostgreSQL, Oracle, MS SQL, ClickHouse, DB2, Elasticsearch, Tarantool.
  • Проектировать и разрабатывать Python-скрипты для автоматической генерации DDL/DML-запросов.
  • Разрабатывать и поддерживать Airflow DAG для процессов загрузки и обслуживания данных.
  • Исправлять ошибки существующих потоков и повышать их надежность.
  • Разрабатывать Airflow DAG для обслуживания таблиц Iceberg, в том числе с использованием кастомных операторов для оптимизации чтения при большом количестве delete-файлов.
  • Дорабатывать функциональность витрины DMDC для полной поддержки возможностей каталога данных.
  • Дорабатывать функциональность витрины DMDC для полной поддержки возможностей каталога данных.

Для нас важно:

  • Глубокая экспертиза в разработке на PySpark и написании сценариев Airflow.
  • Опыт работы с высоконагруженными распределенными системами обработки и хранения данных (Hadoop).
  • Практические навыки конфигурации и оптимизации Spark-приложений, управления ресурсами Spark.
  • Опыт работы со стеком Streaming/Storage/Messaging: Spark Streaming, Iceberg, Kafka, S3.
  • Навыки работы с контейнеризацией и оркестрацией в Kubernetes.
  • Опыт проведения нагрузочного тестирования систем обработки данных.
  • Экспертное владение SQL и навыки оптимизации сложных запросов.
  • Понимание основ математической статистики, анализа данных и машинного обучения (PyTorch, TensorFlow).
  • Умение работать с распределенными системами и обеспечивать консистентность данных при автоматическом определении типов схем.

Главный принцип SkillStaff - Выбирай!

  • РАЗНООБРАЗИЕ ПРОЕКТОВ. Выбирай из сотен компаний и проектов то, что интересно и полезно для твоего роста. SkillStaff помогает реализовывать ежегодно порядка 500 различных ИТ-проектов для крупного бизнеса.
  • КОМФОРТ. SkillStaff — аккредитованная IT-компания, белая зарплата и удобный график работы. Создавай идеальные условия для своей работы: удаленная работа или возможность работать как в офисе клиента, так и в комфортном офисе SkillStaff в центре Москвы на Воздвиженке.
  • РАЗВИТИЕ. Выбирай сам путь, по которому ты хочешь развиваться. Используй возможность обмена опытом и получение знаний через участие в разных проектах, совместную работу с высококвалифицированными коллегами.
  • КУЛЬТУРА. Нашу культуру создают сами сотрудники – мы их слышим и помогаем развиваться, чтобы #вместе переходить на новый уровень!
hh.ru
amex development

Data Engineer senior (DWH, ETL)

amex development
Зарплата не указанаРоссияМоскваУдалёнка

Пожалуйста пишите в сопроводительном письме Вашу локацию и ожидания по з.пл.

О проекте:

Развитие корпоративного хранилища данных крупной компании: собираем данные из десятков источников, строим витрины и обеспечиваем единую отчётность для бизнеса. Senior-инженеру предстоит отвечать за ETL-пайплайны, моделирование и качество данных - от источника до готового отчёта.

Задачи:

  • Проектировать и развивать DWH: слои, витрины и модели данных (звезда, medallion, SCD2)
  • Строить и поддерживать ETL/ELT-пайплайны на Airflow, Spark и Python
  • Работать с PostgreSQL, Greenplum и ClickHouse, оптимизировать загрузки и запросы
  • Организовывать потоковую загрузку из Kafka/RabbitMQ, следить за идемпотентностью и backfill
  • Обеспечивать качество данных: тесты, сверки с источниками, мониторинг свежести и объёмов
  • Участвовать в архитектурных решениях, проводить код-ревью и наставлять коллег
  • Вести документацию и каталог данных

Требования:

  • Опыт в Data Engineering / DWH от 5 лет
  • Продвинутый SQL: оконные функции, CTE, чтение планов, оптимизация
  • Python на уровне production-кода
  • Опыт ETL/ELT: Airflow и Spark
  • Понимание моделирования хранилищ и инкрементальной загрузки
  • Опыт работы с ClickHouse или Greenplum/PostgreSQL на больших объёмах
  • Kafka или RabbitMQ, Docker, Git, CI/CD
  • Опыт код-ревью и наставничество
  • dbt в продакшене
  • Apache Iceberg (или Delta/Hudi), Trino
  • Debezium и CDC
  • Инструменты data quality и каталоги данных
  • Kubernetes, on-prem-инфраструктура

Условия:

  • Полная занятость с графиком 5/2
  • Удалённый формат работы
  • Работа в аккредитованной ИТ-компании
  • Работа с современным стеком технологий и крупными игроками рынка
  • * Официальное трудоустройство по ТК РФ или ИП РФ
Сайты компаний
W

Analytics Engineer (Mobile BI and New Games)

wargamingАвтоподнятие
Зарплата не указанаЛитваВильнюсГибрид

Job Overview

We are looking for an Analytics Engineer who will own dbt Cloud in our organisation and maintain the analytics pipelines built on top of it. You will administer dbt Cloud across multiple independent projects, keep our business-critical pipelines running (including finance data models), and support analysts in other teams as a mentor and go-to person for dbt.

Our stack is Snowflake, dbt and AWS, with Python for tooling and automation. We are also building AI-assisted and agentic workflows into our daily work, and you will take an active part in this.

Reports to

Director of Mobile and New Games

What will you do?

  • Administer dbt Cloud for the whole organisation: project setup, environments, permissions, CI/CD, version upgrades and cost control
  • Set up and support multiple independent dbt projects, define common standards and conventions so teams stay aligned
  • Develop and maintain production dbt pipelines, including complex finance models where accuracy and trust are critical
  • Mentor analysts on dbt, SQL modeling, testing and code review
  • Tune Snowflake performance and cost, improve pipeline reliability and monitoring
  • Build tooling and automation in Python (AWS Lambda, S3, orchestration, metadata workflows)
  • Drive AI adoption in our analytics engineering work: build common AI skills for dbt development (documentation, testing, code generation) and automated agentic workflows that the whole team can reuse
  • Follow current trends in AI tooling and agentic systems, evaluate new approaches and bring the useful ones into the team

What are we looking for?

  • 4+ years of experience in analytics engineering, data engineering or a similar role
  • Strong hands-on dbt experience, ideally including dbt Cloud administration (projects, environments, jobs, CI/CD), not only model development
  • Strong SQL and data modeling skills
  • Production experience with Snowflake, including performance tuning and cost awareness
  • Python for data tooling and automation
  • Experience with AWS services used in data platforms (Lambda, S3)
  • Experience owning business critical pipelines: data quality testing, incident handling, communication with non-technical stakeholders
  • Experience with mentoring or supporting analysts
  • Fluent English

What additional skills will help you stand out?

  • Strong understanding of agentic AI workflows: practical experience building LLM based agents, AI skills and automated workflows for engineering tasks
  • Experience with multi-agent setups (orchestration of several agents, subagents, agent-to-agent handoffs)
  • Good understanding of current trends in the AI space and ability to judge what is actually useful for a data team
  • Experience with multi-project dbt setups (dbt Mesh, cross-project references or similar)
  • Experience with finance or revenue data (reconciliation, reporting-grade accuracy)
  • Background in gaming, mobile apps or other consumer product analytics
  • Familiarity with marketing and attribution data (AppsFlyer) or product telemetry
  • dbt certification

Work mode

  • Hybrid (3 days of work from the office) 
  • This role isn't eligible for relocation & immigration support.
The salary range for this role in Vilnius is EUR 4000-6500 monthly gross.

Benefits

Benefits and perks are tailored to the local market and culture. Our benefits in Vilnius include:

  • Additional paid time off 
  • Sick Leave Compensation
  • Pregnancy and Childbirth Leave Benefit  
  • Career development and education opportunities within the company
  • Meal Allowance
  • Premium Private Health Care 
  • Mental well-being program (iFeel)
  • Perks discounts platform (over 450 exclusive discounts)
  • Personal Gaming Account
  • Coffee, fruits, and snacks in the office
  • Company events 
  • Seniority Awards  
  • Referral program - You can recommend the best talents to the company and receive a reward  
Please submit your CV in English to ensure smooth processing and review.

About Wargaming 

Wargaming is an award-winning online game developer and publisher headquartered in Nicosia, Cyprus. Operating since 1998, Wargaming has become one of the leaders in the gaming industry with 15 offices worldwide, including studios in Chicago, Prague, Shanghai, Tokyo, and Vilnius. Our diverse and multicultural team works together to deliver a top-class experience to millions of players who enjoy Wargaming's titles across all major gaming platforms. Our flagship products include free-to-play hits World of Tanks, World of Warships and World of Tanks Blitz.

Please see Wargaming Candidate Privacy Policy for details on how Wargaming uses your personal data.

HireSeeker собирает вакансии со всех площадок и присылает только релевантные. Бесплатно.