Data Engineer (Flink) (Java)

Мы ООО «Датаномика», собираем инженерные команды под задачи крупного бизнеса. 6+ лет на рынке, 160+ инженеров в штате, 45+ реализованных проектов в финсекторе, телекоме и ретейле. Развиваем шесть направлений экспертизы: высоконагруженные банковские системы, хранилища данных (DWH), генеративный ИИ, комплаенс-системы, кибербезопасность и импортозамещение софта. Аккредитованная ИТ-компания.

Сейчас у нас открыта вакансия Data-инженера в команду крупного российского Банка.

Что входит в задачи:

• Разработка и поддержка ядра репликации:
  • Проектирование и реализация высоконагруженных пайплайнов потоковой передачи данных из ERP-системы в КХД.
  • Разработка механизмов гарантированной доставки (at-least-once, exactly-once semantics) и обработки сбоев без потери целостности финансовых данных.
  • Оптимизация производительности потоков Kafka и Spark Streaming (управление партиционированием, сжатием, батчингом).
• Работа с витринами данных:
  • Разработка ETL/ELT-процессов трансформации модели данных Банка.
  • Написание сложных SQL-запросов, оконных функций и хранимых процедур для агрегации банковских метрик.
  • Поддержка актуальности витрин данных, оптимизация их переформирования при изменении источников
• Миграция данных (Data Migration):
  • Участие в проектах вывода из эксплуатации легаси-систем (включая исторические АБС).
  • Разработка утилит-перекладчиков для извлечения, очистки, обогащения и загрузки исторических массивов данных в новую модель с сохранением ссылочной целостности.
• Качество данных и мониторинг:
  • Внедрение автоматических проверок качества данных (Data Quality checks): профилирование, поиск дублей, проверка консистентности контрольных сумм.
  • Настройка мониторинга задержек репликации (lag) и алертинга через Prometheus/Grafana или аналоги.
• Взаимодействие: Работа по методологии Agile (Scrum/Kanban). Плотное взаимодействие с архитекторами DWH, администраторами БД PostgreSQL, владельцами продуктов (Product Owners) и аналитиками.
• AI-native: Опыт проектирования с использованием ИИ-инструментов (LLM, Промт-инжениринг, GIT c Агенты).

Технические навыки и инструменты:

• Язык программирования Java: уверенное владение Core, понимание многопоточности и принципов эффективной работы со стримами. Опыт промышленной разработки от 2 лет.
• Apache Spark: опыт разработки приложений на фрейморке Spark. Глубокое понимание архитектуры (драйверы, исполнители), управления памятью. Умение читать планы выполнения запросов (Explain plan).
• Apache Kafka: практический опыт настройки продюсеров и консьюмеров, идемпотентности и распределенных коммитов оффсетов.
• Базы данных и SQL: хороший уровень написания SQL (оконные функции, CTE, рекурсивные запросы). Опыт оптимизации тяжелых запросов через анализ планов исполнения. Желателен опыт работы с СУБД, Hive, Greenplum (приветствуется).
• Инструменты CI/CD и версионирования: Git (умение работать с ветками, разрешать конфликты, писать понятные мерж-реквесты), Maven, Docker. Базовое понимание Jenkins/GitLab CI для автоматизации сборки артефактов.
• Форматы данных: хорошеее понимание Avro (схема-на-лету, эволюция схем), Parquet (колоночное хранение, predicate pushdown).
• Легаси и миграция: опыт анализа чужого кода на PL/SQL; умение проектировать мэппинг полей между старой и новой моделями.

Мы предлагаем:

• Гибридный формат работы;

• Работа в аккредитованной ИТ-компании;
• Проекты в крупнейших банках и корпорациях — реальная нагрузка и масштаб (mission-critical системы, высоконагруженная обработка данных);
• Регулярное обучение и профильные конференции за счёт компании, современное оборудование;
• Официальная «белая» зарплата, оформление с первого рабочего дня, полное соблюдение ТК РФ;
• Интересные амбициозные задачи с достижимым результатом

Andersen is hiring a Data Engineer for a project automating revenue reconciliation processes and enhancing financial data accuracy, transparency, and operational efficiency.

The customer is a global investment management firm providing tailored investment solutions to institutional and private clients. It combines financial expertise with long-term investment strategies to help clients achieve their objectives while adapting to changing market conditions. The organization focuses on innovation, responsible investing, and operational excellence, continuously enhancing its capabilities to deliver sustainable value and support long-term growth.

The project is focused on automating revenue reconciliation processes within a large-scale data platform initiative. It aims to ensure accurate and efficient reconciliation of payments received through external payment providers, including driver and courier balance top-ups and commission deductions, while improving financial data accuracy, transparency, and operational efficiency.

• Gathering and clarifying requirements from marketing analysts and BI, and turning them into changes to attribution logic, sources and data marts.
• Leading the migration of the attribution pipeline (dbt models, Airflow DAGs, sources) to the core DWH platform. Running old and new in parallel and reconcile them before switching over.
• Building and optimizing incremental data marts in BigQuery (dbt/SQL) and Airflow, including recalculations and backfills.
• Designing and implementing data quality checks and investigating discrepancies against product and source data.
• Performing deep-dive analysis of external inputs (AppsFlyer, ad network cost feeds, Google Sheets dictionaries, upstream marts) to keep data flowing reliably from source to consumption.
• Participating in testing, data validation and release processes, including repointing downstream consumers.
• Maintaining technical documentation for the domain and spreading knowledge across the team.

• Experience as an Analytics Engineer / DWH Engineer / Data Analyst working with DWH for 3+ years.
• Hands-on experience with data warehouses.
• Strong understanding of DWH architecture and data layers (ODS, Data Marts).
• Understanding of incremental loads, historical data handling and deduplication.
• Expert SQL skills.
• Experience designing and optimizing data marts.
• Experience with BigQuery or similar columnar DB.
• Experience with dbt on large incremental projects.
• Experience migrating pipelines between platforms with data parity validation.
• Experience with Airflow or a similar orchestration tool.
• Knowledge of Python for data processing and ETL tasks.
• Ability to work with stakeholders and translate business needs into data requirements.
• Level of English – from Intermediate+ or above.

• Experience working with mobile and marketing attribution data using AppsFlyer, Adjust, or Branch, including ad network cost data, SKAN, and ATT.
• Familiarity with ad fraud detection and analytics, particularly AppsFlyer Protect360.
• Experience with GCP, including Cloud Storage and Dataform.
• Experience with analytics and BI tools such as Lightdash, Looker, and Tableau.

• Experience in teamwork with leaders in FinTech, Healthcare, Retail, Telecom, and others. Andersen cooperates with such businesses as Samsung, Siemens, Johnson & Johnson, BNP Paribas, Ryanair, Mercedes, TUI, Verivox, Allianz, T-Systems, etc..
• The opportunity to change the project and/or develop expertise in an interesting business domain.
• Job conditions – you can work both fully remotely and from the office or can choose a hybrid variant.
• Guarantee of professional, financial, and career growth! The company has introduced systems of mentoring and adaptation for each new employee.
• The opportunity to earn up to an additional 1,000 EUR per month, depending on the level of expertise, which will be included in the annual bonus, by participating in the company's activities.
• Access to the corporate training portal, where the entire knowledge base of the company is collected and which is constantly updated.
• Bright corporate life (parties / pizza days / PlayStation / fruits / coffee / snacks / movies).
• Certification compensation (AWS, PMP, etc).
• Referral program.
• Private health insurance and sports compensation, depending on the type of employment.

Join us!

В Финтехе мы создаём платёжные продукты, сервисы и инструменты для управления личными финансами. Финтех уже превратился из стартапа в полноценный и крайне важный продукт.

Сейчас мы собираем новое — аналитическое — хранилище данных и формируем для этого команду. В хранилище нет легаси, поэтому у вас будет возможность оказаться у истоков нового проекта. У нас большие планы — приходите помогать их реализовать!

Строить ETL-процессы

Нужно извлекать из источников ценную информацию, обрабатывать её и представлять в виде, удобном для аналитиков. Сложность пайплайнов может варьироваться от простых инжестов данных из внешней среды и приземления результата в хранилище до витиеватых графов со множеством инпутов и аутпутов.

Оптимизировать логику

Как известно, у нас нет собственного легаси, но мы часто работаем с прототипами, реализованными аналитиками, чьё представление о прекрасном может не совпадать с нашим. Поэтому мы распутываем нетривиальную логику и предлагаем более строгую, консистентную и оптимальную, ориентируясь на большие объёмы данных.

Обеспечивать доступность сервиса

Олимпиадный подход подразумевает одноразовость результата. Мы преследуем совсем другие цели, поэтому максима «сработало раз — и ладно» не о нас. Идеал такой: хранилище обеспечивает регулярную поставку с минимально возможным количеством сбоев, а данные — корректны, полны, непротиворечивы и отвечают самым строгим стандартам качества.

Проектировать структуру хранилища

Лучшее аналитическое DWH ещё только в планах. Мы хотим заложить основы, которые позволят ему быстро развиваться, обрастая при этом не «костылями» и «велосипедами», а современными инженерными практиками и подходами.

Взаимодействовать с аналитиками

Они наши главные и любимые заказчики. Вместе с ними вам предстоит обдумывать бизнес-задачи, иногда вы будете спорить, но в итоге — находить оптимальные решения. Неотъемлемая часть этого процесса — накапливание личного опыта в бизнес-домене Финтеха. Прибавим сюда рост инженерного опыта — и получим двойную выгоду. Почти как у Яндекс Пэй.

* Уверенно программируете на Python
* Хорошо знаете SQL и понимаете устройство современных СУБД
* Понимаете и можете объяснить необходимость непрерывной интеграции и доставки (CI/CD), преимущества использования систем контроля версий, код-ревью, тестирования и мониторинга
* Работаете в командной строке Unix-подобных систем (Linux, macOS)

* Создавали сложные высоконагруженные ETL- и ELT-процессы (Hadoop, Hive, Spark)
* Разрабатывали процессы обработки событий, приближенные к реальному времени (Kafka, Spark Streaming, Flink)
* Участвовали в проектировании хранилищ данных
* Работали по методологии Agile
* Руководили стажёрами или начинающими специалистами
* Знакомы со специализированными аналитическими БД (Greenplum, Vertica, ClickHouse, Teradata) и аналитическими инструментами на базе Python (Jupyter, pandas, SciPy, Matplotlib)
* Публикуете свой код в доступном репозитории, пишете статьи, выступаете на конференциях