Data Engineer (Цифровые Валюты) (Python, Java)

Привет! Команда Evrone занимается продуктовой разработкой стартапов и помогает в цифровой трансформации бизнеса в России, США и Европе. Думаю, что вы о нас слышали от Григория Петрова (Evrone Devrel).

Ищем Data/Lineage инженера уровня Senior. Заработная плата зависит от уровня и определяется после прохождения технического собеседования.

Проект в домене MedTech, формирование устойчивого контура идентичности, схем данных, происхождения и хранения артефактов в платформе in-silico drug discovery.

Стадия проекта: рабочий прототип, целевая архитектура не зафиксирована окончательно.

Среда: преимущественно on-prem и air-gap, возможны shared trust zone, dedicated cell и burst-очередь во внешний cloud.

Бизнес-задача роли: не допустить потери истории кандидатов и результатов вычислительных экспериментов при развитии платформы и замене отдельных инфраструктурных компонентов. Downstream-стадии должны получать входные данные по устойчивому идентификатору предшественника и ссылке на объектное хранилище, а не по локальному пути на GPU-ноде.

Задачи:

• Разобрать текущие источники данных, lineage-теги, выходные схемы и сценарии, где успешный статус задачи не гарантирует наличие скачиваемого файла;
• Зафиксировать правила идентичности сущностей. На текущем этапе — дисциплина тегов при enqueue; целевой контур — compound registry с соответствием `InChIKey ↔ internal id`;
• Версионировать `output_schema` и extractors для Vina, OpenFE, ADMET, Lilly, triage, nomination и MADD;
• Обеспечить читаемость старых артефактов после появления новых версий схем;
• Настроить происхождение между стадиями в формате OpenLineage `START / COMPLETE / FAIL` или эквиваленте;
• Реализовать audit exporter без создания второго журнала статусов рядом с оркестратором;
• Ввести QC артефактов. Объект в MinIO/S3 должен скачиваться и парситься; `completed` без файла должен завершаться явной ошибкой;
• Перевести downstream-получение входов на идентификаторы и `s3://`, исключив зависимость от локальных путей;
• Согласовать контракты схем через JSON Schema и YAML handoff, а также glossary научных метрик совместно с backend и R&D;
• Закрепить инварианты автоматизированными тестами и передать документацию внутренней команде

Что для нас важно:

• Уверенный Python;
• SQL и PostgreSQL, включая миграции и понимание Row-Level Security;
• Опыт построения пайплайнов, где объектное хранилище является source of truth;
• Практический опыт data contracts, schema evolution и lineage;
• Работа с файловыми и бинарными артефактами, а не только с таблицами DWH;
• Опыт проектирования устойчивой идентичности сущностей независимо от оркестратора;
• Умение фиксировать инварианты тестами и передавать решение внутренней команде

Будет ОГРОМНЫМ плюсом:

• Понимание семантики OpenLineage, Marquez или DataHub без привязки решения к конкретному бренду;
• Опыт MLOps или научных пайплайнов с артефактами: ClearML, MLflow, Flyte, Nextflow или Airflow;
• RDKit, SDF и Parquet, JSON Schema;
• Опыт on-prem или air-gap окружений

Результат первых 60–90 дней:

• Карта разрывов lineage на пути `enqueue → nomination`;
• Работающие инварианты «нет обязательных тегов — нет enqueue» и «нет файла — нет успешного завершения»;
• Версии extractors согласованы с `tools.manifest`;
• Принято решение по audit-событиям без появления второго source of truth;
• Зафиксирован контракт данных, не зависящий от API ClearML;
• Критичные инварианты покрыты тестами, документация передана внутренней команде

Вне скоупа:

• Интерпретация SAR и критерии nomination;
• SDTM/ADaM, SEND, ELN/LIMS, RWE и GLP system of record;
• GPU-очереди и выбор замены ClearML как workload manager;
• BFF и UI, кроме стыков по схемам, скачиванию и идентичности;
• Построение нового data lake или DWH

Почему Evrone:

• Мы занимаемся технически сложными, высоконагруженными, наукоёмкими проектами, проектами с большой бизнес логикой или большой серверной инфраструктурой. Нам доверяют: аналитику, проектирование интерфейсов и дизайн, разработку, инфраструктуру и эксплуатацию. Мы становимся технической командой проекта целиком или консультируем и расширяем возможности существующих команд наших клиентов.
• Кроме того, Evrone помогает развиваться сообществу разработчиков. Мы делаем самую большую в России конференцию по Ruby — RubyRussia, проводим технические митапы, делаем свой новостной дайджест, а также спонсируем и помогаем в проведении конференций по Go, Python, React/Vue и функциональным языкам.
• Наши инженеры выступают на ведущих конференциях России и Европы и вносят вклад в Open Source проекты, мы берем интервью у лидеров комьюнити и пишем статьи на самые горячие темы индустрии. В этом году мы ставили стенд и выступали на конференциях Highload и TeamLeadConf.
• Вся команда работает удаленно с 2008 года. Мы знаем как организовать распределенную разработку комфортно и эффективно. Есть офисы для работы и встреч в Москве и Воронеже, а также офисы продаж в Сан-Франциско и Берлине.

Что предлагаем:

• Удаленную фултайм работу и мягкий график. Достаточно синхронизировать тайм-зоны и иметь пересечения рабочего времени с командой;
• Качественный онбординг и hr-менеджмент (1:1, Grow Review). По желанию меняем проекты, не даем стагнировать. При формировании команды проекта учитываем профессиональные или личные интересы разработчиков;
• Работу в разновозрастном, разнополом и потрясающе дружном и профессиональном коллективе;
• Хорошо организованный воркфлоу, отсутствие бюрократии. Работа на доверии.
• Наши разработчики работают только над одним проектом. Без постоянных переключений между ними.

Одна из ценностей Evrone – работа с удовольствием.

Для этого мы придумали Evrone Benefits. Каждому из нас выделяется годовой бюджет, автоматически пополняемый каждый новый год вашей работы в Evrone. Его можно потратить на полезные категории трат, направленные на:

• ДМС и здоровье;
• Спорт и абонемент для фитнеса или инвентарь для спорта;
• Курсы иностранного языка;
• Техника для работы и улучшение рабочего места;
• Обучение: курсы, тренинги, мастер-классы, семинары, книги и конференции.

Бонусы и премии:

• Повышение зарплаты по мере роста компетенций (по результатам ассесмента);
• Премии за привлечение новых сотрудников и новых клиентов;
• Дополнительная премия за выступления на конференциях и митапах;
• У вас есть возможность принять участие в проведении технических интервью специалистов, которые могут стать вашими коллегами. Проведение интервью оплачивается.

Обучение и рост компетенций:

• Проводим митапы. Вы можете быть как и слушателем, так и спикером;
• У нас есть культура менторства. В повседневных задачах и планировании карьеры будет помогать наставник;
• Развивать профессиональный уровень можно с помощью системы ассессмента Evrone Challenge;
• Есть внутренняя библиотека с электронными книгами и записанными курсами;
• Работаем и дружим с западными заказчиками, есть возможность практиковать свой английский.

Возможность стать докладчиком или автором:

• Если вы хотите выступить на оффлайн конференции, мы поможем вам подготовить контент для доклада и сделаем крутые слайды. DevRel Evrone (Григорий Петров) поможет подготовиться к выступлению на конференции, окажем поддержку на самой конференции и подготовим материалы с вашим докладом.
• Если вы хотите выступить на онлайн конференции, помимо помощи по подготовке доклада и подбору конференции, мы организуем вам студийную съемку или трансляцию вашего доклада;
• У нас есть блоги на всех популярных платформах России и мира. Наши редакторы и профессиональные авторы еженедельно выпускают новые материалы;
• Если вы написали статью, мы нарисуем для нее иллюстрации и поможем вам ее оформить и опубликовать. Если у вас есть только идея - редакторы помогут сформулировать мысли, оформить пост самостоятельно и правильно опубликовать для максимального охвата.

Возможность прокачаться в Open Source:

• Если у вас есть популярные open source проекты – мы поможем с их продвижением и окажем поддержку в развитии;
• Если вы контрибьютите в популярные проекты с открытым исходным кодом, мы оплатим часы, которые вы на это потратили.
• Если вы ничего этого не делаете, но очень хочется начать – в Evrone есть менторы, которые помогут вам сделать первые шаги: подберут задачки для старта, помогут решить их и правильно оформить pr.

Отдых и развиртуализация:

Мы проводим ежегодный фестиваль Evrone Fest, на котором собирается вся наша команда, а также тематические встречи в различных городах. Поэтому, где бы вы ни находились, мы будем рады увидеться лично.

Мы ООО «Датаномика», собираем инженерные команды под задачи крупного бизнеса. 6+ лет на рынке, 160+ инженеров в штате, 45+ реализованных проектов в финсекторе, телекоме и ретейле. Развиваем шесть направлений экспертизы: высоконагруженные банковские системы, хранилища данных (DWH), генеративный ИИ, комплаенс-системы, кибербезопасность и импортозамещение софта. Аккредитованная ИТ-компания.

Сейчас у нас открыта вакансия Data-инженера в команду крупного российского Банка.

Что входит в задачи:

• Разработка и поддержка ядра репликации:
  • Проектирование и реализация высоконагруженных пайплайнов потоковой передачи данных из ERP-системы в КХД.
  • Разработка механизмов гарантированной доставки (at-least-once, exactly-once semantics) и обработки сбоев без потери целостности финансовых данных.
  • Оптимизация производительности потоков Kafka и Spark Streaming (управление партиционированием, сжатием, батчингом).
• Работа с витринами данных:
  • Разработка ETL/ELT-процессов трансформации модели данных Банка.
  • Написание сложных SQL-запросов, оконных функций и хранимых процедур для агрегации банковских метрик.
  • Поддержка актуальности витрин данных, оптимизация их переформирования при изменении источников
• Миграция данных (Data Migration):
  • Участие в проектах вывода из эксплуатации легаси-систем (включая исторические АБС).
  • Разработка утилит-перекладчиков для извлечения, очистки, обогащения и загрузки исторических массивов данных в новую модель с сохранением ссылочной целостности.
• Качество данных и мониторинг:
  • Внедрение автоматических проверок качества данных (Data Quality checks): профилирование, поиск дублей, проверка консистентности контрольных сумм.
  • Настройка мониторинга задержек репликации (lag) и алертинга через Prometheus/Grafana или аналоги.
• Взаимодействие: Работа по методологии Agile (Scrum/Kanban). Плотное взаимодействие с архитекторами DWH, администраторами БД PostgreSQL, владельцами продуктов (Product Owners) и аналитиками.
• AI-native: Опыт проектирования с использованием ИИ-инструментов (LLM, Промт-инжениринг, GIT c Агенты).

Технические навыки и инструменты:

• Язык программирования Java: уверенное владение Core, понимание многопоточности и принципов эффективной работы со стримами. Опыт промышленной разработки от 2 лет.
• Apache Spark: опыт разработки приложений на фрейморке Spark. Глубокое понимание архитектуры (драйверы, исполнители), управления памятью. Умение читать планы выполнения запросов (Explain plan).
• Apache Kafka: практический опыт настройки продюсеров и консьюмеров, идемпотентности и распределенных коммитов оффсетов.
• Базы данных и SQL: хороший уровень написания SQL (оконные функции, CTE, рекурсивные запросы). Опыт оптимизации тяжелых запросов через анализ планов исполнения. Желателен опыт работы с СУБД, Hive, Greenplum (приветствуется).
• Инструменты CI/CD и версионирования: Git (умение работать с ветками, разрешать конфликты, писать понятные мерж-реквесты), Maven, Docker. Базовое понимание Jenkins/GitLab CI для автоматизации сборки артефактов.
• Форматы данных: хорошеее понимание Avro (схема-на-лету, эволюция схем), Parquet (колоночное хранение, predicate pushdown).
• Легаси и миграция: опыт анализа чужого кода на PL/SQL; умение проектировать мэппинг полей между старой и новой моделями.

Мы предлагаем:

• Гибридный формат работы;

• Работа в аккредитованной ИТ-компании;
• Проекты в крупнейших банках и корпорациях — реальная нагрузка и масштаб (mission-critical системы, высоконагруженная обработка данных);
• Регулярное обучение и профильные конференции за счёт компании, современное оборудование;
• Официальная «белая» зарплата, оформление с первого рабочего дня, полное соблюдение ТК РФ;
• Интересные амбициозные задачи с достижимым результатом

Andersen is hiring a Data Engineer for a project automating revenue reconciliation processes and enhancing financial data accuracy, transparency, and operational efficiency.

The customer is a global investment management firm providing tailored investment solutions to institutional and private clients. It combines financial expertise with long-term investment strategies to help clients achieve their objectives while adapting to changing market conditions. The organization focuses on innovation, responsible investing, and operational excellence, continuously enhancing its capabilities to deliver sustainable value and support long-term growth.

The project is focused on automating revenue reconciliation processes within a large-scale data platform initiative. It aims to ensure accurate and efficient reconciliation of payments received through external payment providers, including driver and courier balance top-ups and commission deductions, while improving financial data accuracy, transparency, and operational efficiency.

• Gathering and clarifying requirements from marketing analysts and BI, and turning them into changes to attribution logic, sources and data marts.
• Leading the migration of the attribution pipeline (dbt models, Airflow DAGs, sources) to the core DWH platform. Running old and new in parallel and reconcile them before switching over.
• Building and optimizing incremental data marts in BigQuery (dbt/SQL) and Airflow, including recalculations and backfills.
• Designing and implementing data quality checks and investigating discrepancies against product and source data.
• Performing deep-dive analysis of external inputs (AppsFlyer, ad network cost feeds, Google Sheets dictionaries, upstream marts) to keep data flowing reliably from source to consumption.
• Participating in testing, data validation and release processes, including repointing downstream consumers.
• Maintaining technical documentation for the domain and spreading knowledge across the team.

• Experience as an Analytics Engineer / DWH Engineer / Data Analyst working with DWH for 3+ years.
• Hands-on experience with data warehouses.
• Strong understanding of DWH architecture and data layers (ODS, Data Marts).
• Understanding of incremental loads, historical data handling and deduplication.
• Expert SQL skills.
• Experience designing and optimizing data marts.
• Experience with BigQuery or similar columnar DB.
• Experience with dbt on large incremental projects.
• Experience migrating pipelines between platforms with data parity validation.
• Experience with Airflow or a similar orchestration tool.
• Knowledge of Python for data processing and ETL tasks.
• Ability to work with stakeholders and translate business needs into data requirements.
• Level of English – from Intermediate+ or above.

• Experience working with mobile and marketing attribution data using AppsFlyer, Adjust, or Branch, including ad network cost data, SKAN, and ATT.
• Familiarity with ad fraud detection and analytics, particularly AppsFlyer Protect360.
• Experience with GCP, including Cloud Storage and Dataform.
• Experience with analytics and BI tools such as Lightdash, Looker, and Tableau.

• Experience in teamwork with leaders in FinTech, Healthcare, Retail, Telecom, and others. Andersen cooperates with such businesses as Samsung, Siemens, Johnson & Johnson, BNP Paribas, Ryanair, Mercedes, TUI, Verivox, Allianz, T-Systems, etc..
• The opportunity to change the project and/or develop expertise in an interesting business domain.
• Job conditions – you can work both fully remotely and from the office or can choose a hybrid variant.
• Guarantee of professional, financial, and career growth! The company has introduced systems of mentoring and adaptation for each new employee.
• The opportunity to earn up to an additional 1,000 EUR per month, depending on the level of expertise, which will be included in the annual bonus, by participating in the company's activities.
• Access to the corporate training portal, where the entire knowledge base of the company is collected and which is constantly updated.
• Bright corporate life (parties / pizza days / PlayStation / fruits / coffee / snacks / movies).
• Certification compensation (AWS, PMP, etc).
• Referral program.
• Private health insurance and sports compensation, depending on the type of employment.

Join us!