Data Engineer (Python)

Andersen is hiring a Data Engineer for a project automating revenue reconciliation processes and enhancing financial data accuracy, transparency, and operational efficiency.

The customer is a global investment management firm providing tailored investment solutions to institutional and private clients. It combines financial expertise with long-term investment strategies to help clients achieve their objectives while adapting to changing market conditions. The organization focuses on innovation, responsible investing, and operational excellence, continuously enhancing its capabilities to deliver sustainable value and support long-term growth.

The project is focused on automating revenue reconciliation processes within a large-scale data platform initiative. It aims to ensure accurate and efficient reconciliation of payments received through external payment providers, including driver and courier balance top-ups and commission deductions, while improving financial data accuracy, transparency, and operational efficiency.

• Gathering and clarifying requirements from marketing analysts and BI, and turning them into changes to attribution logic, sources and data marts.
• Leading the migration of the attribution pipeline (dbt models, Airflow DAGs, sources) to the core DWH platform. Running old and new in parallel and reconcile them before switching over.
• Building and optimizing incremental data marts in BigQuery (dbt/SQL) and Airflow, including recalculations and backfills.
• Designing and implementing data quality checks and investigating discrepancies against product and source data.
• Performing deep-dive analysis of external inputs (AppsFlyer, ad network cost feeds, Google Sheets dictionaries, upstream marts) to keep data flowing reliably from source to consumption.
• Participating in testing, data validation and release processes, including repointing downstream consumers.
• Maintaining technical documentation for the domain and spreading knowledge across the team.

• Experience as an Analytics Engineer / DWH Engineer / Data Analyst working with DWH for 3+ years.
• Hands-on experience with data warehouses.
• Strong understanding of DWH architecture and data layers (ODS, Data Marts).
• Understanding of incremental loads, historical data handling and deduplication.
• Expert SQL skills.
• Experience designing and optimizing data marts.
• Experience with BigQuery or similar columnar DB.
• Experience with dbt on large incremental projects.
• Experience migrating pipelines between platforms with data parity validation.
• Experience with Airflow or a similar orchestration tool.
• Knowledge of Python for data processing and ETL tasks.
• Ability to work with stakeholders and translate business needs into data requirements.
• Level of English – from Intermediate+ or above.

• Experience working with mobile and marketing attribution data using AppsFlyer, Adjust, or Branch, including ad network cost data, SKAN, and ATT.
• Familiarity with ad fraud detection and analytics, particularly AppsFlyer Protect360.
• Experience with GCP, including Cloud Storage and Dataform.
• Experience with analytics and BI tools such as Lightdash, Looker, and Tableau.

• Experience in teamwork with leaders in FinTech, Healthcare, Retail, Telecom, and others. Andersen cooperates with such businesses as Samsung, Siemens, Johnson & Johnson, BNP Paribas, Ryanair, Mercedes, TUI, Verivox, Allianz, T-Systems, etc..
• The opportunity to change the project and/or develop expertise in an interesting business domain.
• Job conditions – you can work both fully remotely and from the office or can choose a hybrid variant.
• Guarantee of professional, financial, and career growth! The company has introduced systems of mentoring and adaptation for each new employee.
• The opportunity to earn up to an additional 1,000 EUR per month, depending on the level of expertise, which will be included in the annual bonus, by participating in the company's activities.
• Access to the corporate training portal, where the entire knowledge base of the company is collected and which is constantly updated.
• Bright corporate life (parties / pizza days / PlayStation / fruits / coffee / snacks / movies).
• Certification compensation (AWS, PMP, etc).
• Referral program.
• Private health insurance and sports compensation, depending on the type of employment.

Join us!

В Финтехе мы создаём платёжные продукты, сервисы и инструменты для управления личными финансами. Финтех уже превратился из стартапа в полноценный и крайне важный продукт.

Сейчас мы собираем новое — аналитическое — хранилище данных и формируем для этого команду. В хранилище нет легаси, поэтому у вас будет возможность оказаться у истоков нового проекта. У нас большие планы — приходите помогать их реализовать!

Строить ETL-процессы

Нужно извлекать из источников ценную информацию, обрабатывать её и представлять в виде, удобном для аналитиков. Сложность пайплайнов может варьироваться от простых инжестов данных из внешней среды и приземления результата в хранилище до витиеватых графов со множеством инпутов и аутпутов.

Оптимизировать логику

Как известно, у нас нет собственного легаси, но мы часто работаем с прототипами, реализованными аналитиками, чьё представление о прекрасном может не совпадать с нашим. Поэтому мы распутываем нетривиальную логику и предлагаем более строгую, консистентную и оптимальную, ориентируясь на большие объёмы данных.

Обеспечивать доступность сервиса

Олимпиадный подход подразумевает одноразовость результата. Мы преследуем совсем другие цели, поэтому максима «сработало раз — и ладно» не о нас. Идеал такой: хранилище обеспечивает регулярную поставку с минимально возможным количеством сбоев, а данные — корректны, полны, непротиворечивы и отвечают самым строгим стандартам качества.

Проектировать структуру хранилища

Лучшее аналитическое DWH ещё только в планах. Мы хотим заложить основы, которые позволят ему быстро развиваться, обрастая при этом не «костылями» и «велосипедами», а современными инженерными практиками и подходами.

Взаимодействовать с аналитиками

Они наши главные и любимые заказчики. Вместе с ними вам предстоит обдумывать бизнес-задачи, иногда вы будете спорить, но в итоге — находить оптимальные решения. Неотъемлемая часть этого процесса — накапливание личного опыта в бизнес-домене Финтеха. Прибавим сюда рост инженерного опыта — и получим двойную выгоду. Почти как у Яндекс Пэй.

* Уверенно программируете на Python
* Хорошо знаете SQL и понимаете устройство современных СУБД
* Понимаете и можете объяснить необходимость непрерывной интеграции и доставки (CI/CD), преимущества использования систем контроля версий, код-ревью, тестирования и мониторинга
* Работаете в командной строке Unix-подобных систем (Linux, macOS)

* Создавали сложные высоконагруженные ETL- и ELT-процессы (Hadoop, Hive, Spark)
* Разрабатывали процессы обработки событий, приближенные к реальному времени (Kafka, Spark Streaming, Flink)
* Участвовали в проектировании хранилищ данных
* Работали по методологии Agile
* Руководили стажёрами или начинающими специалистами
* Знакомы со специализированными аналитическими БД (Greenplum, Vertica, ClickHouse, Teradata) и аналитическими инструментами на базе Python (Jupyter, pandas, SciPy, Matplotlib)
* Публикуете свой код в доступном репозитории, пишете статьи, выступаете на конференциях

Команда Mak.by ищет специалиста для развития аналитической платформы и работы с корпоративными данными.

Вы будете поддерживать существующие решения и участвовать в создании собственного аналитического хранилища: подключать источники, разрабатывать загрузки и витрины, оптимизировать SQL и обеспечивать корректность данных для бизнес-отчётности.

На этой позиции предстоит:

• Разрабатывать и оптимизировать SQL-запросы, представления, функции и процедуры.
• Создавать и сопровождать загрузки данных из баз данных, файлов и API.
• Проектировать аналитические таблицы и витрины для отчётности.
• Обрабатывать исторические данные, исправления и удаления в источниках, повторные загрузки.
• Контролировать качество данных: полноту загрузки, уникальность ключей, корректность связей и соответствие показателей исходным системам.
• Готовить датасеты для Apache Superset и повышать производительность существующих отчётов.
• Участвовать в развитии хранилища и переносе действующих расчётов с сохранением согласованной бизнес-логики.
• Документировать структуру данных, правила расчётов и процессы загрузки.

Ожидаем от кандидата:

• Уверенное знание SQL: сложные соединения, CTE, оконные функции, агрегирование.
• Опыт работы с Apache Superset или другими BI-инструментами (Power BI, Tableau, Metabase и т. п.).
• Практический опыт работы с PostgreSQL и/или MS SQL Server.
• Умение анализировать планы выполнения запросов и находить причины медленной работы.
• Понимание индексов, транзакций, блокировок, секционирования и ограничений целостности.
• Опыт разработки на Python для обработки данных, интеграций и автоматизации.
• Понимание принципов ETL/ELT, инкрементальных загрузок и построения аналитических хранилищ.
• Навыки работы с Git.
• Умение разбираться в существующих расчётах и обсуждать требования с аналитиками и бизнес-пользователями.
• Способность быстро осваивать новые области и технологии, решать задачи в условиях неопределённости.

Очень желателен практический опыт:

• Работы с Greenplum, Cloudberry или другими распределёнными аналитическими СУБД.
• Поддержки регулярных загрузок и обработки больших таблиц.
• Проверки качества данных и сверки результатов между системами.

Дополнительным преимуществом будут:

• dbt Core, Apache Airflow, Apache Hop.
• CDC, Debezium, Apache Kafka.
• Семантические слои и централизованное описание метрик, в том числе Cube Core.
• Mathesar или другие инструменты ведения справочников.
• Linux, Docker, Kubernetes и CI/CD.
• Опыт работы с данными розницы, ресторанного бизнеса, кассовых или учётных систем.

Что мы предлагаем:

• Заработная плата — обсуждается индивидуально по результатам собеседования, предусмотрено премирование по результатам работы.
• Стабильные выплаты — заработная плата два раза в месяц.
• Медицинское страхование.
• Компенсация мобильной связи.
• Возможности для обучения и профессионального развития в процессе работы.
• Участие в командных и общественных мероприятиях компании.
• Спорт и активный отдых: корпоративная подписка Allsports — возможность пользоваться более чем 630 спортивными объектами по всей Беларуси: фитнес-клубы, бассейны, йога, танцы, единоборства, теннис, картинг, СПА и многое другое.

В работе нам особенно важны ответственность, самостоятельность, открытость и умение взаимодействовать с коллегами и подрядчиками.

Будем рады, если в отклике вы кратко расскажете, с какими базами данных и инструментами обработки данных работали и какие задачи решали — например, по оптимизации SQL, разработке загрузок или подготовке аналитических витрин.