Главный дата-инженер (Python)

Data engineer #алматы

#FreedomHolding

#3п от 1,2 млн и выше

#tg @kzk888 Обязанности

- Разработка и сопровождение ETL/ELT-пайплайнов на Python и Apache Airflow.

- Разработка и оптимизация SQL-запросов в Greenplum.

- Построение потоковой обработки данных с использованием Apache Kafka.

- Интеграция данных из различных источников: БД, REST API, файловые системы.

- Разработка REST API и микросервисов на FastAPI.

- Проектирование структур данных, витрин и моделей хранения в DWH.

- Оптимизация производительности загрузки и обработки больших объёмов данных.

- Настройка мониторинга, логирования и обработки ошибок в пайплайнах.

- Обеспечение качества, целостности и актуальности данных.

Требования

- Опыт работы Data Engineer от 3 лет.

- Уверенное знание Python (обработка данных, интеграции, автоматизация).

- Продвинутый SQL: сложные запросы, оконные функции, CTE, оптимизация.

- Практический опыт работы с Greenplum или PostgreSQL.

- Опыт разработки DAG в Apache Airflow.

- Понимание принципов работы Apache Kafka: topics, partitions, consumer groups, offsets.

- Опыт разработки REST API на FastAPI.

- Понимание архитектуры DWH, ETL/ELT и принципов построения Data Pipelines.

- Опыт работы с Git и Linux. Мы предлагаем:

ДМС

Внешнее обучение

Компенсация за фитнес

Скидки, бонусы от компаний входящих в холдинг

Itransition is looking for a talented Data Engineer that is willing to solve complex technical issues while developing high quality software systems using modern technologies.

Requirements:

• 2+ years with Python including strong knowledge of data libraries (pandas, multiprocess, Google Cloud SDK)

• 2+ years of experience in ETL/ELT technologies (REST API, GraphQL, DBT, etc. ) and data pipeline orchestration (e.g., Airflow, Astronomer, DBT cloud, etc)

• Hands-on experience with Snowflake

• Problem-solving and root cause analysis in live production systems along with experience querying and transforming large volumes of data, data quality and data validation

• Experience in SQL (SQL Server, Oracle, MySQL, BigQuery, Snowflake)

• Comfortable working with serialized data format (JSON, AVRO, XML, CSV) as well as compressed and encoded files

• Comfortable with ingesting data using REST APIs, data transformations and data loading/unloading techniques

• English proficiency sufficient to work in an international environment

Nice to have:

• Capable of designing and implementing data pipelines over cloud architecture
• Experience working with CI/CD deployments
• Experience working with GIT

We can offer:

• Projects for such clients as PayPal, Wargaming, Xerox, Philips, adidas and Toyota
• Competitive compensation that depends on your qualification and skills
• Career development system with clear skill qualifications
• Options to work remotely
• Compensation for medical expenses
• English courses online
• Corporate parties and events for employees and their children
• Internal conferences, workshops and meetups for learning and experience sharing
• Gym membership compensation, corporate sport competitions (cybersport included)
• 5 days of paid sick leave per year with no obligation to submit a sick-leave certificate

• Определять источники данных для AI-решений: базы данных, документы, API, файловые хранилища, внешние системы и потоки обновлений;
• Проектировать модели данных: сущности и связи, версии, метаданные, lineage, права доступа и правила актуализации;
• Организовывать сбор и обработку данных из внешних источников: очистку, нормализацию, дедупликацию, классификацию и разметку;
• Формировать единое эталонное представление объекта (golden record) при объединении данных из нескольких источников;
• Подготавливать данные для поиска и RAG: chunking, embeddings, индексация, векторный и гибридный поиск;
• Настраивать retrieval и reranking, обеспечивать обновление индексов при изменении исходных данных;
• При необходимости готовить датасеты для обучения или дообучения моделей, если задача не решается с помощью RAG;
• Определять показатели качества данных и retrieval, организовывать их мониторинг: полнота, актуальность, precision/recall, latency и другие показатели;
• Взаимодействовать с LLM-инженерами, аналитиками и разработчиками при проектировании AI-решений.

НАШИ ОЖИДАНИЯ:

• От 4 лет опыта в Data Engineering, Data Platform, Data Architecture или смежной области;
• Уверенное знание SQL и реляционных баз данных;
• Опыт построения ETL/ELT-процессов и data pipelines;
• Опыт интеграции данных из различных источников: БД, API, файлов и внешних систем;
• Практический опыт проектирования моделей данных и работы с качеством данных, метаданными и версиями;
• Практический опыт подготовки данных для поиска, ML или LLM/RAG-систем;
• Понимание принципов chunking, embeddings, vector search и hybrid search;
• Опыт работы с векторными хранилищами или поисковыми системами;
• Умение самостоятельно разбираться в структуре и качестве новых источников данных.

БУДЕТ ПЛЮСОМ:

• Опыт разработки и эксплуатации RAG-систем в production;
• Опыт оптимизации retrieval и reranking;
• Python для обработки данных и разработки data pipelines;
• Kafka или другие системы потоковой обработки данных;
• Airflow или аналогичные инструменты оркестрации;
• PostgreSQL, ClickHouse, Elasticsearch/OpenSearch, векторные хранилища и аналогичные технологии;
• Опыт подготовки датасетов для supervised learning / fine-tuning;
• Понимание метрик оценки RAG: retrieval quality, groundedness, faithfulness, coverage.