Data Engineer в Data Lake (Python)

ID 3913 - Senior Data Engineer

🌍 Локация: РФ
💼 Удаленно
🕔 Занятость: фулл тайм

🏢 Проект: Проектирование и разработка пайплайнов обработки данных, поддержка и развитие DWH/ETL-процессов, рефакторинг кода, аналитика и миграция источников данных в отчетности

💡 Требования:
от 3 лет коммерческого опыта
Опыт по требуемому стеку/направлению:
MSSQL - уверенное владение (T-SQL, оптимизация запросов, хранимые процедуры); Python - от 2 лет; Airflow 1 года (построение и сопровождение DAG, планирование, мониторинг). Понимание принципов построения ETL/ELT-пайплайнов, работы с большими объемами данных, обеспечения отказоустойчивости и идемпотентности загрузок
Релевантный проектный опыт:
Проектирование и разработка пайплайнов данных с нуля; участие в архитектурных решениях; рефакторинг существующего кода; оптимизация производительности запросов; повышение отказоустойчивости.
Умение разбираться в чужом коде.
Самостоятельная проработка технических решений, декомпозиция сложных задач.
Опыт работы с инцидентами.
Опыт аналитических задач по изменению источников данных в отчетности (переключение с одной мастер-системы на другую), сверка данных, валидация результатов миграции
Отраслевой опыт:
опыт работы в e-com желателен
Обязательные технологии/инструменты:
MSSQL, Python, Airflow, Git. Уверенное владение SQL.

Техническое задание:
Разработка техдолговых задач по распилу WTIS; рефакторинг существующего кода; аналитические задачи по изменению источников в отчетности с одной мастер-системы на другие

📨 Отклик — через форму: •••••••• или напрямую рекрутеру ••••••••

❗️Откликайтесь только при релевантном опыте.

❗️При первичном отклике:
ID вакансии / ФИО / локация / возраст / занятость (работаете/нет) / формат работы (удаленка, гибрид, офис) / стек / опыт / резюме / сверка с требованиями

❗️Повторный отклик: ID вакансии + сверка.

#Data #Engineer #Удаленно #вакансия

•••••••• is hiring a Data Engineer for a project developing an ML-powered image analysis platform to automate defect detection and improve quality control in electroplating and surface finishing.

Our customer is an international company providing specialized industrial materials and technology solutions to businesses across multiple sectors. Combining technical expertise with research and development capabilities, the organization helps customers improve manufacturing processes, enhance product quality, and increase operational efficiency. Its activities focus on delivering innovative solutions, supporting sustainable industrial practices, and adapting to evolving technological and market requirements.

The project is focused on developing and enhancing an image analysis platform for quality control in electroplating and surface finishing processes. It leverages Machine Learning and Computer Vision to automate defect detection, image segmentation, feature measurement, and comparison with expert reference values, enabling accurate, consistent, and objective quality assessments.

• Designing data structures for reference data, image metadata, intermediate and inference results and pass/fail decisions.
• Ensuring traceability from image to model result to final decision.
• Assessing extending the existing database versus introducing a separate data store.
• Implementing database schema and data flows for the ML pipeline.
• Implementing data integration and synchronization between on-premise tools and AWS.
• Adding data quality checks and validation rules.
• Documenting data model and data flows.

• Experience in Data Engineering for 5+ years.
• Strong experience with database design and data modeling from scratch.
• Advanced SQL skills and hands-on experience with PostgreSQL or other relational databases.
• Strong proficiency in Python for developing and maintaining data pipelines.
• Experience with data integration and synchronization across multiple systems.
• Experience with storing and versioning ML model outputs, features, and scoring results.
• Hands-on experience with AWS, including S3, RDS, Glue, and Lambda.
• Level of English – from Intermediate+ and above.

• Experience with SQLite and migrating local databases to cloud environments.
• Knowledge of data lineage, auditing, and traceability.
• Experience with Terraform and CI/CD pipelines for data engineering workflows.

• Experience in teamwork with leaders in FinTech, Healthcare, Retail, Telecom, and others. •••••••• cooperates with such businesses as Samsung, Siemens, Johnson & Johnson, BNP Paribas, Ryanair, Mercedes, TUI, Verivox, Allianz, T-Systems, etc..
• The opportunity to change the project and/or develop expertise in an interesting business domain.
• Job conditions – you can work both fully remotely and from the office or can choose a hybrid variant.
• Guarantee of professional, financial, and career growth! The company has introduced systems of mentoring and adaptation for each new employee.
• The opportunity to earn up to an additional 1,000 EUR per month, depending on the level of expertise, which will be included in the annual bonus, by participating in the company's activities.
• Access to the corporate training portal, where the entire knowledge base of the company is collected and which is constantly updated.
• Bright corporate life (parties / pizza days / PlayStation / fruits / coffee / snacks / movies).
• Certification compensation (AWS, PMP, etc).
• Referral program.
• Private health insurance and sports compensation, depending on the type of employment.

Join us!