Data Engineer Ценообразование (Python, FastAPI)
Формат работы: гибрид, удалённо или офис (Москва)
wildberries · На сервисе с: 09.09.26 18:53
#middle #гибрид #удаленка #офис
Wildberries
Data Engineer Ценообразование
Опыт работы: от 3 лет
Формат работы: гибрид, удалённо или офис (Москва)
☑️ Чем предстоит заниматься
-Проектировать и разрабатывать пайплайны загрузки данных. Делать это оптимально в зависимости от потребностей команд потребителей
-Проектировать загрузку данных, раскладку по слоям, витрины в ClickHouse: выбор движка таблиц, ключей сортировки и партиционирования, ключей шардирования и репликации
-Оптимизировать запросы и хранение: разбираться, почему запрос медленный или таблица растёт быстрее ожидаемого, и чинить это
-Разрабатывать и поддерживать DAGи в Airflow: идемпотентность, ретраи, бэкфиллы, зависимости между задачами
-Обеспечивать качество данных: проверки по полноте и консистентности, сверки между системами, алертинг и мониторинг пайплайнов
-Работать напрямую с продуктовыми командами и аналитиками: разбирать требования, договариваться о контрактах данных, объяснять ограничения и предлагать варианты
☑️ Наши пожелания к кандидатам
-Опыт работы с ClickHouse (это ключевой навык для данной позиции. Необходимо уметь идентифицировать проблемы на кластере, понимать как работать с распределенной БД, как оптимально собрать пайплайны, чтобы не убить кластер)
-Уверенный SQL, работа с большими объёмами (у нас есть таблицы 50+ Tb)
-Владеете Python для разработки пайплайнов, а иногда даже бекенда на FastAPI
-Опыт работы с Apache Airflow (опыт разработки и эксплуатации DAGов в проде, понимание идемпотентности и бэкфиллов)
-Опыт работы с Apache Kafka (понимание модели (топики, партиции, консьюмер-группы, оффсеты, семантика доставки), опыт построения загрузки из Kafka в хранилище)
-Опыт интеграции данных из REST API и реляционных БД (PostgreSQL и аналоги), включая инкрементальную загрузку и работу с изменениями данных
••••••••
🔥 •••••••• / •••••••• / ••••••••
Похожие вакансии Data Engineer
Andersen is hiring a Data Engineer in Poland for a project developing large-scale analytics solutions and data platforms that transform audience and media data into actionable insights.
The company is a global technology provider delivering data analytics and AI-powered solutions that help organizations better understand customer behavior, optimize marketing performance, and make informed business decisions. By transforming large volumes of data into actionable insights, it enables enterprises to improve audience engagement, measure the effectiveness of their initiatives, and enhance decision-making. The company works with a diverse range of customers, supporting them in navigating an increasingly data-driven and rapidly evolving digital landscape.
The project is focused on developing data-driven audience measurement and advertising analytics solutions powered by connected-device and media consumption data. It leverages machine learning and large-scale data processing to help media companies, advertisers, and content providers better understand viewer behavior and engagement across digital channels.
- Serving as the primary DE point of contact for report-related questions, including data availability, metric discrepancies, and pipeline behavior.
- Writing and executing SQL queries (BigQuery, PostgreSQL) to validate report outputs, isolate data anomalies, and confirm fixes.
- Reproducing and documenting data issues, coordinating with the core DE team for resolution.
- Supporting ad hoc data pulls and validation requests tied to reporting products.
- Setting up and configuring cloud environments required for partner data delivery, including AWS S3 buckets, IAM policies, and SFTP endpoints.
- Writing and maintaining Airflow DAGs (Python) to orchestrate ingestion workflows, including scheduling, alerting, and dependency management.
- Coordinating with external partners on file format specifications, delivery schedules, and test dataset requests.
- Executing match tests to validate identity resolution across ingestion pipelines.
- Identifying and flag data quality issues in partner files before they propagate to production pipelines.
- Experience as a Data Engineer for 3+ years.
- Hands-on production experience on AWS, or Databricks.
- Strong SQL (BigQuery and/or PostgreSQL) — complex analytical queries in production.
- Python at production quality.
- Apache Airflow DAG authoring.
- Distributed processing in production; workflow orchestration.
- API-first services; working experience with streaming or event-driven system.
- Bachelor's degree in Computer Science, Software Engineering, or a related technical field, or equivalent.
- Level of English – from Upper-Intermediate and above.
- Background in ad tech, audience measurement, CTV/OTT, ACR, or programmatic data flows.
- Hands-on production experience on GCP.
- Experience in teamwork with leaders in FinTech, Healthcare, Retail, Telecom, and others. Andersen cooperates with such businesses as Samsung, Siemens, Johnson & Johnson, BNP Paribas, Ryanair, Mercedes, TUI, Verivox, Allianz, T-Systems, etc..
- The opportunity to change the project and/or develop expertise in an interesting business domain.
- Job conditions – you can work both fully remotely and from the office or can choose a hybrid variant.
- Guarantee of professional, financial, and career growth! The company has introduced systems of mentoring and adaptation for each new employee.
- The opportunity to earn up to an additional 1,000 USD per month, depending on the level of expertise, which will be included in the annual bonus, by participating in the company's activities.
- Access to the corporate training portal, where the entire knowledge base of the company is collected and which is constantly updated.
- Bright corporate life (parties / pizza days / PlayStation / fruits / coffee / snacks / movies).
- Certification compensation (AWS, PMP, etc).
- Referral program.
- Private health insurance and compensation for sports activities.
Join us!
HireSeeker собирает вакансии со всех площадок и присылает только релевантные. Бесплатно.