• Высокий уровень знаний языка программирования Python – структуры данных, итераторы и декораторы, параллельное и асинхронное программирование, объектно-ориентированное и функциональное программирование.
Неизвестный работодатель · На сервисе с: 21.08.26 12:11
ID 3436
Data Engineer+ML
Middle
РФ❗️
Возраст: от 25до 45 лет
Привлечение 12 мес
Технические знания и опыт:
• Высокий уровень знаний языка программирования Python – структуры данных, итераторы и декораторы, параллельное и асинхронное программирование, объектно-ориентированное и функциональное программирование.
• Отличные знания SQL – создание сложных запросов с использованием табличных выражений (CTE) и оконных функций.
• Опыт работы с векторными хранилищами данных OpenSearch, Qdrant
• Опыт разработки сервисов пакетной и потоковой обработки данных для вычисления их векторного представления (embedding) и сохранения в векторном хранилище для обогащения больших языковых моделей (LLM) релевантными контекстными данными (RAG).
• Опыт работы в среде JupyterLab/JupyterHub.
• Опыт реализации промышленных отказоустойчивых сервисов ETL на Python для пакетной загрузки и трансформации данных под управлением Apache Airflow, Argo Workflows;
• Хорошие знания платформы Apache Spark – опыт использования библиотеки pyspark, влияние конфигурации приложения pyspark на производительность и эффективность обработки данных, отладка и анализ эффективности приложений pyspark с помощью Spark History Server.
• Опыт асинхронного программного взаимодействия с веб-сервисами по REST API с использованием библиотек – aiohttp, httpx.
• Хорошие знания и опыт использования реляционных баз данных Oracle, PostgreSQL
• Понимание особенностей обработки и хранения аналитических данных (OLAP), понимание отличий колоночных баз данных от строковых, знание колоночных форматов хранения данных – parquet, orc.
• Хорошие знания и опыт использования хранилищ больших данных – Hadoop/HDFS, S3, форматы таблиц Hive, Iceberg.
Будет дополнительным преимуществом:
• Знание и опыт использования платформ потоковой обработки данных Apache Kafka, Apache Flink – чтение и запись потока данных Apache Kafka с помощью библиотек aiokafka, confluent-kafka, kafka-python, разработка потоковых приложений Apache Flink.
Личностные и коммуникативные навыки:
• Проактивный подход к работе – способность и желание искать и предлагать методы и варианты решения задач.
• Общий позитивный настрой и активная жизненная позиция.
• Умение и желание работать в команде, делиться опытом с коллегами и учиться новым практикам.
• Открытость в коммуникации трудностей, препятствующих решению задач.
Если кандидат в течении года подавался напрямую или через вендора к заказчику - таких кандидатов заказчик не рассмотрит
Обязательный чек-лист перед отправкой кандидата:
1. Кандидату от 23-45 лет?
2. Подавался ли кандидат в течении года к клиенту?
3. Работал ли кандидат у клиента?
❗️❗️❗️Писать ••••••••⚡️⚡️⚡️⚡️ С РЕЗЮМЕ В КОТОРОМ УКАЗАН ВОЗРАСТ И ЛОКАЦИЯ НАХОЖДЕНИЯ. Укажите 🆔 вакансии❗️ Без этой информации отклики не рассматриваются ❗️❗️
HireSeeker собирает вакансии со всех площадок и присылает только релевантные. Бесплатно.