Дата-инженер (Java)

Команда DWH Одноклассников — 30 PiB данных и 1000+ ежедневных расчётов. Строим витрины и отчёты, готовим данные для A/B-тестов, отдаём данные другим бизнес-юнитам и переводим расчёты на новые технологии.

vk · На сервисе с: 28.09.26 10:14

Зарплата не указанаРоссияМосква

Открыть на сайте компании

Стек: YTsaurus, ClickHouse, Java, Spark, Airflow, Superset, Grafana.

В команду, занимающуюся анализом и хранением данных, ищем человека на роль Data Engineer. Основной задачей будет построение и оптимизация ETL-процессов на базе YTsaurus стека технологий.

Опыт с конкретными технологиями не критичен, важно понимание основных принципов работы с большими данными, алгоритмов их обработки и умение работать без чётких ТЗ, плотно взаимодействуя с заказчиком.

Задачи

Построение новых и рефакторинг старых ETL-процессов
Ad hoc задачи по выгрузкам / подготовке данных, их автоматизация при необходимости
Участие в доработках платформы и фреймворка расчётов
Разработка отчётов в SuperSet
Автоматизация процессов с использованием LLM

Требования

Опыт работы с SQL и большими объёмами данных
Опыт построения сложных ETL-процессов
Знание базовых алгоритмов и структур хранения данных, понимание принципов работы распределённых систем
Желателен опыт работы с ClickHouse, Spark, Hadoop-стеком, Java, Airflow

Будет плюсом

Опыт работы с YTsaurus, YQL, LLM.

Открыть на сайте компании

Статьи для Data Engineer

Похожие вакансии Data Engineer

hh.ru

Data Engineer (офис, Москва)

иц ай-текоНа сервисе с: 07.06.26 11:06↑ Вакансия с автоподнятием

Зарплата не указанаРоссияМоскваОфис

КОМПАНИЯ «АЙ-ТЕКО» - ведущий российский системный интегратор и поставщик информационных технологий для корпоративных заказчиков. Активно действует на рынке IT России с 1997 года, входит в ТОП-400 крупнейших российских компаний, ТОП-10 крупнейших IT-компаний России.

В связи с активным развитием проектов в компании открыта вакансия Data Engineer ОФИС В МСК

ФОРМАТ РАБОТЫ: ОФИС, МСК

Стек технологий: SQL, Hadoop, Spark, Hive

Основные обязанности:

- Построение логических и/или физических моделей данных;
- Опыт построения таблиц с версионированием данных (бизнес/техническая история , ескд2);
- Знание etl процессов;
- Проектирование алгоритмов загрузки (инит/архив, инкремент, выделение дельты изменений);
- SQL - уверенные знания ;
- Опыт работы с инструментарием Hadoop (Spark, Hive, HDFS, YARN);
- разработка java дистрибутива etl процесса;
- Работа с БД с использованием Spark java framework;
- настройка параметров spark фреймворка (оптимизация Spark контекста);
- Работа с датафреймами и датасетами;
- Оптимизация плана запросов.
- опыт со scala будет преимуществом

МЫ ПРЕДЛАГАЕМ:

Работу в стабильной компании, "белую" заработную плату;
Оформление в соответствии с ТК РФ с первого дня работы;
Расширенный социальный пакет: ДМС (включая стоматологию), корпоративные скидки на посещение фитнес-клубов, футбольная и волейбольная секции;
Профессиональное обучение и развитие;
Яркая и насыщенная корпоративная жизнь;
Снабжаем всей необходимой современной техникой: мощный ноут привезут прямо в день оформления.

ФОРМАТ РАБОТЫ: ОФИС, МСК

Открыть на hh.ru

Соц.сети

DataOps

ооо_7_красных_линийНа сервисе с: 02.10.26 20:22

200k–250k ₽Не указана странаЛокация не указанаУдалёнка

Публикатор: ••••••••
Обсуждение: ••••••••
#вакансия #devops #data #инженер #DWH #ETL #девопс #AI #ИИ

Должность: DataOps
Занятость: полная
Компания: ООО «7 Красных Линий»
Оклад на руки: 200-250К
Формат работы: удалённо
Оформление: ТК РФ
Заработная плата: обсуждается по итогам собеседования
Контактная информация
Telegram: ••••••••
Эл. почта: ••••••••
О компании
7 КРАСНЫХ ЛИНИЙ — AI-интегратор нового поколения. С 2016 года мы реализуем сложные IT-проекты для крупных компаний, а сегодня активно развиваем направления AI, Data и интеллектуальной автоматизации.
Чем предстоит заниматься
• Развивать и поддерживать IT-инфраструктуру, обеспечивать стабильность и отказоустойчивость систем.
• Настраивать и сопровождать процессы CI/CD, автоматизировать развёртывание и эксплуатацию сервисов.
• Работать с контейнеризацией и оркестрацией на базе Docker и Kubernetes.
• Автоматизировать инфраструктурные и эксплуатационные задачи с использованием Ansible, Bash и Python.
• Администрировать базы данных, обеспечивать резервное копирование, восстановление и мониторинг.
• Поддерживать и оптимизировать процессы загрузки, преобразования и обработки данных (ETL).
• Участвовать в развитии хранилищ данных (DWH) и витрин данных.
• Настраивать мониторинг, алертинг и диагностику инфраструктуры и сервисов.
• Анализировать и устранять проблемы производительности, загрузки и обработки данных.
• Использовать AI-инструменты и AI-агентов для автоматизации рутинных DevOps-задач и повышения эффективности работы.
Наши ожидания
• Опыт работы в DevOps и/или Data Engineering от 4 лет с практическими навыками в обоих направлениях.
• Уверенное владение Linux (Ubuntu/Debian, CentOS/RHEL).
• Опыт работы с Docker, Kubernetes и Helm.
• Практический опыт работы с Ansible и CI/CD на базе GitLab.
• Навыки автоматизации с использованием Bash и Python.
• Уверенное владение SQL и опыт работы с PostgreSQL.
• Опыт работы с одной или несколькими СУБД: PostgreSQL, ClickHouse, Greenplum.
• Понимание принципов построения хранилищ данных (DWH) и организации ETL-процессов.
• Опыт работы с Apache NiFi и/или Apache Airflow.
• Опыт настройки мониторинга и алертинга (Grafana, Prometheus или аналоги).
• Понимание сетевых технологий и протоколов TCP/IP, HTTP, DNS.
• Умение самостоятельно решать технические задачи и взаимодействовать с проектной командой.
Будет плюсом
• Практический опыт разработки ETL-процессов, хранилищ и витрин данных.
• Опыт работы с Python-библиотеками SQLAlchemy и Pandas.
• Знакомство с продуктами Arenadata (ADB, ADS, ADH).
• Опыт работы с Hadoop, PySpark или Apache Kafka.
• Опыт работы с Terraform и OpenStack.
• Опыт настройки высокодоступных и масштабируемых систем.
• Понимание принципов Data Quality и опыт автоматизации проверок качества данных.
• Практический опыт использования AI/LLM-инструментов и AI-агентов для автоматизации инженерных задач.

Соц.сети

Data Engineer

appsteroНа сервисе с: 02.10.26 18:17

Зарплата не указанаПольшаWarsawГибрид

🚀 В Appstero ищем Data Engineer

Ищем инженера, который построит и будет развивать аналитическое хранилище компании на BigQuery.

Что предстоит делать:
• Настраивать пайплайны из продуктовых и маркетинговых источников: AppsFlyer, Adjust, RevenueCat, Amplitude, Mixpanel, Facebook Ads и других
• Приводить данные в удобный вид для аналитиков и продактов, документировать модель данных
• Внедрять лучшие практики: слои (raw / staging / marts), нейминг, версионирование, тесты качества данных
• Общаться с продуктом, маркетингом и аналитикой и переводить их вопросы в структуру данных

От тебя:
✅ 2+ года в data engineering или в аналитике с серьёзной инженерной частью (junior+ / middle-)
Уверенный Python для ETL/ELT, работы с API и автоматизации, с опытом продакшн-кода
✅GCP: BigQuery, Cloud Functions, Cloud Storage
✅Уверенный SQL: оконные функции, CTE, оптимизация запросов
✅ Понимание принципов хранилищ: слои, нормализация и денормализация, идемпотентность, инкрементальные загрузки
✅Опыт интеграции внешних источников через API или готовые коннекторы
✅Умение говорить с нетехническими коллегами простым языком: половина работы — договориться, какие данные нужны и в каком виде
✅ Git, код-ревью

Что предлагаем:
- Гибрид: 2 дня в офисе в Варшаве, 3 дня удаленно
- Обеды в офисные дни
- Выездные тимбилдинги и ивенты в течение года
- Молодая команда без бюрократии и микроменеджмента

📩 Откликнуться: ••••••••

HireSeeker собирает вакансии со всех площадок и присылает только релевантные. Бесплатно.

Посмотреть полный каталог →Свежие вакансии Data Engineer