Data Engineer — свежие вакансии

«abgroup.tech» - технологический партнер по созданию продвинутой аналитики и развитию IT-инфраструктуры. Осуществляем разработку полного цикла для аналитических сервисов и систем мониторинга от этапа бизнес требований заказчика до полного внедрения продукта, включая поддержку миграции данных и составление технической документации на разработанный продукт.

Наша команда расширяется и реализует новые проекты, в связи с этим мы ищем Data Engineer уровня Junior.

Обязанности:

• Разработка витрин данных, написание и оптимизация сложных SQL-запросов;
• Построение и поддержка ETL/ELT-пайплайнов со внутренними и внешними источниками данных;
• Взаимодействие с командой разработки (аналитики, разработчики);
• Участие в разработке DWH, выборе технологий и средств реализации решений;
• Формирование технической документации (актуализация существующей и создание новой, проработка новых разделов);
• Работа с актуальными технологиями в области Data Engineering.

Основной стек: S3, Kafka, Trino, PostgreSQL, Clickhouse, DBT, Airflow, Dagster, Python.

Обязательные требования:

• Учебный опыт от 1 года на специализированных курсах;
• Уверенные знания SQL - свободное владение основными конструкциями языка, написание запросов различной сложности, проектирование баз данных на основе бизнес-требований;
• Уверенные знания Python - знание стандартных библиотек, опыт взаимодействия с базами данных, работа с Pandas;
• Базовые знания Git;
• Опыт построения ETL/ELT-процессов - работа со внешними API, написание DAG'ов для оркестраторов процессов (Airflow, Dagster).

Мы рады сообщить, что рассматриваем кандидатов без опыта работы и выпускников ВУЗов, при условии, что они соответствуют нашим обязательным требованиям.
Мы ценим мотивацию и желание развиваться, и готовы обучать подходящих специалистов.

Информация об условиях:

• Официальное трудоустройство в штат по ТК РФ;
• Белая заработная плата с выплатой 2 раза в месяц;
• График 5/2, восьмичасовой рабочий день, гибкое начало дня;
• Работа в новом офисе в центре Нижнего Новгорода с вкусным кофе и комнатой отдыха;
• ДМС после прохождения испытательного срока;
• Рабочее место, оборудованное современной техникой;
• Пересмотр уровня мотивации раз в полгода;
• Профессиональное развитие внутри Компании;
• Наставничество руководителя или "старших" коллег.

Проект по технологической трансформации бэкофисных и учетных систем одного из крупнейших Банков, в цели которого входит реализация регуляторной отчетности Банка для ЦБ на новой технологической платформе и внедрение продуктов Глобальных рынков в данную отчетность.
Платформа представляет собой Фабрику данных Банка с поставкой данных из Единого семантического слоя (ЕСС) или реплик систем-источников. Платформа отчетности построена на базе технологий Hadoop, PostgreSQL, GreenPlum.

Обязанности:

• Проектирование и реализация backend-сервисов на Python
• Оптимизация производительности и надежности системы

• высшее техническое/экономическое образование
• уверенные знания по SQL
• навыки разработки API, понимание JWT
• написание кода согласно минимум PEP8
• понимание принципов ООП, принципов SOLID, принципов работы REST, Python 3.10+, Django, Django REST Framework, PostgreSQL, Celery, Redis( будет переход на DropApp), openpyxl, знание асинхронной разработки
• опыт работы с PostgreSQL
• опыт разработки на Python от 2 лет
• опыт применения Bitbucket, Git, Jenkins, Openshift, Confluence
• понимание принципов построения REST API
• знание английского языка на уровне чтения технической документации
• желание профессионально развиваться.

• Оформление по ТК РФ, полностью "белая" зарплата
• Гибкий график: 5/2, 8-часовой рабочий день
• Удалённый формат работы из любой точки России
• Доступ к масштабным проектам и современным технологиям
• Возможности для профессионального роста и обучения
• Дружная команда экспертов, готовых делиться опытом

Мы ищем Data Engineer, который будет отвечать за инфраструктуру, пайплайны и качество данных для обучения современных Vision-Language Models. Роль находится на стыке data engineering и ML: нужно будет работать с большими мультимодальными датасетами, понимать потребности исследователей и ML-инженеров, строить пайплайны очистки, фильтрации, категоризации и генерации данных, а также обеспечивать воспроизводимый экспорт данных в формат для обучения моделей.

• Собирать и структурировать потребности ML-команды в данных: какие данные нужны для обучения, дообучения, оценки и улучшения VLM.
• Предлагать и реализовывать идеи пайплайнов очистки, фильтрации, дедупликации, категоризации и генерации данных.
• Ориентироваться в современных практиках построения датасетов для Vision-Language Models: image-text pairs, synthetic data, filtering, quality scoring, data mixture design, dataset versioning.
• Отвечать за инфраструктуру хранения и подготовки данных, включая:

1. импорт данных из различных источников: production, Common Crawl, open-source datasets, generated data;
2. валидацию и контроль качества данных;
3. хранение и версионирование датасетов;
4. экспорт данных в форматы, пригодные для обучения моделей.

• Проектировать и реализовывать пайплайны обработки данных на большом масштабе, включая десятки миллиардов изображений.

• Разрабатывать пайплайны генерации синтетических данных для обучения и улучшения VLM.

• Собирать статистику по данным, строить отчёты и визуализации для анализа состава, качества и покрытия датасетов.

• Обеспечивать воспроизводимость, наблюдаемость и надёжность data-процессов.

• Работать в тесной связке с ML-инженерами, исследователями и инфраструктурной командой.

• Сильный опыт в data engineering и построении production-grade data pipelines.

• Уверенное владение Python, включая multiprocessing, multithreading и async-подходы.

• Опыт работы с большими объёмами данных и распределённой обработкой.

• Практический опыт с объектными хранилищами, в частности S3 или аналогами.

• Опыт работы с YTsaurus или похожими системами для распределённого хранения и обработки данных.

• Понимание принципов валидации, очистки, дедупликации и версионирования датасетов.

• Опыт работы с DVC, Git, Docker.

• Опыт работы с PostgreSQL или другими реляционными базами данных.

• Умение проектировать устойчивые пайплайны: от импорта данных до финального экспорта в training-ready формат.

• Способность самостоятельно разбираться в нечетко сформулированных задачах и доводить их до работающего решения.

• Готовность работать на стыке engineering и ML research.

Будет плюсом

• Опыт работы с мультимодальными данными: изображения, текст, image-text pairs, captions, OCR, metadata.

• Понимание того, как устроены современные датасеты для обучения VLM / LMM / multimodal models.

• Опыт построения пайплайнов для synthetic data generation.

• Опыт реализации quality scoring, filtering, semantic deduplication, clustering или data attribution.

• Опыт визуализации статистики по большим датасетам и построения внутренних аналитических дашбордов.

• Опыт работы с Common Crawl, LAION-подобными датасетами, open-source vision-language datasets.

• Базовое понимание ML training pipeline и того, как качество данных влияет на качество модели.

• крупнейшее DS&AI community — более 600 DS-специалистов банка

• дайджест о самых последних разработках в области DS&AI и отчеты с крупнейших конференций мира

• возможность быть соавтором НИРов и статей для международных конференций

• возможность выбрать удобный формат работы: гибрид или офис

• ежегодный пересмотр зарплаты, годовая премия

• корпоративный спортзал и зоны отдыха

• более 400 образовательных программ СберУниверситета для профессионального и карьерного развития

• расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа

• ипотека выгоднее до 7% для каждого сотрудника

• бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров

• вознаграждение за рекомендацию друзей в команду Сбера.

Юзтех – группа аккредитованных ИТ-компаний полного цикла разработки с многолетней экспертизой в передовых технологиях: DWH, BigData, AI/ML, Blockchain, BI, предиктивная аналитика, цифровые двойники производства и рисков.

ГК Юзтех является технологическим партнером таких компаний, как Mail.ru, 2Gis, НЛМК, Еврохим, ГоИнвест, Альфа-Банк, Сбер, ВТБ, МКБ, Самолет, Х5 retail Group, Газпромнефть, Леруа Мерлен, Ситилинк, Ланит, IBS. Также, ГК разрабатывает собственные ИТ-продукты (Юзбас, Октопус, Тил Эйчар) и флагманские проекты, которыми пользуется 70% населения страны.

Сфера:

Ищем главного инженера для сопровождения и развития витрины данных в рамках платформы единого профиля клиента (MDM). Предстоит работать с ETL-процессами и загрузками данных, контролировать их стабильность, анализировать сбои, тестировать доработки и поддерживать пользователей системы.

Формат: удалённо, РФ.

Задачи:

• Сопровождение и анализ существующих ETL-процессов загрузки данных.
• Мониторинг процессов загрузки и выявление аномалий и сбоев.
• Диагностика проблем и участие в восстановлении корректной загрузки данных.
• Тестирование доработок перед выводом в промышленную эксплуатацию.
• Установка и сопровождение доработок в продуктивном контуре.
• Разбор обращений пользователей в рамках второй линии поддержки.
• Выполнение и сопровождение перегрузок данных.
• Проверка технической и эксплуатационной документации.
• Подготовка инструкций по мониторингу процессов и действиям при сбоях.
• Взаимодействие с разработчиками, аналитиками и смежными ИТ-командами.

Мы ожидаем:

• Уверенное знание SQL.
• Опыт работы с PL/SQL и PL/pgSQL.
• Знание Python на уровне использования библиотек для ETL-задач.
• Практический опыт работы с Oracle.
• Практический опыт работы с S3-like хранилищами.
• Практический опыт работы с Apache Airflow.
• Опыт работы с Apache Spark.
• Опыт работы с Greenplum.
• Опыт работы с Informatica PowerCenter.
• Опыт использования Git и понимание процессов CI/CD.
• Опыт работы с Jira и Confluence или аналогичными системами.
• Опыт работы с форматами XML и JSON.
• Навыки системного анализа и тестирования.
• Базовое понимание принципов работы реляционных СУБД.
• Базовые знания Kafka.

• Будет плюсом:

• Знание Apache Iceberg.
• Опыт сопровождения корпоративных хранилищ и витрин данных.
• Опыт работы с промышленными ETL/ELT-процессами и высоконагруженными контурами обработки данных.

Мы предлагаем:

• Карьерную и профессиональную возможность в стабильной, аккредитованной ИТ-компании;
• Расширенный полис ДМС со стоматологией, корпоративный психолог;
• Необходимую технику для комфортной работы;
• Обучение, сертификацию, клуб английского языка;
• Доступ к Корпоративной библиотеке и к Корпоративному университету;
• Внутрикорпоративные профильные коммьюнити;
• Заботу о детях сотрудников: корпоративные скидки, подарки, детские дни;
• Геймифицированную программу лояльности: поверь, ты будешь восторге от нашего корпоративного магазина;
• Корпоративную жизнь: мы много работаем и классно отдыхаем.

Объединённая компания Wildberries и Russ — это международная технологическая компания, образованная в результате слияния двух лидеров рынка — IT-компании Wildberries и оператора наружной рекламы Russ.

Ищем дата инженера в направление Data Platform!

Обязанности

• Обеспечивать стабильную, производительную и безопасную работу Data Platfrorm на базе Trino, Spark, S3 и Apache Iceberg, включая администрирование и управление ролевой моделью доступа, документирование изменений в проекте
• Настраивать, обновлять, мониторить и тюнить кластера Trino
• Настраивать коннекторы (Iceberg, S3)
• Оптимизировать производительность запросов (resource groups, query analysis)
• Оптимизировать производительность Iceberg (partitioning, clustering, metadata management)
• Разрабатывать и внедрять централизованные ролевые модели для доступа к данным и ресурсам платформы

Требования

• Обладаете пониманием взаимодействия Spark с Iceberg и S3
• Имеете опыт эксплуатации Apache Iceberg (администрирование таблиц в формате Iceberg, настройка и использование Hive Metastore)
• Обладаете пониманием и применением: compaction, expiration snapshots, time travel, schema evolution
• Имеете навыки Linux, Bash, Python для автоматизации
• Обладаете опытом управления политиками доступа и правами доступа через Ranger в S3 и Iceberg
• Имеете опыт разработки и внедрения централизованной ролевой модели для доступа к данным и ресурсам платформы
• Иметь опыт администрирования Greenplum или ClickHouse (установка, настройка, оптимизация, интеграция с S3/Iceberg).

Условия

• Обучение и развитие: языковые клубы, собственный корпоративный университет, программы развития управленческих навыков и многое другое
• Благополучие сотрудников: корпоративный пакет ДМС со стоматологией, корпоративный спорт, консультации психолога и дополнительные возможности аккредитованной IT-компании
• Множество сообществ: клуб спикеров, футбола, йоги, шахмат и т.д.
• Забота о семьях: создаем условия, в которых легко сочетать карьеру и заботу о близких – от гибкого подхода до масштабных проектов для детей сотрудников
• Скидки и партнерские программы: на обучение, страхование, покупки и многое другое
• Комфортная рабочая среда: бесплатное питание в офисе, современные офисы рядом с метро, корпоративная техника и портал для сотрудников.

Разрабатывать и оптимизировать Spark-пайплайны для обработки данных в масштабе (200+ млн строк ежедневно)
Настраивать хранение и доступность данных в DWH
Автоматизировать интеграцию данных: продажи, акции, цены, остатки, погода, календари
Работать в связке с Data Science-командой, обеспечивая стабильный и качественный поток данных для моделей
Участвовать в развитии платформы прогнозирования спроса, делая её более надёжной, масштабируемой и удобной

PySpark{2,3} / Spark SQL
Hadoop / Hive / Trino / S3 / clickhouse / postgres/ greenplum
Airflow
Python3
Docker, YARN / k8s
pytest

Команда занимается сбором качественных данных, которые принципиально важны для обучения передовых моделей ИИ.

• определять техническую стратегию и целевую архитектуру системы

• проектировать системы, готовые к масштабированию от миллионов до миллиардов сущностей: горизонтальное масштабирование, шардирование, геораспределение

• принимать ключевые технологические решения: выбор стека, стратегии хранения, архитектурные паттерны (event-driven, CQRS, и др.)

• проектировать end-to-end пайплайны: URL discovery → fetch → parse → deduplicate → store → deliver

• писать код самых сложных и критичных компонентов: планировщик обхода, URL-фронтир, дедупликация, проводить performance engineering: профилирование, нагрузочное тестирование, устранение bottleneck-ов

• оптимизировать прокси-инфраструктуру и маршрутизацию трафика на глобальном уровне, исследовать и внедрять новые технологии: HTTP/3, QUIC, eBPF, io_uring для максимизации throughput, разрабатывать стратегии оптимизации стоимости инфраструктуры (FinOps)

• руководить командой из 3–6 инженеров: планирование, декомпозиция, приоритизация формировать и поддерживать технические стандарты: Code Review, coding guidelines, архитектурные ADR, менторить разработчиков, проводить 1-1, помогать в профессиональном развитии, взаимодействовать с потребителями данных и смежными командами для планирования roadmap.

• коммерческий опыт разработки на Python от 7 лет, из них не менее 2 лет в роли техлида/тимлида

• экспертиза в проектировании распределённых высоконагруженных систем (миллионы RPS, петабайты данных)

• глубокое понимание сетевого стека: TCP/UDP, HTTP/1.1/2/3, TLS, DNS, QUIC

• практический опыт построения масштабных систем краулинга или аналогичных data acquisition систем

• экспертиза в асинхронном и параллельном программировании

• опыт проектирования микросервисной и event-driven архитектуры

• опыт работы с Kafka, Redis, PostgreSQL, ClickHouse (или аналогами)

• уверенное владение Kubernetes, Docker, Terraform, CI/CD

• опыт работы с облачными платформами

• навыки глубокого troubleshooting: tcpdump, strace, perf, ebpf-инструменты

• опыт управления командой: планирование, Code Review, менторинг, 1-1, найм

Будет плюсом:

• знание Go, Rust или C++ для написания высокопроизводительных компонентов

• лпыт работы в компаниях с масштабным краулингом (поисковые системы, data aggregators)

• опыт работы с io_uring, eBPF, zero-copy networking

• опыт построения геораспределённых систем

• опыт применения ML для оптимизации crawl-стратегий (приоритизация, фильтрация, классификация), публичные выступления, статьи.

• Крупнейшее DS&AI community — более 600 DS-специалистов банка

• Дайджест о самых последних разработках в области DS&AI и отчеты с крупнейших конференций мира

• Возможность быть соавтором НИРов и статей для международных конференций

• Возможность выбрать удобный формат работы: гибрид или офис

• Ежегодный пересмотр зарплаты, годовая премия

• Корпоративный спортзал и зоны отдыха

• более 400 образовательных программ СберУниверситета для профессионального и карьерного развития

• Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа

• Бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров

• Вознаграждение за рекомендацию друзей в команду Сбера.

Создаем поисковый сервис для ответов на запросы пользователей на естественном языке. Предоставляем GigaChat и другим LLM доступ к актуальной информации из интернета, чтобы пользователи получали точные и свежие ответы на разные вопросы.

Предстоит развивать пайплайны наполнения хранилища мультимодальными данными, строить контур подготовки данных для векторного и полнотекстового поиска, работать с большими объемами данных и высоконагруженной архитектурой. Задача технически сложная и интересная: важны надежность, масштабируемость, качество данных, свежесть индекса и производительность. Ценим проактивность, инженерное мышление и желание развиваться.

• проектировать и развивать end-to-end пайплайны данных для поисковой платформы: ingest, batch/micro-batch обработка, нормализация, дедупликация, лемматизация, обогащение и подготовка данных к индексации

• интегрировать новые источники и мультимодальные данные, обеспечивая корректность, полноту и воспроизводимость загрузки

• развивать S3 Data LakeHouse и хранилища данных для задач векторного, полнотекстового и гибридного поиска

• оптимизировать Spark-процессы на Kubernetes, в частности производительность, стоимость хранения, потребление ресурсов и стабильность выполнения

• обеспечивать надежность пайплайнов (мониторинг, качество данных, диагностика инцидентов, контроль SLA)

• внедрять CI/CD, тестирование и observability для data pipelines.

• работать вместе с ML-инженерами, backend-разработчиками и аналитиками над улучшением качества поиска.

• 3+ лет опыта в роли Data Engineer / ML Engineer / Data Platform Engineer.

• продвинутый Python и SQL

• практический опыт с Airflow и Spark/PySpark в production

• опыт разработки и оптимизации batch или streaming/micro-batch пайплайнов для больших объемов данных: от 100 TB до PB+

• уверенное понимание принципов распределенного хранения данных и распределенных вычислений

• опыт анализа производительности Spark jobs: shuffle, skew, partitioning, memory, resource usage

• опыт построения или развития высоконагруженных платформ обработки данных

• умение проектировать Data LakeHouse / Data Management Platform

• опыт работы с Kubernetes и S3-compatible storage

• понимание Apache Iceberg и современных форматов данных: Parquet, partitioning, schema evolution, compaction

• опыт построения мониторинга, алертов и CI/CD для пайплайнов данных.

Будет плюсом

• опыт работы с поисковыми движками: ElasticSearch, OpenSearch, Vespa

• опыт работы с Cassandra или другими distributed NoSQL-хранилищами

• опыт работы с Kafka или другими брокерами событий

• понимание задач vector search, embeddings, ANN/HNSW, hybrid search

• опыт работы с GPU-инференсом моделей, PyTorch

• опыт работы с облачными платформами: AWS, Yandex Cloud, SberCloud

• опыт с observability stack: Prometheus, Grafana.

• стабильный оклад и премии по результатам работы, ежегодный пересмотр зарплаты

• комфортный современный офис рядом с м.Кутузовская

• гибридный формат работы: встречаемся очно в офисе 1 раз в неделю

• корпоративный спортзал и зоны отдыха

• уникальная система обучения Сбера для профессионального и карьерного развития

• программа адаптации и помощь руководителя на старте

• расширенный ДМС и льготное страхование семьи

• гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ

• бесплатная подписка СберПрайм, скидки на продукты компаний-партнеров

• вознаграждение за рекомендацию друзей в команду Сбера

• корпоративная пенсионная программа

Ищем технического лидера с опытом управления и экспертизой в построении и развитии data‑платформ.

Вам предстоит возглавить разработку и развитие масштабируемых систем обработки данных, формировать архитектурные подходы, принимать технологические решения и выстраивать эффективную работу команды. Роль подойдет тем, кто сочетает глубокую техническую экспертизу с управленческой ответственностью и хочет влиять на качество данных и бизнес‑решения компании.

Вы будете работать с хранилищами данных, процессами ETL/ELT и инструментами аналитики и визуализации, внедрять инженерные практики, обеспечивать надёжность решений и высокий уровень качества кода.

Проекты охватывают различные направления бизнеса, где данные являются основой для стратегических и продуктовых решений.

• Взаимодействовать с бизнес‑партнерами, заказчиками и владельцами продукта, выравнивать цели и планы команды
• Руководить командой: нанимать, адаптировать, развивать сотрудников и проводить регулярные 1‑1
• Проектировать архитектуру ИТ‑систем и участвовать в выборе технологий
• Выстраивать, внедрять и развивать процессы разработки с фокусом на доставку ценности
• Контролировать метрики команды и продукта, принимать тактические и стратегические решения на основе данных
• Обеспечивать соблюдение нефункциональных требований и технических стандартов
• Проводить code review и техническую экспертизу решений
• Настраивать и развивать CI/CD и процессы автоматизации
• Оптимизировать процессы разработки, устранять узкие места и решать сложные технические проблемы
• Формировать и развивать инженерную культуру, включая практики DevOps и SRE

• Имеете опыт проектирования и построения DWH и процессов доставки данных от 3 лет
• У вас есть опыт управления командой от 7 человек от 2 лет
• Имеете опыт проектирования ИТ‑систем и микросервисной архитектуры
• У вас есть опыт разработки на Python, Java или Go
• Имеете опыт выстраивания процессов разработки по Agile‑подходам (Scrum, Kanban) и управления командой: делегирование, целеполагание, 1‑1 встречи
• У вас есть опыт контроля нефункциональных требований: качество, надежность, доступность, безопасность, производительность
• Работали с базами данных и хранилищами: ClickHouse, GreenPlum, Oracle, Hadoop, S3
• Понимаете современные подходы к разработке и проектированию: DDD, DevOps, SRE
• Будет преимуществом опыт Data‑разработки и применения SRE‑практик: SLA, observability, postmortems, автоматизация

• Работу в офисе или удаленно — по договоренности
• Возможность работы в аккредитованной ИТ-компании
• ДМС со стоматологией, включая чекапы, компенсацию покупки лекарств и льготные условия страхования для близких. Еще — страховка от несчастных случаев и болезней
• Рост по карьерному треку: проходите курсы по софт- и хард-скиллам, развивайтесь с поддержкой ментора и повышайте уровень с матрицей компетенций и регулярным ревью
• Сильное комьюнити. Вы будете работать с экспертами в своей области, сможете делиться знаниями и выступать на конференциях, посещать митапы и писать статьи
• Онлайн-консультации с психологами, юристами, специалистами по финансам и здоровому образу жизни
• Компенсацию затрат на спортивные абонементы, приложение Т-Спорта для онлайн-занятий и командные тренировки с коллегами
• Три дополнительных дня к отпуску — можно использовать для отдыха или получить компенсацию
• Специальные тарифы на продукты Т-Банка и широкую программу скидок от партнеров
• Достойную зарплату — обсудим ее на собеседовании

Мы команда, которая управляет риском в портфеле потребительских кредитов и кредитных карт, и сейчас мы ищем data-инженера, который поможет искать, обрабатывать, актуализировать и улучшать необходимые источники информации. Все участники команды постоянно нуждаются в данных для проверки и реализации свои идей по улучшению процесса кредитования. Если у тебя хорошие инженерные навыки и ты готов к интересной работе среди мотивированных профессионалов различных компетенций – мы ждем тебя.

• анализ исходных данных в различных системах и форматах для решения бизнес-задач (оценка структуры, качества, полноты и применимости данных)

• загрузка, очистка и трансформация больших объемов данных из различных источников (RDBMS, Hadoop, плоские файлы) в рабочую область (платформы GreenPlum, Hadoop)

• проектирование и разработка аналитических витрин данных

• мониторинг и оптимизация процессов загрузки, преобразования данных и сборки витрин

• контроль качества загружаемых данных, разработка автоматизированных инструментов для оценки качества данных

• разработка, поддержка и оптимизация инфраструктуры и внутренних сервисов для обработки больших объемов данных

• частие в инновационных проектах Банка по развитию инструментов управления рисками на базе искусственного интеллекта и больших данных

• разработка и поддержка сопроводительной документации и спецификаций данных, развитие и поддержка базы знаний по вопросам работы с данными

• предоставление экспертной поддержки внутренним потребителям (data analysts, data scientists) по вопросам, связанным с использованием данных

• опыт работы от 1 года в качестве Data Engineer / Data Analyst / ETL Developer

• знание SQL на продвинутом уровне (аналитические функции, подзапросы, хранимые процедуры, оптимизация производительности)

• знание основных понятий и концепций из области Data Warehouse.

• опыт проектирования и разработки витрин данных

является преимуществом:

• опыт работы с большими объемами данных с использованием систем Oracle, Teradata, MS SQL, GreenPlum, Hadoop

• опыт работы со стеком технологий Big Data (Hadoop, Spark, Hive/Impala)

• знание розничного банковского бизнеса

• навыки работы с генеративными AI-моделями, опыт создания AI-агентов и использования их в работе будет преимуществом

• опыт работы по Agile (SCRUM, Kanban, и т.д.) приветствуется

• навыки работы с генеративными AI-моделями; опыт создания AI-агентов и использования их в работе будет преимуществом

• опыт использования GigaChat, Kandinsky и аналогов в продуктах, навыки создания и использования AI-агентов

• инструментальное владение AI для анализа, генерации и автоматизации.

• офисный формат работы (рядом с м. Кутузовская)

• оклад + годовая премия

• корпоративный спортзал и зоны отдыха

• более 400 образовательных программ СберУниверситета для профессионального и карьерного развития

• расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа

• ипотека выгоднее до 7 % для каждого сотрудника

• бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров

• вознаграждение за рекомендацию друзей в команду Сбера.

Чем предстоит заниматься
• Разработка ETL-процессов интеграционных задач, тестирование
• Проектирование и создание модулей стандартных приложений для типовых ETL-процессов
• Создание и внедрение корпоративных стандартов разработки
• Ведение документации
• Проведение код-ревью, обеспечение качества и поддерживаемости кода
• Разработка ETL-процессов интеграционных задач, тестирование
• Консультации и помощь команде функционального сопровождения в разборе дефектов и стабилизации работы ПО в продуктивном контуре
Что мы ждем от вас
• Опыт промышленной разработки в стеке BigData
• Языки программирования: SQL, Python
• Технологический стек: Apache Spark, Hadoop\S3\S3-like, Apache Airflow, Parquet\ORC
• Знание Apache Iceberg, Apache Kafka будет плюсом
• Навыки работы с: Jira + Confluence или аналогичное, Git, CI/CD, XML, JSON
• Навыки системного анализа, тестирования
• Базовое знание работы с РСУБД, Kafka
• Знание архитектуры Data Vault
• Навыки декомпозиции сложных задач и управления приоритетами
• Умение эффективно коммуницировать в команде, объяснять технические аспекты простым языком
• Способность создавать понятную и структурированную техническую документацию
Что мы предлагаем взамен
• Стабильный и прозрачный доход: размер заработной платы обсуждается по итогам собеседования + квартальная премия по результатам KPI
• Гибридный формат работы, а также полную удалёнку, плюс есть уютный ИТ-хаб в Москве
• Сложные и интересные задачи, современный стек технологий
• Заботу о вашем здоровье: программа ДМС с первых дней работы, куда входит стоматология, обслуживание в лучших клиниках города, страхование и компенсация 10-ти дней больничного
• Возможность вертикального и горизонтального карьерного роста: регулярно проходят тренинги, вебинары, митапы и демо-дни
• Оплату посещения профильных конференций и курсов, помогаем с подготовкой к публичным выступлениям и написанием статей на Хабр
• Доступ к бесплатным корпоративным библиотекам Alpina Digital, MyBook и бизнес-изданий
• Предложения от Банка только для сотрудников: собственные спортзалы (Москва, Санкт-Петербург, Екатеринбург), а также скидки на услуги туристических агентств, продукты питания, в рестораны, бары, магазины

Описание

Задачи

• Обязанности;
• Проектируйте и разрабатывайте канонические модели данных в BigQuery, согласовывая исходные тексты, чтобы модели можно было использовать повторно по мере расширения платформы;
• Создавайте и поддерживайте рабочие процессы преобразования данных с помощью Dataform;
• Разрабатывайте и улучшайте семантический уровень Looker LookML для создания отчетов и аналитики;
• Создавайте конвейеры приема данных на GCP, включая потоки данных, управляемые событиями;
• Интегрируйте данные из Sage 200, Dynamics 365 и других корпоративных систем;
• Работайте со структурированными и полуструктурированными данными, включая полезную нагрузку в формате JSON, создаваемую автоматизированными службами;
• Обеспечивайте точность и согласованность данных с помощью встроенных в конвейеры проверок достоверности;
• Контролируйте рабочие процессы обработки данных и поддерживайте их в рабочем состоянии, ведя журнал и оповещая о сбоях;
• Применяйте методы обеспечения безопасности и защиты данных, включая требования GDPR Великобритании;
• Контролируйте и оптимизируйте рабочие процессы с данными для повышения производительности и масштабируемости.

Требования

• Обзор вакансии;
• Мы ищем старшего инженера по обработке данных для проектирования, создания и поддержки уровня данных платформы. Вы будете владеть каноническим моделированием данных, конвейерами преобразования и семантическим уровнем отчетности, интегрировать данные из корпоративных систем и поддерживать работоспособность всего потока данных — конвейеры работают, сервисы работают, наборы данных заслуживают доверия;
• Требования;
• Опыт работы с BigQuery и облачными хранилищами данных;
• Уверенные навыки работы с SQL и понимание методов моделирования данных;
• Практический опыт работы с Dataform или аналогичными инструментами преобразования;
• Python для конвейеров передачи данных и сервисов;
• Практические знания более широкой платформы GCP: хранение объектов, обмен сообщениями и сервисы событий, контейнерные сервисы, управление IAM и секретами;
• Опыт построения и поддержки конвейеров данных и процессов ETL ELT, включая потоки, управляемые событиями, с пониманием принципов оркестрации;
• Удобство работы как со структурированными, так и с полуструктурированными данными;
• Знакомство с Looker и LookML или аналогичными инструментами семантического уровня;
• Рабочий процесс на основе Git с проверкой кода и отдельными средами разработки и производства;
• Понимание практик обеспечения качества данных и методов их проверки;
• Способность эффективно сотрудничать с межфункциональными командами;
• Будет плюсом;
• Опыт интеграции данных из корпоративных или ERP-систем, таких как Sage 200 или Dynamics 365;
• Инфраструктура в виде кода (Terraform) и автоматизация развертывания;
• Доступ к инструментам управления данными и каталогизации данных, таким как Dataplex;
• Опыт работы с финансовыми потоками ERP, операциями по обслуживанию на местах или процессами оформления заказов на поставку и выставления счетов;
• Опыт работы с другими облачными платформами или инструментами обработки данных;
• Опыт работы в средах, ориентированных на аналитику или отчетность.

Условия

• Что мы предлагаем;
• Полная занятость по официальному трудовому договору;
• Гибкий формат работы: офисный, удаленный или гибридный;
• Частное медицинское страхование;
• Оплачиваемый отпуск и больничный лист;
• Доступ к внутренним и внешним образовательным платформам;
• Рабочее оборудование;
• Реферальная программа с бонусами за рекомендации друзей и бывших коллег.

Описание

Задачи

• Организация и анализ данных: обработка структурированных, полуструктурированных, неструктурированных данных и данных на основе изображений;
• Создание информационных систем и конвейеров;
• Подготовка данных для предписывающего и прогнозирующего моделирования;
• Проектирование сквозных конвейеров в рамках гибридной архитектуры больших данных с использованием облачных технологий Azure, Databricks, Spark, Scala, sbt, Airflow, Python, SQL и т.д;
• Использование облачных сервисов Azure для построения конвейеров данных и обеспечения эффективного мониторинга.

Требования

• более 3-х лет соответствующего опыта в области разработки данных;
• Опыт работы в Spark;
• Опыт работы с Databricks;
• Опыт работы с облаком Azure;
• Умение писать надежный код с помощью Scala;
• Отличные навыки работы с SQL;
• Опыт создания хранилищ данных и ETL-решений;
• Понимание структур данных, моделирования данных и архитектуры программного обеспечения;
• Навыки анализа и решения проблем.

Условия

• Конкурентоспособная заработная плата;
• Удаленная работа или работа в офисе;
• Гибкий график работы;
• Команда с отличным техническим опытом.

HOT VACANCY 🚨

Мы ищем Middle Data Engineer в команду клиента. В этой роли вы будете отвечать за инженерный фундамент: надежность пайплайнов, эффективное наполнение слоев DWH, мониторинг и оптимизацию вычислительных затрат.

😎 Клиент: международный стартап в CFD/Forex/Брокер

💰 ЗП: 2000-2500$, выплата в крипте

🌍 Локация: Любая, кроме РФ.

🕦 Формат работы: полная удаленка, гибкий график, европейский часовой пояс

👥 Команда: русскоговорящая

Чем предстоит заниматься:

🧩 Развитие пайплайнов: разработка и поддержка конвейеров Airflow; перенос обработки данных из pandas в вычисления в хранилище данных в Redshift.

🧩Оптимизация загрузки: перевод DWH с полного пересчета истории (full reload) на инкрементальную загрузку.

🧩Моделирование данных: разработка dbt-моделей (слои, автоматические тесты, документация).

🧩Качество и надежность: настройка мониторинга, алертинга и SLA по актуальности данных; регулярный контроль качества (полнота, соответствие источникам, корректность типов).

🧩Интеграции: подключение новых источников (ERP-системы, продуктовые события, платежные шлюзы).

🧩Производительность: оптимизация тяжелых SQL-запросов и контроль расходов на инфраструктуру DWH.

🧩Документирование: ведение актуальной документации по пайплайнам и моделям данных.

Требования к кандидату:

🧩Опыт: от 2 лет в Data Engineering или Data Analytics с сильной инженерной составляющей.

🧩SQL & DWH: уверенный SQL и практический опыт работы с аналитическими БД (Redshift, ClickHouse, BigQuery или Snowflake).

🧩Python: уровень Production (структурирование проектов, обработка ошибок, логирование).

🧩Orchestration: опыт работы с Apache Airflow (написание DAG, обработка зависимостей, обеспечение идемпотентности, backfill).

🧩dbt & Архитектура: понимание многоуровневой архитектуры хранилища данных (сырой · тестовый · витрины)

🧩Облака (AWS): опыт работы с S3, EC2, понимание IAM и логики формирования стоимости сервисов.

🧩Инструменты & Подходы: Git, Code Review, умение самостоятельно доводить задачи до продакшена.

🧩Английский язык: уровень A2(свободное чтение технической документации).

Если заинтересовала позиция жду ваши резюме в ТГ @HRAnastasiaG или в личку в линк 💜

"Реакции (%numReactions%)"

"Реакции (%numReactions%)"

2

"https://static.licdn.com/aero-v1/sc/h/cyfai5zw4nrqhyyhl0p7so58v"

"https://static.licdn.com/aero-v1/sc/h/asiqslyf4ooq7ggllg4fyo4o2"

"https://static.licdn.com/aero-v1/sc/h/22ifp2etz8kb9tgjqn65s9ics"

"https://static.licdn.com/aero-v1/sc/h/a0e8rff6djeoq8iympcysuqfu"

"https://static.licdn.com/aero-v1/sc/h/bn39hirwzjqj18ej1fkz55671"

"https://static.licdn.com/aero-v1/sc/h/cryzkreqrh52ja5bc6njlrupa"

"https://static.licdn.com/aero-v1/sc/h/2tzoeodxy0zug4455msr0oq0v"

Нравится

Комментировать

"Ссылка скопирована в буфер обмена."

"При копировании в буфер обмена произошла ошибка."

Поделиться

Копировать

LinkedIn

Facebook

X

• Проектирование и разработка хранилищ и витрин данных
• Обеспечение качества данных (Data Quality)
• Визуализация данных и дашборды

• Высшее образование
• Опыт работы аналитиком/инженером данных от 3-х лет со знанием dbt, Airflow
• Проектирование и разработка DWH – staging, детальный слой, витрины данных
• Продвинутый уровень SQL и PostgreSQL
• Разработка потоков и трансформация данных – dbt, Airflow.
• Разработка на Python – venv, pandas, requests, т.п.
• Практический опыт контроля и обеспечения качества данных
• Опыт построения дэшбордов.

• Гибридный режим работы, НЕ 100% УДАЛЕНКА!
• ДМС со стоматологией
• Команда профессионалов
• Комфортный офис в пешей доступности от метро

Обязанности

Мы разрабатываем продукты рискового скоринга и лидогенерации. Нашими продуктами пользуется 80% банковского сектора России. Также есть решения для страхования, электронной коммерции, ритейла и туризма. Ищем Scala разработчиков в нашу команду дочерней компании OneFactor.

Наш стек: Scala 2.13, Typelevel, gRPC, Kafka, RabbitMQ, Kubernetes, MongoDB, PostgreSQL

Чем предстоит заниматься

- Разрабатывать системы анонимизации данных

- Создавать сервисы поставки данных на ML-платформу

- Улучшать производительность и надежность сервисов

- Участвовать в дизайне архитектуры и принятии технических решений

- Устранять аварии и обеспечивать SLA сервисов на необходимом уровне

Требования

Опыт Scala от 3 лет

Понимание и применение принципов разработки распределенных отказоустойчивых высоконагруженных систем

Отличное знание Kafka

Будет плюсом:

Опыт на Spark

Опыт работы с Kafka Streams/Spark Streaming

*Трудоустройство в аккредитованную ИТ-компанию ООО «ЕдиныйФактор"

В ПРОЦЕССЕ РАБОТЫ НЕОБХОДИМО

• Разработка API для получения данных из витрин отчетности
• Рефакторинг утилиты по тестирования SQL кода
• Работа с хранилищами данных (MS SQL, MySQL, PostgeSQL)
• Работа с неструктурированными данными
• Разработка API для интеграции с внутренними и внешними сервисами с использованием языка python
• Создание пайплайнов для обработки и анализа данных
• Сбор и анализ требований
• Работа с системой контроля версий (GitLab)
• Подготовка документации
• Работа с брокерами сообщений
• Автоматизация и оптимизация бизнес процессов
• Создание, поддержка, рефакторинг ETL\ELT процессов
• Создание процессов автоматического тестирования и валидация данных.

ЧТО БУДЕТ ВАШИМ ПРЕИМУЩЕСТВОМ

• Умение и понимание работы с SQL

Требования к кандидату по python:

• опыт работы с базами данных из python (в контексте любых проектов, но желательно ETL/ELT)
• опыт работы с различными API (отправка запросов, обработка ответов)
• опыт работы с брокерами (любыми: RabbitMQ/Kafka/NATS) на уровне чтения/записи
• опыт разработки API как преимущество.

Дополнительные инструменты:

• - отслеживание версионности: git
• - управление окружениями: anaconda3(miniconda3) / uv
• - docker/docker-compose на уровне написания сборки простых контейнеров (как преимущество).

ДЛЯ ВАС МЫ ПРЕДЛАГАЕМ

• Официальное трудоустройство: оформление с полным пакетом социальных гарантий, включая отпуск и больничные

• Комфортные кафе и столовые: уютные пространства для общения с коллегами за чашкой кофе, обсуждения совместных проектов и последних корпоративных новостей

• Уникальная атмосфера в команде: разнообразие поколений и культур, способствующее созданию вдохновляющей рабочей среды

• Инвестиции в ваше будущее: повышение компетенций и внедрение лучших мировых практик для вашего профессионального роста

• Возможность посещения бизнес-мероприятий: участие в мероприятиях, способствующих расширению профессиональных связей и знаний

• Корпоративные фитнес-услуги: на площадке корпорации доступны фитнес-залы, залы для занятий йогой, SPA-центры и массажные кабинеты с персональной скидкой для сотрудников

• Поддержка на этапе адаптации: вас будет сопровождать наставник и руководитель, которые помогут вам бережно интегрироваться в коллектив.

О компании и формате работы: С 2010 года наша компания занимается разработкой программных продуктов и предоставлением ИТ-решений для среднего и крупного бизнеса в СНГ, США, Европе и Израиле. В нашей команде более 90 инженеров. Мы являемся золотым партнером Microsoft и подрядчиком Amazon.
В связи с запуском новых масштабных проектов (миграция ETL-систем, построение Data-платформ, развитие WMS и backend-сервисов) мы расширяем команду инженеров и аналитиков.

Формат работы: Полная удаленка (Full-time / Проектная занятость).

Чем предстоит заниматься (в зависимости от вашего профиля):

Направление Data Engineering / ETL:

• Разработка, поддержка и оптимизация ETL/ELT-процессов (Apache Airflow, PySpark, NiFi);
• Участие в проектах миграции хранилищ и ETL-систем на открытый стек (Airflow, Greenplum, PostgreSQL, Clickhouse);
• Проектирование и отладка DAG'ов, проведение валидации и контроля качества данных;
• Интеграция источника данных (Oracle, Kafka, BI-системы) и настройка потоковой обработки.

• Сбор и анализ функциональных и нефункциональных требований, подготовка детализированных ТЗ и MVP;
• Проектирование и кастомизация логики промышленных систем (WMS / ERP / BPM);
• Составление сложных SQL-запросов (оконные функции, оптимизация, работы с планами запросов);
• Согласование тестовых сценариев и проведение приемочных испытаний для заказчиков.

• Проектирование и развитие backend-архитектуры продуктов и микросервисов (Python, Django, FastAPI);
• Работа с речевыми технологиями (ASR/TTS), IP-телефонией, системами голосовых роботов или интеграциями с CRM/ERP;
• Проектирование REST/SOAP API, интеграция с внешними сервисами и базами данных (PostgreSQL, MySQL);
• Диагностика и устранение production-инцидентов, оптимизация производительности.

• Опыт работы на аналогичной роли (Data Engineer / Analyst / Python Developer) от 3-х лет;
• Уверенное владение SQL на высоком уровне (сложные джоины, оконные функции, оптимизация запросов);
• Опыт работы с одной из ключевых технологий направления:
  • Для Data: Apache Airflow, PySpark, Greenplum, Clickhouse, NiFi, Kafka;
  • Для Аналитиков: Опыт с WMS/ERP/BPM системами, проектирование ТЗ, ER-диаграмм;
  • Для Backend: Python, Django, FastAPI, AsyncIO, PostgreSQL/MySQL;
• Понимание архитектуры БД и интеграционных протоколов;
• Самостоятельность, ответственность и ориентация на результат (production-ready).

• 100% удаленный формат работы из любой точки (гибкое начало дня);
• Участие в интересных, высоконагруженных проектах для крупных международных и российских клиентов;
• Стабильный доход и прозрачная система сотрудничества (ИП / Самозанятость / Аутстафф-контракты);
• Сильная команда опытных инженеров и отсутствие бюрократии;
• Возможность выбора проекта (основной проект или совмещение/второй проект).

Международная компания, которая разрабатывает надежные и актуальные IT-решения для b2c и b2b сегмента развлекательной, игровой и спортивной тематики ищет опытного Middle/Senior Data Engineer.

Чем предстоит заниматься:

• Проектирование и встраивание новых потоков данных в уже существующие системы;
• Выстраивание многослойной архитектуры хранения from scratch для новых проектов;
• Взаимодействие с ПМ, аналитиками, лидом, командами-заказчиками.

Какие навыки нужны:

• Опыт работы с ETL-фреймворками (dagster, airflow, prefect), любой из перечня;
• Опыт работы с реляционными БД (mssql, postgresql, mysql, oracle), не менее одной из перечня;
• Опыт работы с аналитическими БД (Clickhouse, Vertica, Greenplum), не менее одной из перечня;
• Опыт работы с dbt;
• Базовое знание docker (опыт работы с k8s будет плюсом);
• Опыт написания юнит / интеграционных тестов (pytest).

Что компания может предложить:

• Формат: офис, Кипр;
• График: 5/2, гибкое начало рабочего дня;
• Белая заработная плата (обсуждается индивидуально);
• Годовой бонус по результатам работы;
• Современное рабочее место и техника;
• Корпоративное питание (завтраки и обеды);
• Спортзал в офисе;
• Русскоязычная команда;
• Компенсация изучения английского;
• Оплата конференций, митапов и обучения;
• Реферальная программа;
• Оплачиваемый отпуск и корпоративные подарки.

• Высшее техническое образование
• Опыт программирования на python от 0,5 года
• Возможность работать 40 часов в неделю
• Опыт работы с библиотеками Python (selenium, pandas, sqlalchemy, pyTelegramBotAPI)
• Опыт работы с Flask
• Базовые знания SQL

Будет плюсом:

• Опыт работы с реляционными базами данных (PostgreSQL, MySQL)
• Знания REST APIs и микросервисов
• FastAPI, Django
• Умение работать с Git
• Опыт работы с любой BI-системой
• Опыт работы с любой ETL-системой
• Знание Docker
• Уверенное владение SQL
• Умение анализировать данные
• Знание стандартов pep8

Мы предлагаем:

•Официальное трудоустройство в аккредитованную ИТ-компанию: полное соответствие ТК РФ;

•График работы: 5/2 (офисный формат);

• Бронирование: предоставление права на отсрочку от призыва на военную службу по мобилизации и последующих призывов в военное время для граждан, пребывающих в запасе ВС РФ (для военнообязанных);

• ДМС: расширенная программа медицинского страхования, включающая стоматологию, телемедицину и страхование путешественников (подключаем после прохождения 3-х месячного испытательного срока), скидки на страхование для членов семьи;

• Фитнес: предоставляем корпоративные скидки на клубные карты;

• Современный офис м. Киевская

Что нужно будет делать:

• Разработка, настройка и поддержка пайплайнов обработки данных;

• Создание и оптимизация ETL- и ELT-процессов для эффективной работы с данными;

• Разработка скриптов на Python для обработки и анализа данных;

• Работа с различными системами хранения данных, включая PostgreSQL, ClickHouse и S3-совместимые хранилища;

• Написание и оптимизация SQL-запросов для извлечения и трансформации данных;

• Мониторинг выполнения задач, обработка ошибок и обеспечение надежности пайплайнов;

• Взаимодействие с командой для интеграции data-решений в общую архитектуру проекта.

Для нас важно:

• Опыт разработки на Python версии 3.11 и выше с использованием библиотек для работы с данными, таких как Pandas;

• Практический опыт работы с Apache Airflow версии 2.10 и выше для оркестрации пайплайнов;

• Уверенные знания SQL и опыт работы с реляционными базами данных, в частности PostgreSQL;

• Опыт работы с системами хранения больших данных, например ClickHouse и S3-совместимые хранилища;

• Понимание алгоритмов, структур данных и принципов построения ETL-процессов;

• Аналитический склад ума, внимательность к деталям и ответственность;

• Умение работать в команде и открытость к изучению новых технологий.