Data Engineer — свежие вакансии
Обновляется каждый час. Найдено: 85 вакансий за последнюю неделю.
- Вакансий за неделю:
- 85
- Медиана:
- 300 000 ₽
- Вилка:
- 185 000 ₽ — 388 064 ₽
Зарплаты — по 72 вакансиям с указанной вилкой за 30 дней
Поиск вакансий
HireSeeker — агрегатор вакансий. Собираем вакансии со всех основных площадок и показываем по вашей специальности. Подпишитесь на ежедневную подборку только релевантных.
#вакансия #job #vacancy #dataengineer #python #sql #airflow #kafka #dwh #lakehouse #москва
Senior Data Engineer
📍Москва, м. Шелепиха
📍полный день / фуллтайм
📍гибрид после испытательного срока
♻️Ищем Senior Data Engineer в крупную продуктовую IT-компанию с собственной высоконагруженной платформой и командой 500+ специалистов.
Проект: команда перестраивает существующее DWH на современную Data Lakehouse-архитектуру. Новый контур во многом создаётся с нуля: уже реализована часть платформы, сейчас её масштабируют на остальные данные и развивают новые витрины.
В роли много самостоятельности и end-to-end задач: от получения данных из источника до готовой витрины. Архитектура и технические решения обсуждаются внутри команды, поэтому Senior сможет влиять на то, как будет развиваться платформа.
⭐️Что предстоит делать?
⁃ Развивать Data Lakehouse и единое DWH
⁃ Строить ETL/ELT-пайплайны от источника до готовой витрины
⁃ Разрабатывать интеграции с внутренними и внешними системами
⁃ Настраивать оркестрацию и регулярное обновление данных
⁃ Работать с data quality и metadata management
⁃ Участвовать в выборе инструментов и архитектурных решений
⁃ Взаимодействовать с архитекторами, DevOps, ИБ и бизнесом
⭐️Что хотим видеть в кандидате?
⁃ Уверенный Python и SQL
⁃ Опыт работы с Airflow или Dagster
⁃ Опыт построения ETL/ELT-пайплайнов
⁃ Хорошее понимание DWH и современных подходов к работе с данными
⁃ Опыт работы с Kafka / streaming
⁃ Опыт в небольших командах или проектах, где приходилось самостоятельно закрывать широкий круг задач
Будет плюсом: Trino, Apache Iceberg, DBT, ClickHouse
💸Предлагаем:
⁃ Оформление по ТК РФ
⁃ ДМС со стоматологией после испытательного срока
⁃ Компенсация питания
⁃ Полугодовые премии
⁃ Ежегодная индексация
⁃ Спортивные активности и корпоративные мероприятия
⁃ На испытательном сроке — офис 5/2, далее возможен гибрид по договорённости
💰Зарплатная вилка определяется по итогам интервью
📩Интересна вакансия? Присылай резюме в TG •••••••• — расскажу подробнее о проекте и команде 🙂
⚠️Убедительная просьба ознакомиться с правилами безопасности при отклике на вакансии в Телеграме. Последнее время увеличилось число мошеннических схем, когда мошенники прикрываются работодателем
••••••••
Head of Data (DWH / BI / Data Engineering)
Зарплата по договоренности.
Обязанности:
• Управление командой из 8 человек по модели 1:1
• Выстраивание рабочих процессов внутри команды
• Набор персонала
• Оценка эффективности сотрудников (перформенс-менеджмент)
• Ведение бэклога задач командой
• Решение конфликтов между членами команды
• Ревью кода разработчиков
• Принятие архитектурных решений
Требования:
• Опыт от 7 лет в области данных
• От 3-х лет опыта реального управления командой более 5 человек (включая найм, оценку производительности, увольнения)
Контакты:
••••••••
Привет! Мы — команда Туту. Уже больше 20 лет мы вдохновляем на новые поездки, помогаем легко планировать путешествия и бронировать всё нужное — от билетов до отелей.
Сейчас ищем CDO — лидера, который возглавит развитие data-направления в Туту и поможет превратить данные, аналитику, ML и AI в устойчивый источник решений и роста бизнеса.
CDO — это роль на стыке стратегии, технологий, управления командами и бизнес-результата. Нужно будет не просто развивать аналитику как сервис, а выстраивать систему, в которой данные помогают быстрее принимать решения, находить точки роста, запускать ML-продукты и усиливать клиентский опыт.
- Управлять направлением данных и аналитики. В зоне ответственности — продуктовая, маркетинговая, HR-аналитика, BI и аналитика клиентского сервиса
- Реализовывать стратегию data-направления: Tutu Data / AI Vision, планы, приоритеты и дорожную карту вместе с бизнесом
- Выстраивать единые процессы и стандарты работы с данными, аналитическими запросами, метриками и отчётностью
- Руководить развитием ML-платформы
- Определять приоритетные сценарии применения ML и AI, запускать решения с понятным бизнес-эффектом
- Развивать команды, усиливать самостоятельность руководителей и ответственность за результат
- Формировать подходы к качеству, доступности и управлению данными — для сотрудников, аналитических систем и агентных AI-решений
- Автоматизировать типовые аналитические задачи: отчётность, дашборды, A/B-тесты и повторяющиеся исследования
- Помогать аналитике переходить от реактивной обработки запросов к проактивному поиску инсайтов, гипотез и возможностей для продуктов
- Договариваться со стейкхолдерами, помогать бизнесу формулировать задачи через данные и выбирать решения, которые дают измеримый эффект
- Практический и системный опыт применения AI в ежедневной работе, а также готовность внедрять и масштабировать такие подходы в команде
- Опыт руководства крупной data-функцией или сопоставимым по масштабу направлением от 2 лет
- Экспертиза минимум в двух из трёх областей:
— аналитика
— машинное обучение
— data engineering и построение аналитических платформ
- Опыт управления командами и развития руководителей
- Опыт работы с аналитическими платформами, BI-инструментами и широким кругом внутренних пользователей
- Умение связывать технические решения с задачами бизнеса
- Опыт выстраивания процессов, которые помогают командам работать не только быстрее, но и качественнее: с понятными метриками, приоритетами и зонами ответственности
- Способность держать стратегический фокус и при этом разбираться в деталях: от качества данных до бизнес-эффекта ML-сценариев
- Умение договариваться со стейкхолдерами, объяснять сложные вещи простым языком и помогать разным командам принимать решения на основе данных
- Опыт трансформации аналитики: например, от централизованной модели к федеративной или от сервисной функции к проактивному партнёру бизнеса
- Опыт внедрения ML-продуктов с измеримым бизнес-эффектом
- Опыт построения практик data governance и data quality в сложной технологической среде
- Опыт развития AI-направления внутри большой продуктовой или технологической компании
В зоне ответственности — data-направление численностью до 100 человек.
Роль предполагает регулярное взаимодействие с бизнесом, продуктами, IT, маркетингом, HR, клиентским сервисом и другими командами Туту.
Работаем 5/2 в гибридном формате. Офис — в Москве. Для этой роли важно регулярное присутствие в офисе.
-
Общение с эйчаром
Обсудим детали вакансии, твой опыт и зарплатные ожидания. 30–40 минут. -
Интервью
Подробно поговорим про твой опыт, подход к развитию data-направления, управление командами, AI/ML-стратегию и работу с бизнесом. Ты сможешь задать вопросы о роли, ожиданиях и текущем контексте. Около 1 часа. -
Финальная встреча
Познакомишься с руководителем и обсудишь стратегические задачи, формат взаимодействия и ожидания от роли. Около 1 часа. -
Оффер!
Ищем в команду Data Engineer с опытом от 2-х лет. Привлечение до конца года.
Проект: Миграция аналитической отчетности BI на импортонезависимую платформу (Задачи предполагаются однотипные)
Обязанности:
- Разработка ETL
- Миграция данных в DWH
- Высшее образование;
- Стаж работы по направлению не менее 2-х лет.
- Опыт работы с PostgreSQL, Airflow, построения ETL/ELT
- Опыт использование таск трекеров и систем контроля версий
Будет преимуществом опыт:
- MS SQL, Clickhouse
- Python или другие скриптовые языки
- Опыт построения DWH и витрин данных
Условия:
-
График 5/2, офисный формат работы
-
Оформление: по ТК РФ и/или ИП, оплачиваемые отпуска по графику и проч.
У нас много изменений в архитектуре и большая зона ответственности. Ищем тимлида, которому интересно разбираться в сложных системах и влиять на то, какими они станут.
Привет! Наш сервис помогает клиентам находить профессионалов для разных задач, а специалистам — зарабатывать на том, что они любят и умеют делать.
Ищем тимлида в команду BI. Несмотря на название, это скорее инженерная BI-платформа, чем бизнесовая команда. Задача ребят — сделать так, чтобы аналитики и бизнес получали нужные данные и инструменты быстро, стабильно и с понятным качеством.
В зоне команды много разных систем: realtime-аналитика, CDC из основной MySQL-базы, ETL и витрины данных, ClickHouse и Greenplum, калькулятор результатов A/B-экспериментов, OpenMetadata, Metabase и внутренние сервисы.
Сейчас у нас сразу несколько больших инженерных изменений: перенос realtime-аналитики на новый стандартизированный пайплайн, переход с RabbitMQ на Kafka, запуск CDC и обогащения событий в проде, развитие калькулятора A/B-тестов и системы расчёта зарплат поддержки.
В команде пять человек: три data-инженера, DWH-архитектор и BI-аналитик. Тебе предстоит быть их пипл-менеджером и отвечать за то, как команда проходит через эти изменения.
Работаем почти полностью удалённо. Регулярно встречаемся на онлайн-стендапе, иногда выбираемся куда-нибудь вместе, но обязательных офлайн-встреч нет.
Технологии
- Python — основной язык команды. На нём пишем большую часть сервисов и внутренних инструментов, которые сами поддерживаем.
- TypeScript — используем для сервисов, которые выходят за пределы команды, например админки и MCP-серверов.
- SQL — работаем с ClickHouse, Greenplum и MySQL.
- ClickHouse — realtime-аналитика, маркетинговые данные, затраты рекламных агентств и реплики витрин.
- Greenplum — ETL и формирование витрин по нескольким доменам данных.
- Kafka — стриминг аналитических событий и CDC.
- Debezium — CDC из основной MySQL-базы компании.
- Airflow 3 — оркестрация ETL-процессов.
- OpenMetadata — метаданные объектов баз данных и бизнес-глоссарий сущностей и метрик.
- Metabase — BI-инструмент.
- Есть немного легаси на PHP и Java, но новые решения на них не пишем.
Зачем тебе к нам
- Определять, какой будет BI-платформа Профи.ру дальше. Команда создаёт инфраструктуру и инструменты, которыми пользуются аналитики и бизнес. У тебя здесь большая зона технического влияния: от принципов доставки и хранения данных до того, как устроены ключевые витрины и доступ к ним.
- Прийти в момент, когда можно заметно изменить архитектуру. Мы переводим realtime-аналитику на новый пайплайн, переезжаем с RabbitMQ на Kafka, запускаем CDC и near-realtime-обогащение событий. Многие важные решения ещё предстоит принять и довести до продакшена.
- Работать с платформой целиком, а не с одним её слоем. В одной команде сходятся стриминг, ETL, ClickHouse и Greenplum, A/B-инфраструктура, метаданные и внутренние сервисы. Можно влиять на полный путь данных — от появления события в продукте до момента, когда аналитик или бизнес получает на его основе ответ.
Чем предстоит заниматься
- Быть пипл-менеджером для команды: работать с тремя data-инженерами, DWH-архитектором и BI-аналитиком.
- Провести команду через миграцию на новый пайплайн realtime-аналитики: перенести отправку событий и помочь перевести пользователей данных на новые структуры в ClickHouse.
- Перевести стриминговую аналитику с RabbitMQ на Kafka.
- Довести до продакшена CDC из основной MySQL-базы и near-realtime-обогащение аналитических событий.
- Развивать калькулятор результатов A/B-экспериментов: у аналитиков накопился запрос на существенные изменения в этом инструменте.
- Развивать систему расчёта зарплат поддержки, сделать расчёты прозрачнее и обеспечить отображение оплачиваемых событий в реальном времени.
- Поддерживать и развивать платформу данных: ETL и витрины, ClickHouse и Greenplum, OpenMetadata, Metabase и внутренние сервисы команды.
- Вместе с командой разбираться в логике ключевых витрин и следить за качеством и своевременностью предоставления данных.
- Писать код вместе с командой — разработка будет занимать примерно 30–40% рабочего времени.
Что нужно, чтобы к нам присоединиться
- Хорошая база в data engineering. В команде сильные самостоятельные инженеры, поэтому не нужно быть главным техническим экспертом. Но важно говорить с ребятами на одном языке, уверенно обсуждать пайплайны, ETL, хранилища и стриминг, вместе принимать решения.
- Опыт проектирования и развития data-платформ. Уметь видеть систему целиком, задавать правильные вопросы, замечать риски и помогать команде разбирать сложные технические развилки.
- Понимание realtime- и near-realtime-сценариев. В работе много стриминга, CDC и доставки событий, поэтому пригодится опыт с Kafka, ClickHouse, Debezium или похожими технологиями.
- Умение вести технические обсуждения и принимать решения в условиях неопределённости. Здесь не всегда будет один очевидный путь: важно уметь сравнивать варианты, объяснять выбор и договариваться с сильными инженерами.
- Готовность быть пипл-менеджером команды. В подчинении будут data-инженеры, DWH-архитектор и BI-аналитик, поэтому важно уметь держать общий фокус команды, помогать людям развиваться и выстраивать рабочее взаимодействие.
Работай с комфортом
Online&Offline
Работай, где и когда тебе удобно.
ДМС
С первого дня работы ходи в лучшие клиники России, пользуйся телемедициной.
Обучение
Оплачиваем курсы, конференции, митапы. Проводим тренинги и хакатоны.
Зарплата
Платим в рынке или выше. Пересматриваем зарплату и грейд два раза в год.
Завтраки в офисе
Каждое утро омлет, запеканка, каша, авокадо, лосось, сыр и другая вкуснятина.
Книги
Пользуйся электронной библиотекой «Альпина» или бери с книжной полки в офисе.
Скидка на Профи.ру
Компенсируем до 3450 рублей gross от стоимости заказа на Профи.ру.
Тимбилдинги
Встречайся с профийцами в любом городе. Компания компенсирует веселье :)
На выбор с компенсацией 50/50
Психотерапия
Оплатим часть стоимости сеансов с психотерапевтом.
Спорт
Частично компенсируем любой спорт: фитнес-клуб, занятия с тренером, студии.
Коворкинг
Выбирай коворкинг в любом городе, кроме Москвы (там уже есть классный офис).
Рабочее место
Оплатим нужную мебель и аксессуары для домашнего рабочего места.
Пиши, мы на связи.
Data Engineer Andersen
Зарплата: 2800 – 4550 EUR в месяц (gross)
Местоположение: Европа
Формат работы: Удаленно
Опубликована: ••••••••
Требования:
• Коммерческий опыт в Data Engineering от 5 лет
• Опыт с сервисами данных Microsoft Azure, Azure Databricks и Apache Spark
• Опыт с Azure Data Factory и Microsoft Fabric
• Уверенный SQL и разработка ETL/ELT
О компании:
Andersen работает с лидерами FinTech, Healthcare, Retail, Telecom. Проект — корпоративная платформа данных и аналитики для поставщика финансовых услуг.
Контакт: ••••••••
•••••••• в LinkedIn
Senior Data / BI Engineer
Наш Клиент: Международная трейдинговая компания в сфере нефти и нефтепродуктов
Локация: Дубай, ОАЭ
Формат работы: офис, 5/2
Компания развивает направление аналитики товарно-сырьевых рынков и создает внутреннюю аналитическую платформу для трейдеров, аналитиков и руководства компании
Мы ищем специалиста, который будет развивать полный цикл построения аналитической среды: от загрузки данных до создания готовых дашбордов для бизнеса
Мы рассматриваем кандидата с опытом и навыками:
Высшее образование в области финансов, экономики, математики, риск-менеджмента или смежных направлений
Опыт работы от 5-ти лет в нефтетрейдинге, энергетике, сырьевых рынках или финансовом секторе
Опыт работы Data Engineer, BI Developer или на аналогичной позиции
Уверенное владение SQL
Хорошее знание Python для обработки данных и автоматизации (pandas, SQLAlchemy и аналоги)
Опыт работы с BI системами
Понимание принципов моделирования данных: star schema, dimensional modeling, dbt и аналогичные подходы
Опыт взаимодействия с бизнес-заказчиками
Свободное владение английским языком
Будет плюсом:
Опыт работы с платформами : Snowflake, BigQuery, Databricks
Опыт работы с Airflow, Prefect или другими системами оркестрации процессов
Знание поставщиков рыночных данных: Kpler, Platts, and OPIS (доступ предоставляется!)
Основные задачи:
Разработка и поддержка ETL/ELT- процессов для загрузки данных из внутренних систем и внешних источников
Построение и развитие централизованного хранилища данных по товарно-сырьевым рынкам
Создание аналитических отчетов и интерактивных дашбордов
Автоматизация процессов обработки и визуализации данных
Реализация бизнес-задач совместно с трейдерами, коммерческими и операционными подразделениями
Разработка аналитики по ценам, спредам, движению грузов, маржинальности и экономике хранения
Контроль качества данных, обеспечение их согласованности и документирование процессов
Сбор и анализ требований бизнеса, оперативная реализация новых аналитических инструментов
Оценка и внедрение новых источников данных и технологий
Мы предлагаем:
Работу в международной трейдинговой компании
Доступ к ведущим мировым источникам рыночных данных
Участие в построении внутренней аналитической платформы с нуля
Работу в Дубае (ОАЭ)
Офисный формат работы 5/2
Конкурентоспособный уровень дохода, который обсуждается индивидуально и зависит от опыта и экспертизы кандидата
Чем предстоит заниматься:
- Разрабатывать и совершенствовать лучшую на рынке платформу данных электронной коммерции нового поколения;
- Проектировать и разрабатывать ETL пайплайны на Airflow для Spark (Batch, Streaming), Iceberg, Trino;
- Оптимизировать действующие пайплайны и джобы на Spark - мониторить нагрузку на кластер и оптимальность затрачиваемых джобами ресурсов и если необходимо оптимизировать;
- Взаимодействовать с аналитиками и ML специалистами для создания/развертывания инструментов и наборов данных, соответствующих их вариантам использования - поддерживать регулярные связи с data ops для развития дата-платформы;
- Анализировать и внедрять инструменты инжиниринга данных (Lineage, DQ);
- Проектировать хранилища данных на основе k8s, настраивать производительность, мониторинг, планировать емкости кластера и другой инфраструктуры - думать над тем что и как грузить и в каких партициях;
- Решать задачи, связанные с внедрением облачной инфраструктуры - разрабатывать новую архитектуру хранилища
- Проводить code review и принимать участие в архитектурных решениях по дата платформе в команде.
Мы ожидаем:
- Kubernetes - понимание ресурсной модели, просмотр конфигураций, troubleshooting.
- Опыт работы с Hadoop (HDFS, Hive Metastore)
- Опыт работы со Spark (spark SQL, streaming, понимание ньюансов работы с pyspark);
- Apache Icberg – владение процедурами, snapshots, maintenance
- Глубокое понимание Airflow (2, 3) – идемпотентность, assets, backfills
- Уверенное знание Git, CI/CD;
- Python, Scala/Java – ООП, проектирование библиотек, интеграционные/юнит тесты;
- Хорошее понимание СУБД, SQL;
Будет плюсом:
- Опыт работы с Docker (уверенное владение для поднятия локального окружения проекта);
- Опыт работы с Kafka – понимание архитектуры и слабых мест;
- Опыт с облачными технологиями: преимущественно Yandex Cloud;
- Опыт с Clickhouse.
- AI-native подход к разработке: активное использование Claude Code / Codex и подобных инструментов, опыт построения harness-систем — агентов с инструментами, автоматизации через LLM, RAG.
#junior #офис
IBS
Младший разработчик (Big Data, хранилище данных)
от 30 000 до 40 800 ₽ за месяц
Формат работы: офис (Н.Новгород)
☑️ Чем предстоит заниматься
-Проектирование и сопровождение БД: разработка и поддержка объектов базы данных (таблицы, представления, индексы, хранимые процедуры) в среде Greenplum
-Разработка витрин данных: проектирование и расчет показателей для витрин данных под бизнес-задачи с использованием SQL
-Построение ETL/ELT-пайплайнов: реализация и оптимизация процессов загрузки и трансформации данных в корпоративном хранилище данных (DWH) с использованием Apache Airflow для оркестрации
-Контроль качества данных: проведение первичного тестирования и валидации результатов загрузок, обеспечение целостности и достоверности данных
-Документирование решений: активное участие в создании и поддержке технической документации по разрабатываемым процессам и схемам данных
-Планирование и отчетность: ведение регулярной отчетности о ходе выполнения задач, фиксация проблем и сроков в системах трекинга (Jira)
☑️ Наши пожелания к кандидатам
-Высшее ИТ-образование
-Владение SQL: уверенное знание синтаксиса и основных конструкций (SELECT, INSERT, JOIN), работа с агрегатными функциями и оконными выражениями. Понимание операций над множествами (UNION, INTERSECT, EXCEPT) и декартова произведения
-Базы данных: опыт работы с реляционными СУБД (любой вендор — PostgreSQL, MySQL, ClickHouse и т.д.) на уровне пэт-проектов
-Навыки программирования: будет преимуществом знание языков программирования (например, Python) и принципов объектно-ориентированного программирования (ООП)
-Портфолио: наличие завершенных pet-проектов (личных учебных проектов) с обязательной ссылкой на Git-репозиторий для оценки стиля кода и подхода к решению задач
-Готовность 5/2 работать из офиса (Нижний Новгород, Нестерова, д.31)
Контакты: Telegram ••••••••
🔥 •••••••• / •••••••• / ••••••••
Middle+/ Senior Data Engineer в Fintech
#MiddleDataEngineer #DataEngineer #SeniorDataEngineer #FinTech #SQL #Python #API #Kafka #MLOps #Молдова #Кишинев #Гибрид #Fulltime
Требования:
Высшее образование в Computer Science, Engineering, Information Systems, математике или смежной области. 3+ года в Data Engineering / разработке data-платформ. Сильные SQL, Python, shell scripting. Опыт проектирования и эксплуатации enterprise ETL/ELT-пайплайнов. Apache Spark или аналогичные distributed frameworks. Data lake/lakehouse/DWH, cloud-native платформы. Data modelling, data quality, software engineering. Интеграции через API, event streaming и системы-источники. Будет плюсом: Kafka, Airflow/Argo, Iceberg/Delta Lake, ML-пайплайны, feature stores, MLOps. Опыт в банковском/финансовом секторе, миграциях данных и крупных трансформационных проектах. Английский: не ниже B2.
Локация:📍Строго Молдова, Кишинёв (гибрид). Full-time.
Контакт для отклика: •••••••• +СV
👉••••••••
Команда разрабатывает сложные программно-аппаратные системы и ML/CV-решения. Ищем Инженера данных, который будет отвечать за построение и автоматизацию пайплайнов подготовки больших объемов фото- и видеоданных для последующей разметки и обучения ML-моделей.
Обязанности:
- разрабатывать на Python пайплайны для сбора, обработки и подготовки данных;
- автоматизировать поиск, фильтрацию и передачу больших файлов с удаленных серверов;
- извлекать и обрабатывать фото- и видеоданные из ROS bag;
- автоматизировать отбор и подготовку данных для разметки;
- организовывать загрузку данных и метаинформации в S3-совместимое объектное хранилище;
- интегрировать пайплайны с CVAT и другими инструментами разметки через API;
- вести каталог обработанных данных и метаданных;
- оптимизировать обработку больших объемов данных, в том числе не помещающихся в оперативную память.
- уверенное владение Python;
- опыт разработки ETL/data pipelines;
- опыт работы с большими файлами и объемами данных;
- понимание асинхронного и многопоточного программирования;
- опыт работы в Linux-среде.
Будет плюсом: - опыт с ROS 1/2 и rosbag: топики, сообщения, извлечение и синхронизация данных с камер и других сенсоров;
- опыт работы с S3-совместимыми хранилищами и boto3;
OpenCV и/или ffmpeg; - опыт обработки изображений и видео;
- понимание подходов к хранению и организации метаданных: JSON/JSONL, Parquet и др.;
- опыт интеграции с CVAT, Label Studio, Supervisely или другими платформами разметки;
- опыт работы с данными для Computer Vision/ML.
- оформление в соответствии с ТК РФ;
- конкурентный уровень заработной платы - на уровне лидеров ИТ/телеком-индустрии;
- комфортный современный офис.
Удалённая работа — географически не привязана. Щёлкни по любой из локаций, чтобы открыть оригинальную карточку.
«Детмир Тех» развивает цифровую экосистему группы компаний «Детский мир». Мы создаём продукты для миллионов клиентов и сервисы, которые помогают бизнесу принимать решения на основе данных.
Ищем Data Engineer в команду Big Data Platform. Платформа построена на Hadoop 3 и Apache Spark и является основным источником данных для всей группы компаний.
Главная задача — развивать надёжную и производительную платформу обработки больших объёмов данных: проектировать пайплайны, оптимизировать Spark-приложения, развивать Data Lake и совершенствовать архитектуру Hadoop-кластера.
Чем предстоит заниматься:
- Разрабатывать и оптимизировать batch-процессы на Apache Spark.
- Проектировать ETL/ELT-пайплайны для обработки больших объёмов данных.
- Создавать и поддерживать витрины данных в Hadoop.
- Оптимизировать Spark jobs: partitioning, shuffle, data skew, использование памяти и ресурсов кластера.
- Развивать архитектуру Data Lake и подходы к организации и хранению данных.
- Организовывать загрузку и передачу данных через Kafka и S3 API (MinIO).
- Автоматизировать процессы с помощью Apache Airflow и Apache NiFi.
- Поддерживать трансформации данных в dbt Core.
- Развивать и поддерживать витрины данных в ClickHouse.
- Оптимизировать запросы и процессы загрузки данных в ClickHouse, разбираться с проблемами производительности.
- Поддерживать аналитическую платформу на Apache Superset, решать возникающие технические проблемы.
- Внедрять проверки качества данных и мониторинг пайплайнов.
- Исследовать причины сбоев и деградации производительности.
- Помогать аналитикам и дата-сайентистам эффективно работать с платформой.
- Участвовать в развитии внутренних инструментов и стандартов Data Engineering.
- Участвовать в развёртывании и эксплуатации компонентов платформы в Kubernetes.
Что для нас важно:
- От трёх лет опыта работы с Hadoop и Apache Spark.
- Знание основных компонентов Hadoop и принципов работы HDFS и Spark.
- Глубокое понимание архитектуры Spark и принципов распределённых вычислений.
- Опыт разработки и оптимизации Spark batch jobs.
- Уверенное владение SQL.
- Опыт проектирования DWH или Data Lake.
- Опыт построения ETL/ELT-процессов.
- Практический опыт работы с Apache Airflow.
- Знание форматов хранения данных.
- Понимание принципов партиционирования и организации данных в Data Lake.
- Умение диагностировать проблемы с shuffle, partitioning, data skew, памятью и использованием ресурсов кластера.
- Умение анализировать производительность распределённых приложений и находить узкие места.
- Умение писать чистый, тестируемый и поддерживаемый код.
- Готовность принимать технические решения и отвечать за результат.
Будет преимуществом:
- Опыт разработки на Scala.
- Знание Kafka и принципов потоковой обработки данных.
- Опыт работы с ClickHouse и оптимизации запросов.
- Опыт работы с Apache Superset.
- Знакомство с Apache NiFi и dbt Core.
- Опыт эксплуатации приложений в Kubernetes.
- Знание Docker, Helm и GitLab CI/CD.
- Опыт работы с DataHub или другими Data Catalog решениями.
- Опыт построения мониторинга data-платформ и пайплайнов.
- Знакомство с VictoriaMetrics, Grafana, Hue или Jupyter.
- Опыт работы с большими Hadoop-кластерами и высокими объёмами данных.
Наш стек:
Хранение и обработка: Hadoop 3, HDFS, Apache Spark
Доставка и обмен данными: Kafka, S3
Оркестрация и трансформации: Apache Airflow, Apache NiFi, dbt Core
Аналитические хранилища: ClickHouse
Ad-hoc аналитика: Hue, Jupyter
Каталог данных: DataHub
BI и визуализация: Apache Superset, Grafana
Мониторинг: VictoriaMetrics, Grafana
Инфраструктура: Kubernetes, Docker, Helm
CI/CD: GitLab CI/CD
Мы предлагаем:
- Официальное оформление в соответствии с ТК РФ в IT-аккредитованную компанию;
- Совокупный доход: оклад + годовой бонус;
- График работы: 5/2 (гибридный формат работы);
- Вакансия открыта для кандидатов, проживающих в РФ, удалённый формат работы из других стран не рассматривается;
- Техника для работы;
- Полис ДМС;
- Программа Best Benefits;
- Внутреннее обучение;
- Спортивные и развлекательные мероприятия, участие в корпоративной жизни компании.
Присоединяйтесь к нам и станьте частью истории бренда с историей!
GigaDataGateway — это единая точка доступа ко всем данным, знаниям и AI-возможностям компании. Система поддерживает обслуживание десятков внутренних команд и позволяет оптимизировать модели на основе опыта работы с внешними и внутренними источниками. Проектируешь сервисы и инфраструктуру будущего? Присоединяйтесь!
Чем предстоит заниматься:
• развивать сервисы GigaDataGateway на Python,
• проектировать и реализовывать REST/gRPC API для внутренних клиентов,
• интегрироваться с разными источниками данных,
• создавать модули авторизации, аутентификации, контроля доступа и логирования,
• работать над повышением производительности, отказоустойчивости и масштабируемости,
• участвовать в код-ревью и формировании технических практик.
Мы ждём что ты:
• имеешь коммерческий опыт разработки на Python от 7 лет,
• обладаешь глубокими знаниями FastAPI/aiohttp/gRPC,
• знаешь основы проектирования архитектур сервисов и API-шлюзов,
• отлично разбираешься в многопоточности, асинхронности, очередях и распределённых системах,
• работал с высоконагруженными системами и улучшал производительность,
• уверенно владеешь SQL и аналитическими базами данных (ClickHouse, PostgreSQL),
• строил масштабируемые решения на Kafka/RabbitMQ,
• применял принципы DDD, Clean Architecture, SOLID,
• имел опыт наставничества и технического лидерства в команде,
• знаком с инструментами CI/CD, Kubernetes, мониторинга (Prometheus/Grafana, ELK/ClickHouse+Metabase).
Будет плюсом:
• опыт создания универсальных API-шлюзов или data API,
• работа с ML/AI-сервисами (интеграция моделей в API),
• интеграция с внешними системами через REST API/gRPC/GraphQL,
• участие в проектировании корпоративных дата-платформ.
Что мы предлагаем:
• работу в новом стратегическом проекте компании,
• влияние на архитектуру и выбор технологических решений,
• современные практики разработки (CI/CD, GitLab, Docker/Kubernetes),
• конкурентоспособную оплату труда (оклад плюс годовая премия),
• гибкий график и гибридный формат работы,
• официальное оформление по Трудовому кодексу РФ,
• комфортный офис с зоной отдыха и корпоративным спортзалом,
• обучение и развитие навыков,
• расширенный полис ДМС с первого рабочего дня и страховка для членов семьи,
• бонусы за рекомендации сотрудников.
Мы — core-команда кластера Greenplum, сердце аналитики блока «Сеть продаж». Мы занимаемся развитием кластера, задаем стандарты и выбираем технологии для работы с данными. Наша миссия — прививать культуру работы с данными и создавать инструменты, которые избавляют Data-аналитиков и Data-инженеров от рутины, помогая им сосредоточиться на главном.
-
Разработка ETL процессов (Airflow);
-
Разработка управленческой отчетности;
-
Написание ad-hoc запросов;
-
Оптимизация и автоматизация существующих процессов (Python);
-
R&D, реализация пилотов по выбору технологий;
-
Генерация идей как сделать еще круче, чем уже есть :)
-
Хорошее знание SQL (аналитические функции, подзапросы, оптимизация запросов);
-
Хорошее знание Python;
-
Понимание подходов к организации разработки (CI/CD, DevOps).
-
Достойный уровень вознаграждения (оклад + внушительная годовая премия);
-
ДМС с первого дня работы и льготная мед. страховка для близких родственников;
-
Социальная поддержка сотрудников;
-
Возможность стать частью команды, реализующей программы цифровой трансформации банка - на основе передового опыта и инновационных идей;
-
Широкие возможности для профессионального развития: корпоративный университет и множество онлайн-программ обучения. Корпоративное обучение за счет компании;
-
Бесплатная подписка СберПрайм+, многочисленные скидки и бонусы от партнеров: СберМаркет, МегаМаркет, Самокат, Еаптека и др.;
-
Корпоративная пенсионная программа
Обязанности:
- Создание и поддержка аналитических панелей в BI-системе по требованиям бизнеса
- Написание, оптимизация и рефакторинг сложных SQL-запросов для PostgreSQL и ClickHouse
- Выполнение разовых Ad-Hoc запросов от бизнеса, быстрый поиск ответов в данных
- Улучшение существующих дашбордов с точки зрения интерфейсов и пользовательского опыта — делать отчеты не только функциональными, но и удобными, наглядными, интуитивно понятными
- Анализ и переработка текущих дашбордов для ускорения их работы (оптимизация запросов, моделей данных, настроек кэширования)
- Проектирование и разработка витрин данных в ClickHouse и PostgreSQL для ускорения работы отчетов и дашбордов
- Поддержка и разработка DAG'ов в Apache AirFlow
- Работа в Jira, декомпозиция задач, соблюдение дедлайнов
- Анализ существующих БД: изучение структуры и данных для реализации отчетов и дашбордов
- Интеграция данных из множества источников: в компании функционирует множество систем с собственными базами данных. В задачи входит анализ таких БД, понимание ее устройства и извлечение данных для последующей отчетности
Требования:
- Опыт работы в роли BI-разработчика / BI-инженера / Аналитика данных от 2 до 4 лет
- Продвинутое владение SQL, умение писать сложные запросы, оптимизировать производительность, разбираться в чужом коде
- Опыт работы с BI-системами (включая FineBI), понимание принципов построения дашбордов и моделей данных
- Понимание принципов визуального восприятия данных, навыки создания инфографики, опыт проектирования пользовательских интерфейсов для дашбордов
- Практический опыт работы с СУБД ClickHouse (настройка, оптимизация запросов, работа с большими объемами данных), опыт создания витрин данных
- Практический опыт работы с СУБД PostgreSQL
- Понимание основ системы контроля версий, опыт работы в команде с использованием Git (ветки, коммиты, пул-реквесты)
- Развитые коммуникативные навыки: умение взаимодействовать с бизнес-заказчиками, выявлять потребности и понятно доносить технические решения
- Системное мышление, внимательность к деталям, насмотренность в визуализации данных
- Готовность работать в условиях изменений (переход на новые технологии).
- Умение работать в Jira, декомпозировать задачи и самостоятельно оценивать сроки
Условия:
- Оформление согласно ТК РФ
- Достойный уровень заработной платы + премии
- График работы: 5/2
- Дополнительный социальный пакет: телемедицина, полис для выезжающих за рубеж, страхование от несчастных случаев и рисковых заболеваний, доплата по больничным листам до 20 дней в году, частичная компенсация затрат на покупку путевок в летний детский лагерь
- Комфортный офис в центре: тренажерный и спортивный залы, лаунж-зона, микромаркеты, кухни с чаем, кофе и снеками на каждом этаже
О нас
Inca Digital — компания в области данных и аналитической разведки, специализирующаяся на аналитике цифровых активов для бирж, финансовых организаций, регуляторов и блокчейн-экосистем. Наша платформа объединяет структурированные и неструктурированные данные из блокчейнов, с бирж, из социальных сетей и финансовых рынков в единый аналитический движок. Мы работаем полностью удаленно и в асинхронном режиме: минимум созвонов, решения принимаются на основе аргументов, а не иерархии.
О роли
Вы — инженер, который создает и поддерживает данные, с которыми ежедневно работает наша команда расследований. Аналитики рассчитывают на то, что вы надежно и своевременно собираете, нормализуете и предоставляете данные о блокчейн-транзакциях, биржевые потоки и данные из открытых источников — в виде, пригодном для анализа сразу, без предварительной очистки.
Чем предстоит заниматься
-
Проектировать, разрабатывать и сопровождать сквозные пакетные и инкрементальные ETL/ELT-пайплайны, превращая сырые данные в production-ready API, дашборды и автоматические оповещения.
-
Обеспечивать высокопроизводительный сбор данных из разнородных источников: реляционных баз данных, сторонних и вендорских API, файлов, блокчейн-нод и индексаторов, а также текстовых данных из соцсетей и веба в больших объемах.
-
Разрабатывать NLP-пайплайны для работы с неструктурированными и полуструктурированными текстовыми данными: извлечение сущностей и утверждений, классификация, дедупликация и обогащение данных для последующих моделей оценки рисков.
-
Поддерживать системы данных для управления кейсами, генерации отчетов и аналитического портала.
-
Совместно с руководителем R&D, инженерами, data scientist'ами и командой расследований превращать аналитические требования в масштабируемые клиентские продукты.
-
Участвовать в техническом проектировании и разработке архитектуры в рамках письменного, аргументированного процесса дизайна.
-
Участвовать в повышении качества данных и сопровождении систем: версионирование, валидация, отслеживание происхождения данных (data lineage), сверка и мониторинг актуальности данных.
Что мы ждём от вас
-
Коммерческий опыт разработки backend-сервисов на GoLang от 3 лет.
-
Уверенное знание основ Go, включая конкурентность, тестирование и т. д.
-
Опыт работы с REST API и/или gRPC.
-
Практический опыт работы в среде AWS.
-
Опыт работы с системами обмена сообщениями: Kafka, RabbitMQ, SQS и т. п.
-
Опыт работы с SQL-базами данных (например, PostgreSQL) и NoSQL-базами (MongoDB, Redis, DynamoDB).
-
Понимание микросервисной архитектуры и распределённых систем.
-
Опыт работы с Docker, Git и CI/CD.
-
Самостоятельность: готовность работать с неоднозначными задачами без пошаговых инструкций.
-
Свободный английский — вся работа ведётся на английском языке.
Будет плюсом
Опыт работы с Terraform, Kubernetes, Splunk или аналогичными SIEM-системами и инструментами observability. Интерес к финтеху или расследованиям.
Стек
Golang, SQL, AWS/GCP, Docker, Splunk, GitHub.
Этапы отбора
-
Техническое задание.
-
30-минутное скрининговое интервью.
-
Техническое интервью.
-
Интервью на соответствие корпоративной культуре с руководителем R&D.
-
Заключение годового контракта с фиксированными контрольными точками.
Для выполнения практического задания перейдите по ссылке в открытый GitHub-репозиторий: https://github.com/1712n/dn-institute/issues/1209. Мы рассматриваем только отклики с выполненным практическим заданием. Решение необходимо отправить пул-реквестом в этот репозиторий, как описано в задании. В отклике укажите ваш GitHub-юзернейм и ссылку на ваш пул-реквест.
Почему стоит присоединиться
-
Полностью удаленная работа и атмосфера доверия — мы оцениваем результат, а не отработанные часы.
-
Конкурентоспособное вознаграждение и компенсация медицинских расходов.
-
Работа на стыке блокчейна, финтеха и национальной безопасности.
Чем предстоит заниматься:
- Проектирование и развитие масштабируемой data-инфраструктуры (batch и streaming пайплайны);
- ClickHouse (MergeTree), S3 Data Lake, Kafka, Airflow (ETL/ELT);
- Архитектура и реализация витрин данных для аналитики, ML и AI-агентов;
- Поддержка и написание пайплайнов ETL/ELT (dbt / Airflow / Spark / Kafka / etc.);
- Оптимизация производительности, стоимость хранения и потребления данных;
- Внедрение и поддержка стандартов CI/CD и мониторинга пайплайнов;
- Работа в связке с аналитиками, ML-инженерами, разработчиками и продуктами;
- Участие в построении feature store, ML-инфраструктуры и поддержке GenAI систем.
Ожидания от кандидата:
- 3+ лет опыта работы с данными в роли Data Engineer;
- Опыт проектирования data-платформ в продакшене (от ingestion до витрин);
- Отличное знание SQL, Python (или Scala), опыт работы с Apache Airflow, Spark, Kafka;
- Опыт построения CI/CD процессов и мониторинга data pipeline’ов;
- Понимание принципов data governance, data quality и data contracts.
Будет плюсом:
- Знакомство с практиками MLOps и GenAI pipeline’ами (например, RAG, LangChain);
- Опыт взаимодействия с ML-инженерами: подготовка фич, поддержка feature store;
- Опыт руководства командой или отдельных проектов как технический лидер.
Условия работы:
- Стабильная работа в одном из крупнейших банков страны;
- Конкурентная заработная плата, соцпакет;
- Формат работы - гибрид (4 дня в офисе);
- Условия для роста и развития (в т.ч. конференции, тренинги, внутренние программы развития);
- Дружный коллектив единомышленников;
- Передовой стек технологий, высокопроизводительное оборудование;
- Возможность решать разнообразные прикладные задачи с выводом в промышленную эксплуатацию, возможность существенно влиять на результат;
- Квартальный бонус по результатам работы;
- ДМС, страхование жизни;
- Корпоративное обучение.
Ищем опытного Data Engineer для разработки и развития корпоративного хранилища данных. Специалист будет участвовать в проектировании потоков данных, создании витрин, оптимизации SQL-запросов и развитии архитектуры DWH.
🔧 Задачи:
- проектировать и разрабатывать потоки данных с использованием ETL/ELT-инструментов;
- разрабатывать программный код и проводить его тестирование;
- реализовывать кастомные трансформации данных;
- проектировать и создавать прототипы и витрины данных;
- разрабатывать процедуры на языке PL/pgSQL;
- проводить анализ производительности существующих систем;
- оптимизировать SQL-запросы и структуры баз данных;
- участвовать в масштабировании и повышении производительности систем;
- развивать архитектуру DWH;
- анализировать и выбирать оптимальные технологии, инструменты и методологии;
- создавать и актуализировать базу знаний для пользователей хранилища данных;
- сопровождать и мониторить информационные системы в своей зоне ответственности.
🧩 Что важно:
- знание принципов построения хранилищ данных и архитектуры DWH;
- понимание принципов работы MPP-систем;
- практический опыт работы с экосистемой Hadoop:
- HDFS;
- YARN;
- Apache Spark;
- Apache Kafka;
- Apache NiFi;
- Sqoop;
- Flume;
- уверенное знание SQL, включая DDL и DML;
- опыт анализа и оптимизации сложных SQL-запросов;
- опыт разработки на PL/pgSQL;
- практический опыт работы с Greenplum или отличное знание PostgreSQL;
- опыт работы с ETL-инструментами SAS Data Integration Studio и/или Informatica PowerCenter;
- понимание процессов проектирования потоков, преобразования и загрузки данных;
- опыт сопровождения и мониторинга информационных систем;
- навыки ведения проектной и технической документации;
- опыт работы с Git, Jira и Confluence.
⭐ Будет преимуществом:
- опыт проектирования высоконагруженных хранилищ данных;
- опыт масштабирования MPP- и Hadoop-систем;
- участие в проектах по развитию крупных корпоративных DWH;
- опыт построения сложных ETL/ELT-процессов и витрин данных.
О нас
Inca Digital — компания в области данных и аналитической разведки, специализирующаяся на аналитике цифровых активов для бирж, финансовых организаций, регуляторов и блокчейн-экосистем. Наша платформа объединяет структурированные и неструктурированные данные из блокчейнов, с бирж, из социальных сетей и финансовых рынков в единый аналитический движок. Мы работаем полностью удаленно и в асинхронном режиме: минимум созвонов, решения принимаются на основе аргументов, а не иерархии.
О роли
Вы — инженер, который создает и поддерживает данные, с которыми ежедневно работает наша команда расследований. Аналитики рассчитывают на то, что вы надежно и своевременно собираете, нормализуете и предоставляете данные о блокчейн-транзакциях, биржевые потоки и данные из открытых источников — в виде, пригодном для анализа сразу, без предварительной очистки.
Чем предстоит заниматься
-
Проектировать, разрабатывать и сопровождать сквозные пакетные и инкрементальные ETL/ELT-пайплайны, превращая сырые данные в production-ready API, дашборды и автоматические оповещения.
-
Обеспечивать высокопроизводительный сбор данных из разнородных источников: реляционных баз данных, сторонних и вендорских API, файлов, блокчейн-нод и индексаторов, а также текстовых данных из соцсетей и веба в больших объемах.
-
Разрабатывать NLP-пайплайны для работы с неструктурированными и полуструктурированными текстовыми данными: извлечение сущностей и утверждений, классификация, дедупликация и обогащение данных для последующих моделей оценки рисков.
-
Поддерживать системы данных для управления кейсами, генерации отчетов и аналитического портала.
-
Совместно с руководителем R&D, инженерами, data scientist'ами и командой расследований превращать аналитические требования в масштабируемые клиентские продукты.
-
Участвовать в техническом проектировании и разработке архитектуры в рамках письменного, аргументированного процесса дизайна.
-
Участвовать в повышении качества данных и сопровождении систем: версионирование, валидация, отслеживание происхождения данных (data lineage), сверка и мониторинг актуальности данных.
Что мы ждём от вас
-
Коммерческий опыт разработки backend-сервисов на GoLang от 3 лет.
-
Уверенное знание основ Go, включая конкурентность, тестирование и т. д.
-
Опыт работы с REST API и/или gRPC.
-
Практический опыт работы в среде AWS.
-
Опыт работы с системами обмена сообщениями: Kafka, RabbitMQ, SQS и т. п.
-
Опыт работы с SQL-базами данных (например, PostgreSQL) и NoSQL-базами (MongoDB, Redis, DynamoDB).
-
Понимание микросервисной архитектуры и распределённых систем.
-
Опыт работы с Docker, Git и CI/CD.
-
Самостоятельность: готовность работать с неоднозначными задачами без пошаговых инструкций.
-
Свободный английский — вся работа ведётся на английском языке.
Будет плюсом
Опыт работы с Terraform, Kubernetes, Splunk или аналогичными SIEM-системами и инструментами observability. Интерес к финтеху или расследованиям.
Стек
Golang, SQL, AWS/GCP, Docker, Splunk, GitHub.
Этапы отбора
-
Техническое задание.
-
30-минутное скрининговое интервью.
-
Техническое интервью.
-
Интервью на соответствие корпоративной культуре с руководителем R&D.
-
Заключение годового контракта с фиксированными контрольными точками.
Для выполнения практического задания перейдите по ссылке в открытый GitHub-репозиторий: https://github.com/1712n/dn-institute/issues/1209. Мы рассматриваем только отклики с выполненным практическим заданием. Решение необходимо отправить пул-реквестом в этот репозиторий, как описано в задании. В отклике укажите ваш GitHub-юзернейм и ссылку на ваш пул-реквест.
Почему стоит присоединиться
-
Полностью удаленная работа и атмосфера доверия — мы оцениваем результат, а не отработанные часы.
-
Конкурентоспособное вознаграждение и компенсация медицинских расходов.
-
Работа на стыке блокчейна, финтеха и национальной безопасности.
О нас
Inca Digital — компания в области данных и аналитической разведки, специализирующаяся на аналитике цифровых активов для бирж, финансовых организаций, регуляторов и блокчейн-экосистем. Наша платформа объединяет структурированные и неструктурированные данные из блокчейнов, с бирж, из социальных сетей и финансовых рынков в единый аналитический движок. Мы работаем полностью удаленно и в асинхронном режиме: минимум созвонов, решения принимаются на основе аргументов, а не иерархии.
О роли
Вы — инженер, который создает и поддерживает данные, с которыми ежедневно работает наша команда расследований. Аналитики рассчитывают на то, что вы надежно и своевременно собираете, нормализуете и предоставляете данные о блокчейн-транзакциях, биржевые потоки и данные из открытых источников — в виде, пригодном для анализа сразу, без предварительной очистки.
Чем предстоит заниматься
-
Проектировать, разрабатывать и сопровождать сквозные пакетные и инкрементальные ETL/ELT-пайплайны, превращая сырые данные в production-ready API, дашборды и автоматические оповещения.
-
Обеспечивать высокопроизводительный сбор данных из разнородных источников: реляционных баз данных, сторонних и вендорских API, файлов, блокчейн-нод и индексаторов, а также текстовых данных из соцсетей и веба в больших объемах.
-
Разрабатывать NLP-пайплайны для работы с неструктурированными и полуструктурированными текстовыми данными: извлечение сущностей и утверждений, классификация, дедупликация и обогащение данных для последующих моделей оценки рисков.
-
Поддерживать системы данных для управления кейсами, генерации отчетов и аналитического портала.
-
Совместно с руководителем R&D, инженерами, data scientist'ами и командой расследований превращать аналитические требования в масштабируемые клиентские продукты.
-
Участвовать в техническом проектировании и разработке архитектуры в рамках письменного, аргументированного процесса дизайна.
-
Участвовать в повышении качества данных и сопровождении систем: версионирование, валидация, отслеживание происхождения данных (data lineage), сверка и мониторинг актуальности данных.
Что мы ждём от вас
-
Коммерческий опыт разработки backend-сервисов на GoLang от 3 лет.
-
Уверенное знание основ Go, включая конкурентность, тестирование и т. д.
-
Опыт работы с REST API и/или gRPC.
-
Практический опыт работы в среде AWS.
-
Опыт работы с системами обмена сообщениями: Kafka, RabbitMQ, SQS и т. п.
-
Опыт работы с SQL-базами данных (например, PostgreSQL) и NoSQL-базами (MongoDB, Redis, DynamoDB).
-
Понимание микросервисной архитектуры и распределённых систем.
-
Опыт работы с Docker, Git и CI/CD.
-
Самостоятельность: готовность работать с неоднозначными задачами без пошаговых инструкций.
-
Свободный английский — вся работа ведётся на английском языке.
Будет плюсом
Опыт работы с Terraform, Kubernetes, Splunk или аналогичными SIEM-системами и инструментами observability. Интерес к финтеху или расследованиям.
Стек
Golang, SQL, AWS/GCP, Docker, Splunk, GitHub.
Этапы отбора
-
Техническое задание.
-
30-минутное скрининговое интервью.
-
Техническое интервью.
-
Интервью на соответствие корпоративной культуре с руководителем R&D.
-
Заключение годового контракта с фиксированными контрольными точками.
Для выполнения практического задания перейдите по ссылке в открытый GitHub-репозиторий: https://github.com/1712n/dn-institute/issues/1209. Мы рассматриваем только отклики с выполненным практическим заданием. Решение необходимо отправить пул-реквестом в этот репозиторий, как описано в задании. В отклике укажите ваш GitHub-юзернейм и ссылку на ваш пул-реквест.
Почему стоит присоединиться
-
Полностью удаленная работа и атмосфера доверия — мы оцениваем результат, а не отработанные часы.
-
Конкурентоспособное вознаграждение и компенсация медицинских расходов.
-
Работа на стыке блокчейна, финтеха и национальной безопасности.
В Финтехе мы создаём платёжные продукты, сервисы и инструменты для управления личными финансами. Финтех уже превратился из стартапа в полноценный и крайне важный продукт.
Сейчас мы собираем новое — аналитическое — хранилище данных и формируем для этого команду. В хранилище нет легаси, поэтому у вас будет возможность оказаться у истоков нового проекта. У нас большие планы — приходите помогать их реализовать!
Строить ETL-процессы
Нужно извлекать из источников ценную информацию, обрабатывать её и представлять в виде, удобном для аналитиков. Сложность пайплайнов может варьироваться от простых инжестов данных из внешней среды и приземления результата в хранилище до витиеватых графов со множеством инпутов и аутпутов.
Оптимизировать логику
Как известно, у нас нет собственного легаси, но мы часто работаем с прототипами, реализованными аналитиками, чьё представление о прекрасном может не совпадать с нашим. Поэтому мы распутываем нетривиальную логику и предлагаем более строгую, консистентную и оптимальную, ориентируясь на большие объёмы данных.
Обеспечивать доступность сервиса
Олимпиадный подход подразумевает одноразовость результата. Мы преследуем совсем другие цели, поэтому максима «сработало раз — и ладно» не о нас. Идеал такой: хранилище обеспечивает регулярную поставку с минимально возможным количеством сбоев, а данные — корректны, полны, непротиворечивы и отвечают самым строгим стандартам качества.
Проектировать структуру хранилища
Лучшее аналитическое DWH ещё только в планах. Мы хотим заложить основы, которые позволят ему быстро развиваться, обрастая при этом не «костылями» и «велосипедами», а современными инженерными практиками и подходами.
Взаимодействовать с аналитиками
Они наши главные и любимые заказчики. Вместе с ними вам предстоит обдумывать бизнес-задачи, иногда вы будете спорить, но в итоге — находить оптимальные решения. Неотъемлемая часть этого процесса — накапливание личного опыта в бизнес-домене Финтеха. Прибавим сюда рост инженерного опыта — и получим двойную выгоду. Почти как у Яндекс Пэй.
* Уверенно программируете на Python
* Хорошо знаете SQL и понимаете устройство современных СУБД
* Понимаете и можете объяснить необходимость непрерывной интеграции и доставки (CI/CD), преимущества использования систем контроля версий, код-ревью, тестирования и мониторинга
* Работаете в командной строке Unix-подобных систем (Linux, macOS)
* Создавали сложные высоконагруженные ETL- и ELT-процессы (Hadoop, Hive, Spark)
* Разрабатывали процессы обработки событий, приближенные к реальному времени (Kafka, Spark Streaming, Flink)
* Участвовали в проектировании хранилищ данных
* Работали по методологии Agile
* Руководили стажёрами или начинающими специалистами
* Знакомы со специализированными аналитическими БД (Greenplum, Vertica, ClickHouse, Teradata) и аналитическими инструментами на базе Python (Jupyter, pandas, SciPy, Matplotlib)
* Публикуете свой код в доступном репозитории, пишете статьи, выступаете на конференциях
Lead Data Engineer Andersen
Местоположение: Евросоюз
Формат работы: Удаленно
Опубликована: ••••••••
Требования:
• Коммерческий опыт в Data Engineering от 6 лет
• Опыт проектирования greenfield-фреймворка платформы данных
• Уверенный опыт Azure DevOps: YAML pipelines, CI/CD
• Опыт с Azure Databricks, Apache Spark, Azure Data Factory
О компании:
Andersen работает с лидерами FinTech, Healthcare, Retail, Telecom. Проект — корпоративная платформа данных и аналитики для поставщика финансовых услуг.
Контакт: ••••••••
•••••••• в LinkedIn
Удалённая работа — географически не привязана. Щёлкни по любой из локаций, чтобы открыть оригинальную карточку.
О нас
Inca Digital — компания в области данных и аналитической разведки, специализирующаяся на аналитике цифровых активов для бирж, финансовых организаций, регуляторов и блокчейн-экосистем. Наша платформа объединяет структурированные и неструктурированные данные из блокчейнов, с бирж, из социальных сетей и финансовых рынков в единый аналитический движок. Мы работаем полностью удаленно и в асинхронном режиме: минимум созвонов, решения принимаются на основе аргументов, а не иерархии.
О роли
Вы — инженер, который создает и поддерживает данные, с которыми ежедневно работает наша команда расследований. Аналитики рассчитывают на то, что вы надежно и своевременно собираете, нормализуете и предоставляете данные о блокчейн-транзакциях, биржевые потоки и данные из открытых источников — в виде, пригодном для анализа сразу, без предварительной очистки.
Чем предстоит заниматься
-
Проектировать, разрабатывать и сопровождать сквозные пакетные и инкрементальные ETL/ELT-пайплайны, превращая сырые данные в production-ready API, дашборды и автоматические оповещения.
-
Обеспечивать высокопроизводительный сбор данных из разнородных источников: реляционных баз данных, сторонних и вендорских API, файлов, блокчейн-нод и индексаторов, а также текстовых данных из соцсетей и веба в больших объемах.
-
Разрабатывать NLP-пайплайны для работы с неструктурированными и полуструктурированными текстовыми данными: извлечение сущностей и утверждений, классификация, дедупликация и обогащение данных для последующих моделей оценки рисков.
-
Поддерживать системы данных для управления кейсами, генерации отчетов и аналитического портала.
-
Совместно с руководителем R&D, инженерами, data scientist'ами и командой расследований превращать аналитические требования в масштабируемые клиентские продукты.
-
Участвовать в техническом проектировании и разработке архитектуры в рамках письменного, аргументированного процесса дизайна.
-
Участвовать в повышении качества данных и сопровождении систем: версионирование, валидация, отслеживание происхождения данных (data lineage), сверка и мониторинг актуальности данных.
Что мы ждём от вас
-
Коммерческий опыт разработки backend-сервисов на GoLang от 3 лет.
-
Уверенное знание основ Go, включая конкурентность, тестирование и т. д.
-
Опыт работы с REST API и/или gRPC.
-
Практический опыт работы в среде AWS.
-
Опыт работы с системами обмена сообщениями: Kafka, RabbitMQ, SQS и т. п.
-
Опыт работы с SQL-базами данных (например, PostgreSQL) и NoSQL-базами (MongoDB, Redis, DynamoDB).
-
Понимание микросервисной архитектуры и распределённых систем.
-
Опыт работы с Docker, Git и CI/CD.
-
Самостоятельность: готовность работать с неоднозначными задачами без пошаговых инструкций.
-
Свободный английский — вся работа ведётся на английском языке.
Будет плюсом
Опыт работы с Terraform, Kubernetes, Splunk или аналогичными SIEM-системами и инструментами observability. Интерес к финтеху или расследованиям.
Стек
Golang, SQL, AWS/GCP, Docker, Splunk, GitHub.
Этапы отбора
-
Техническое задание.
-
30-минутное скрининговое интервью.
-
Техническое интервью.
-
Интервью на соответствие корпоративной культуре с руководителем R&D.
-
Заключение годового контракта с фиксированными контрольными точками.
Для выполнения практического задания перейдите по ссылке в открытый GitHub-репозиторий: https://github.com/1712n/dn-institute/issues/1209. Мы рассматриваем только отклики с выполненным практическим заданием. Решение необходимо отправить пул-реквестом в этот репозиторий, как описано в задании. В отклике укажите ваш GitHub-юзернейм и ссылку на ваш пул-реквест.
Почему стоит присоединиться
-
Полностью удаленная работа и атмосфера доверия — мы оцениваем результат, а не отработанные часы.
-
Конкурентоспособное вознаграждение и компенсация медицинских расходов.
-
Работа на стыке блокчейна, финтеха и национальной безопасности.
Компания IBS, ключевой технологический партнер лидеров российского бизнеса, приглашает на работу начинающих IT-специалистов на вакансию "Младший разработчик (BigData) " без коммерческого опыта работы на крупный банковский проект.
В рамках этой роли вам предстоит:
-
Проектирование и сопровождение БД: разработка и поддержка объектов базы данных (таблицы, представления, индексы, хранимые процедуры) в среде Greenplum.
-
Разработка витрин данных: проектирование и расчет показателей для витрин данных под бизнес-задачи с использованием SQL.
-
Построение ETL/ELT-пайплайнов: реализация и оптимизация процессов загрузки и трансформации данных в корпоративном хранилище данных (DWH) с использованием Apache Airflow для оркестрации.
-
Контроль качества данных: проведение первичного тестирования и валидации результатов загрузок, обеспечение целостности и достоверности данных.
-
Документирование решений: активное участие в создании и поддержке технической документации по разрабатываемым процессам и схемам данных.
-
Планирование и отчетность: ведение регулярной отчетности о ходе выполнения задач, фиксация проблем и сроков в системах трекинга (Jira).
Инструментарий: Jira, Confluence, Greenplum, Apache Airflow.
Требования:
- Высшее ИТ-образование (или учащиеся последних курсов ВУЗов).
-
Владение SQL: знание синтаксиса и основных конструкций (SELECT, INSERT, JOIN), работа с агрегатными функциями и оконными выражениями. Понимание операций над множествами (UNION, INTERSECT, EXCEPT) и декартова произведения.
-
Базы данных: опыт работы, в том числе учебный, с реляционными СУБД (любой вендор — PostgreSQL, MySQL, ClickHouse и т.д.) на уровне пэт-проектов.
-
Навыки программирования: будет преимуществом знание языков программирования (например, Python) и принципов объектно-ориентированного программирования (ООП).
-
Готовность 5/2 работать из офиса (Нижний Новгород, ул. Нестерова, д. 31).
Условия:
-
Работа в аккредитованной ИТ-компании с более чем 30-летним опытом реализации тысяч проектов.
-
Работа на банковском проекте.
-
Пятидневная рабочая неделя с ПН по ПТ, с 9:00 до 18:00 или с 10:00 до 19:00.
-
Возможность роста от младшего разработчика до ведущего специалиста, руководителя.
-
Заработная плата фикс: 47 000 до вычета налога (40 800 руб. на руки) с последующим ростом.
-
Для Вашего роста мы будем использовать современный подход в обучении и развитии (опытный наставник, множество бесплатных курсов для повышения квалификации).
-
Вы будете членом сильной команды экспертов и иметь возможность обмениваться опытом с коллегами по всей России.
-
Мы не только хорошо работаем, но и весело отдыхаем. Вы сможете найти себе мероприятия по вкусу и участвовать в них по желанию: неформальные мероприятия, интеллектуальные игры, собственная Киберлига, возможность заниматься волонтерской деятельностью и благотворительностью, творческие вечера и другое.
-
ДМС.
Data Engineer (Azure Databricks) Andersen
Зарплата: 2800 – 4550 EUR в месяц (gross)
Местоположение: Евросоюз
Формат работы: Удаленно
Опубликована: ••••••••
Требования:
• Коммерческий опыт в Data Engineering от 4 лет
• Опыт с Azure Databricks, включая Spark и Delta Lake
• Построение многослойных пайплайнов (Landing → Raw → Enriched → Curated)
• Оркестрация пайплайнов через Databricks Jobs / Workflows
О компании:
Andersen работает с лидерами FinTech, Healthcare, Retail, Telecom. Заказчик — международная компания в сфере life sciences, проект — облачная платформа данных для разработки лекарств.
Контакт: ••••••••
•••••••• в LinkedIn
Смотрите также в каталоге
Хотите персональную подборку?
Введите свои критерии — мы отфильтруем вакансии по вашим требованиям
Найти подходящие вакансии →