Data Engineer junior+ (Python)

Компания DOMEO - Российская компания, лидер среди сервисов по капитальному ремонту и дизайну квартир и частных домов.
На рынке мы уже более 10 лет и на сегодняшний день представлены в трех городах Москва, Санкт-Петербург, Сочи.

Мы строим PIM-систему - единое хранилище всех товаров. Ищем Database Engineer, который спроектирует для нее базу данных.

Что предстоит делать:

• Проектировать и поддерживать базы данных PostgreSQL;

• Оптимизировать производительность: индексы, партиционирование, настройка БД;

• Управлять миграциями (Alembic) с возможностью обновления без остановки;

• Настраивать репликацию, бэкапы и мониторинг;

• Дорабатывать продукт по итогам разбора инцидентов;

Требования:

• Опыт проектирования схем БД для высоконагруженных систем;

• Опыт работы с PostgreSQL от 3 лет;

• Уверенное владение SQL (сложные запросы, оконные функции);

• Опыт оптимизации производительности (индексы, EXPLAIN);

• Понимание партиционирования больших таблиц;

• Опыт работы с большими таблицами (миллионы записей);

• Python (для скриптов и ETL);

• Опыт с миграциями (Alembic / Flyway / Liquibase);

Будет плюсом:

• Опыт мониторинга БД и разбора инцидентов;

• Опыт нагрузочного тестирования;

• Настройка репликации;

• Docker, CI/CD;

• Опыт в e-commerce, ритейле или PIM-системах;

Условия:

• Формат работы: офисный;
• График: на выбор - с 09:00 до 18:00 или с 10:00 до 19:00 (перерыв 1 час). Суббота, воскресенье и праздничные дни - выходные;
• Офис: стильный и современный, в пешей доступности от метро «Шаболовская» (1 минута) и «Тульская» (15 минут);
• Оборудованная кухня и уютные места для отдыха;
• Для желающих - бесплатные занятия йогой в спортивном пространстве офиса;
• Детская комната - если есть необходимость взять ребёнка с собой.

Aston — аккредитованная аутсорсинговая IT-компания, работающая с 2007 года. Наш штат насчитывает 2500+ специалистов. Мы разрабатываем программное обеспечение и IT-решения в сферах Finance, Healthcare, eCommerce, IoT, Media, Big Data, ML и многом другом.

Предлагаем присоединиться в роли Data Engineer и работать над проектом заказчика.

Заказчик - крупнейший коммерческий банк страны, лидер по объему активов и цифровому развитию. Активно продвигает мобильные сервисы, ценит скорость, гибкость и неформальный подход внутри команд. Многократно отмечен престижными наградами, в том числе «Bank of the Year in Russia 2019» (The Banker) и «Best Mortgage Bank in CEE» (Global Finance).

Чем предстоит заниматься?

• реализовывать высоконагруженные конвейеры обработки данных для обеспечения надежной и бесперебойной репликации данных из ИТ-систем;
• реализовывать комплексные задачи по подготовке данных в целевых аналитических хранилищах (DataLake, SandBox, FeatureStore) для построения признаков, необходимых для разработки моделей машинного обучения;
• разрабатывать и поддерживать в актуальном состоянии документацию по разработанному функционалу;
• своевременно отражать статусы выполнения задач в Jira;
• проверять качество кода, написанного инженерами данных.

Чего мы ждем от специалиста?

• опыт работы в роли Data Engineer от 4-х лет;
• отличные знания Python: структуры данных и алгоритмов, ООП и функциональное программирование;
• опыт написания модульных и интеграционных тестов, знание и опыт применения NumPy, Pandas;
• опыт разработки и внедрения в промышленную эксплуатацию сервисов загрузки и обработки неструктурированных данных (текст, xml, json) из внешних источников;
• способность разобраться с API поставщиков данных, используя доступную документацию;
• отличное знание SQL: сложные запросы с использованием аналитических оконных функций, инструменты профилирования для оптимизации их производительности;
• опыт работы с БД Oracle, Postgres, Greenplum;
• опыт работы с инструментами разработки, планирования и мониторинга рабочих процессов (workflow engines) пакетной обработки данных Airflow;
• опыт разработки сложных, высоконагруженных приложений обработки данных на основе PySpark;
• опыт работы с Apache Kafka: продюсеры/консьюмеры на Python, consumer groups;
• опыт разработки сервисов потоковой обработки данных с использованием инструментов Spark Structured Streaming, Flink;
• опыт работы с Flink.

Что мы предлагаем?

• Хорошая зарплата: уровень обсуждается индивидуально, есть доплаты за менторство и профактивности.

• Развитие: долгосрочные проекты от российских заказчиков, возможность менять направления, прозрачная система Performance Review.

• Комфорт и свобода: релокейт между офисами, выбор формата работы (удалённо, офис, гибрид), адаптация для новых сотрудников.

• Обучение: доступ к корпоративному порталу, митапам, конференциям (и как гость, и как спикер).

• Социальный пакет: ДМС со стоматологией, частичная компенсация спорта, бесплатный английский, оплачиваемый отпуск и больничные.

• Корпоративная жизнь: тимбилдинги, детские праздники, внутренние мероприятия.

Наши офисы:

• Москва (ул. Вильгельма Пика, 11, БЦ «Ботаника», 13 эт., оф. 1310),

• Санкт-Петербург (Владимирский проспект, д. 23, 8 этаж),

• Казань (Н. Ершова, 76/1),

• Нижний Новгород (ул. Новая, 28, коворкинг "VMESTE").

• Ищем ведущего инженера, который возьмёт на себя действующую информационно-аналитическую систему AI SilkNet: сопровождение, перевод с Laravel на микросервисы Go, размещение на государственной облачной платформе QazTech и развитие новых модулей. Важно не только создавать новое, но и разобраться в уже созданной системе и аккуратно её развивать.

  Обязанности

  • Сопровождать действующую систему (Laravel, PHP, PostgreSQL) и обеспечивать её стабильную работу.

  • Завершить перевод системы на микросервисы Go: сверка поведения со старой версией, перенос данных, документирование.

  • Проектировать архитектуру, базы данных и модели данных; разрабатывать REST API.

  • Строить ETL/ELT-процессы: загрузка, очистка, нормализация, сопоставление и регулярное обновление научных, патентных и статистических данных.

  • Встраивать новые модули: патентная аналитика, AI-ассистент (совместно с AI/ML-инженером), кластеры KISTI, региональная аналитика.

  • Дорабатывать веб-интерфейс и аналитические дашборды.

  • Разместить систему на QazTech: контейнеризация, Kubernetes, CI/CD, DevSecOps, мониторинг, резервное копирование; подготовить документы для испытаний по ИБ и ввода в эксплуатацию; взаимодействовать с АО «НИТ».

• Ключевые требования

  • Опыт разработки и развития информационно-аналитических систем и web-приложений от 6 лет.

  • Уверенное владение Go и Python; современные backend-фреймворки.

  • Опыт работы с PHP/Laravel на уровне чтения и сопровождения чужого кода.

  • Уверенное владение SQL, PostgreSQL на глубоком уровне (схемы, индексы, производительность, миграции и репликация).

  • Опыт проектирования архитектуры приложений, баз данных и моделей данных; опыт миграции монолита в микросервисы.

  • Опыт разработки REST API и интеграции внешних информационных систем и источников данных.

  • Опыт построения процессов ETL/ELT и работы с большими и разнородными массивами структурированных и неструктурированных данных.

  • Понимание принципов полнотекстового и семантического поиска.

  • Docker, Kubernetes, Git, CI/CD в промышленной эксплуатации.

  • Опыт frontend-разработки на React / Next.js / TypeScript либо способность дорабатывать существующий web-интерфейс; навыки разработки дашбордов и визуализации данных.

  • Способность анализировать существующий код и архитектуру, документировать решения и развивать ранее созданную систему, а не только создавать продукт с нуля.