software country (тоо балхаш системс)

Data Engineer / ETL Developer (Cheminformatics) (Python)

We have 30 years of expertise in designing and building custom software systems. We provide software development services focusing on complex high-load applications, AI and BI solutions, and mobile apps.

software country (тоо балхаш системс)

Зарплата не указанаГрузияТбилисиУдалёнка

We have 30 years of expertise in designing and building custom software systems. We provide software development services focusing on complex high-load applications, AI and BI solutions, and mobile apps.

Automating the design of chemical compounds has the potential to significantly accelerate the discovery and development of new medicines. This emerging field brings together artificial intelligence, machine learning, and established computational technologies to transform how drug discovery is approached.

We are looking for a Data Engineer / ETL Developer to build and maintain reliable, scalable data pipelines supporting AI-driven drug discovery and computational research.

In this role, you will develop Python-based data processing solutions, orchestrate workflows using Apache Airflow, and use Docker to ensure consistent and reproducible execution environments. You will collaborate with engineering and scientific teams to improve data processing workflows and integrate computational tools and data sources.

Key Responsibilities

  • Design, develop, and maintain ETL/ELT pipelines using Python to process and transform data efficiently and reliably.

  • Build and manage automated workflows using Apache Airflow, including scheduling, dependency management, monitoring, and error handling.

  • Develop and maintain Docker-based environments to ensure consistent execution of data processing tasks.

  • Integrate data sources, APIs, and computational tools into automated workflows.

  • Improve pipeline reliability, scalability, and maintainability through testing, logging, and performance optimization.

  • Collaborate with engineering and scientific teams to support data-driven research and AI-powered applications.

Requirements

  • Strong Python programming skills and experience developing data processing or automation solutions.

  • Hands-on experience with Apache Airflow or similar workflow orchestration tools.

  • Practical experience with Docker and containerized applications.

  • Hands-on experience with PostgreSQL and/or Snowflake.

  • Understanding of ETL/ELT processes, data integration, and workflow automation.

  • Ability to troubleshoot pipeline failures and build reliable, maintainable solutions.

Nice to Have

  • Experience with other workflow orchestration or workflow management tools.

  • Familiarity with AWS cloud services.

  • Experience with API design and integration.

  • Knowledge of Kubernetes and GitOps practices.

  • Experience developing AI-driven applications.

  • Background in life sciences, computational chemistry, bioinformatics, or drug discovery.

Our offer as your future employer

  • Collaboration via a B2B contract with payments in USD or EUR, depending on your preference, or through a labor contract
  • Flexible work schedule.
  • Possibility to work remotely
  • Opportunities for professional growth.
  • A company laptop to ensure a comfortable and efficient work setup.​​​​​

Похожие вакансии Data Engineer

hh.ru
медиалогия

DataOps инженер

медиалогияАвтоподнятие
Зарплата не указанаРоссияМоскваУдалёнка

Медиалогия занимается разработкой продуктов по сбору и анализу данных из СМИ и соцмедиа.

Мы разрабатываем высоконагруженные системы, которые в режиме реального времени сканируют весь текстовый сегмент Интернета (100+ млн. сообщений в сутки, 1.7 млрд. метрик) и, используя уникальные лингвистические технологии, позволяют осуществлять мгновенный анализ упоминаний наших клиентов в социальных сетях, блогах, форумах и управлять их репутацией.


Обязанности:

  • обеспечивать полный цикл жизни реляционных (PostgreSQL, MySQL) и колоночных (Clickhouse) баз данных: от установки до тюнинга и масштабирования;
  • проектировать и поддерживать отказоустойчивые кластеры брокеров сообщений (Kafka, RabbitMQ) под высокие нагрузки;
  • управлять инфраструктурой BigData и системами потоковой обработки (Hadoop, NiFi, AirFlow), оптимизировать их производительность;
  • настраивать и поддерживать системы кэширования и поиска (Redis, Elasticsearch);
  • управлять S3-совместимым объектным хранилищем (MinIO), обеспечивать георезервирование и консистентность данных;
  • настраивать надежные системы резервного копирования (бэкапы, PITR) и регулярно проверять планы аварийного восстановления (DR);
  • выступать «куратором» 1-2 проектов: погружаться в бизнес-логику, помогать разработчикам с профилированием сложных запросов и проектированием схем данных.


Наш стэк:

  • базы данных: PostgreSQL, MySQL, Clickhouse;
  • очереди и брокеры: Kafka, RabbitMQ;
  • bigdata & ETL: Hadoop, Apache NiFi, Airflow;
  • смежные системы: Redis, Elasticsearch, MinIO.

Требования:

  • глубокое понимание внутреннего устройства реляционных БД (особенно PostgreSQL или MySQL): механизмы блокировок, индексы, репликация (streaming, logical);
  • реальный опыт эксплуатации Apache Kafka в Production (настройка партиций, retention, решение проблем с лагом консьюмеров);
  • опыт работы с Clickhouse (шардирование, репликация, движки таблиц);
  • уверенное администрирование Linux (настройка ядра, дисковой подсистемы, сети под высокие нагрузки баз данных);
  • опыт настройки высокодоступных (HA) конфигураций для БД (Patroni, PXC и т.д.).


Будет плюсом:

  • опыт эксплуатации стека Hadoop (HDFS, YARN) и инструментов ETL (Apache NiFi);
  • навыки работы с Elasticsearch (управление индексами, ILM, масштабирование кластера);
  • опыт деплоя стейтфул-приложений (баз данных, очередей) внутри Kubernetes с использованием Operators;
  • навыки написания Ansible-ролей для автоматизации раскатки БД;
  • умение писать скрипты на Python или Bash для автоматизации рутинных задач DBA.

Условия:

  • удаленный или гибридный формат работы;
  • заработная плата обсуждается по итогам собеседования с успешным кандидатом;
  • ДМС после испытательного срока;
  • специальные условия для сотрудников на страхование для членов семьи;
  • скидки в компаниях-партнерах (фитнес-центры, обучающие курсы, изучение иностранных языков и многое другое);
  • бесплатное онлайн-обучение на корпоративном портале и корпоративная;
  • офис в пешей доступности от ст. м. Дмитровская (БЦ «Савеловский Сити»).
Другие площадки
СБЕР

Data engineer в команду GigaChat (TTS)

СБЕРАвтоподнятие
300k–800k ₽РоссияМоскваОфис

Наша команда отвечает за качество моделей TTS в GigaChat — той части нейросети, которая занимается звуком. Сейчас мы ищем ребят, которые будут работать над базовым качеством, мультимодальным Гигачатом и другими классными проектами.

Первый этап отбора на эту вакансию — общение с AI-рекрутером. После отклика вам на почту и в чат на платформе HeadHunter придет приглашение пройти первичное интервью с ГигаРекрутером в Telegram. Диалог займёт примерно 10 минут. Его задача — уточнить недостающие детали и ускорить рассмотрение вашей кандидатуры. ГигаРекрутер только начинает свой путь, поэтому просим относиться с пониманием. Ваш опыт и участие помогут сделать его удобным и полезным!

Обязанности

  • Писать пайплайны обработки аудио/видео данных.
  • Хотим обрабатывать десятки тысяч часов в день на кластере.
  • Инферить опенсорсные и внутренние модели на ГПУ (денойзер, распознавание, тулы для оценки качества аудио).
  • Поддержка сетевого хранилища данных.

Требования

  • Python и алгоритмы на хорошем уровне.
  • Опыт с multithreading и multiprocess.
  • Опыт обучения и/или инференса тяжёлых моделей на нескольких ГПУ.
  • S3, DVC, Git.

Условия

  • Гибридный или удалённый формат работы.
  • Ежегодный пересмотр зарплаты и годовая премия.
  • Корпоративный спортзал и зоны отдыха.
  • Более 400 образовательных программ СберУниверситета для профессионального и карьерного развития.
  • Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа.
  • Гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ.
  • Бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров.
Эта вакансия также есть на:Сайт компании
Сайты компаний

Staff Data Engineer

Автоподнятие
Зарплата не указанаВеликобританияLondonГибрид
Текст:
Оригинал доступен только пользователям с подпиской

Location

London, United Kingdom; open to direct employment or contractor engagement.

About the company

A data platform company building jobs, skills and tasks intelligence for talent lifecycle management. Its solutions support recruitment, internal mobility, upskilling, workforce planning and diversity across large organizations, and the team is expanding native integrations and agentic AI capabilities.

Responsibilities

  • Set the long-term technical strategy and multi-quarter architecture for the data platform, sequencing delivery incrementally and building investment cases with engineering, product and design leadership.
  • Architect analytics, semantic and AI data layers, defining how business metrics, usage signals and skills intelligence are modelled, governed and exposed to BI, self-service and AI consumers.
  • Establish scalable architectural patterns, modelling conventions and data contracts that other teams adopt, and mentor senior engineers into stronger technical decision-makers.
  • Own platform reliability and trust, including observability, data quality, SLAs and incident response, leading root-cause analysis and systemic fixes for serious failures.

Requirements

  • Staff-level data engineering experience building and operating data platforms for internal and external consumers, with data warehousing, data lakes and real-time plus batch processing.
  • Proven ability to make hard tradeoffs in distributed, multi-tenant systems and to handle production issues under pressure, including tracing upstream failures to customer impact.
  • Experience leading cross-team initiatives without formal authority and making architectural decisions that others build on for years, while balancing modernisation against delivery risk.
  • Hands-on with dbt for large complex transformations, SQL and NoSQL schema design and multi-tenant isolation, Python backend engineering, streaming and CDC pipelines, data quality and observability practices, and Terraform and Kubernetes.

HireSeeker собирает вакансии со всех площадок и присылает только релевантные. Бесплатно.