AI Engineer (LLM focus) (Python, FastAPI)

Центр ИИ Блока «Строительство» разрабатывает автономных агентов для автоматизации ключевых бизнес-процессов — от обработки тендерной документации до контроля графиков производства работ и управления поставками.

В данный момент находимся в поиске разработчика ИИ-агентов под расширение команды

• Разработка высокодоступных сервисов для управления диалогами, планирования (planning), вызова инструментов (function calling) и multi-agent взаимодействия;

• Написание чистого, тестируемого и поддерживаемого кода на Python; ревью кода коллег и поддержание инженерных стандартов;

• Интеграция с LLM и внешними системами: подключение моделей (OpenAI, Anthropic, локальные), корпоративных API, CRM/ERP, баз данных и документооборота с обеспечением безопасности и обработки ошибок;

• RAG и память агентов: построение retrieval-пайплайнов, управление краткосрочной и долгосрочной памятью, работа с векторными БД и кэшем;

• Проектирование REST/gRPC-эндпоинтов, документирование (OpenAPI), обеспечение контрактов для фронтенда и смежных сервисов;

• Реализация очередей, воркеров и фоновых задач для длительных LLM-операций (генерация, парсинг, эмбеддинги);

• Оптимизация производительности и стоимости: профилирование, кэширование, батчинг запросов, снижение latency и затрат на токены;

• Настройка логирования, трейсинга LLM-вызовов, алертов и дашбордов, анализ инцидентов;

• Написание тестов, внедрение guardrails, валидация ответов моделей, защита от prompt injection;

• Ведение архитектурной документации, ADR, гайдов для команды;

• Участие в продуктовом процессе: совместно с продуктами и ML-инженерами уточнение требований, оценка сроков, итеративная поставка фич.

• Опыт разработки на Python: от 3 лет в коммерческой разработке, включая проектирование высоконагруженных и отказоустойчивых сервисов;

• Глубокое знание FastAPI, Django или Litestar; понимание внутреннего устройства ASGI/WSGI, middleware, DI, обработки ошибок и валидации;

• Уверенное владение asyncio, httpx, aiohttp, anyio; понимание GIL, многопроцессности, пулов соединений и backpressure;

• Опыт проектирования и оптимизации схем в PostgreSQL (индексы, EXPLAIN, партиционирование), опыт работы с Redis, MongoDB и другими NoSQL;

• Практический опыт работы с OpenAI, Anthropic, Cohere, Mistral, локальными моделями (vLLM, Ollama, TGI); понимание streaming, tool/function calling, structured output, retry-политик и rate limiting;

• Опыт построения агентных систем – ReAct, Plan-and-Execute, multi-agent orchestration, работа с фреймворками LangChain, LlamaIndex, LangGraph, AutoGen, CrewAI или собственные реализации;

• Опыт работы с Qdrant, Milvus, Weaviate, Pinecone, pgvector; понимание чанкинга, эмбеддингов, гибридного поиска, reranking;

• Уверенная работа с Kafka, RabbitMQ, NATS или Redis Streams для асинхронной обработки задач агентов;

• Опыт с Docker, Kubernetes (деплой, HPA, secrets, probes), понимание принципов service mesh и работы с ingress;

• Опыт настройки Prometheus, Grafana, OpenTelemetry, Langfuse или LangSmith для трейсинга LLM-вызовов;

• Построение пайплайнов (GitHub Actions, GitLab CI, ArgoCD), понимание blue/green и canary-деплоя;

• Опыт написания юнит-, интеграционных и e2e-тестов (pytest, testcontainers); понимание TDD/BDD;

• Английский язык: (Upper-Intermediate+).

• Гибридный формат работы (современный офис в Москве в пешей доступности от метро Кутузовская);

• Льготные ипотечные условия кредитования;

• Подписка Прайм с возможностью совместного использования на трёх близких ;

• ДМС с первого дня и скидки на страхование для близких;

• Корпоративная пенсионная программа;

• Детский отдых и подарки за счет Компании;

• Обучение за счет Компании: онлайн курсы, неограниченный доступ к библиотеке и обучение на базе Корпоративного университета, тренинги, митапы и возможность получить новую квалификацию.

Мы формируем ядро команды, которая создает с нуля экосистему интеллектуальных агентов для автоматизации бизнес-процессов. Нам нужен универсальный специалист, способный вести фичи от проектирования базы данных до реализации сложного интерактивного интерфейса.

Наша цель - разработка готовых решений «под ключ». Вы будете работать на стыке бэкенда, машинного обучения и фронтенда, напрямую влияя на то, как тысячи сотрудников банка взаимодействуют с новыми инструментами оптимизации.

Обязанности

В твои задачи будет входить:

• end-to-end разработка компонентов
• прототипирование агентов
• интеграция ML-моделей в приложение
• техническая поддержка
• быстрые фиксы.

Требования

От кандидата мы ожидаем:

• образование высшее
• опыт коммерческой fullstack-разработки от 4 лет
• уверенное владение Python, опыт работы с классическими фреймворками (FastAPI, Django или Flask).
• глубокое понимание PostgreSQL (индексы, оптимизация запросов, транзакции)
• сильные знания нативного JavaScript (обязательно) и современного TypeScript, опыт работы с одним из популярных фреймворков (React, Vue.js или Angular)
• практический опыт интеграции с внешними сервисами по API (REST, gRPC) и навыки проектирования собственных эндпоинтов
• понимание принципов UI/UX для создания удобных внутренних инструментов.

Будет большим плюсом:

• опыт создания AI-агентов и использования их в работе
• опыт работы с PyTorch, TensorFlow или другими библиотеками ML (как минимум - умение интегрировать модели в продакшен
• опыт работы в банковской сфере, финтехе или крупных энтерпрайз-проектах
• знание Docker, Kubernetes и основ инфраструктуры для деплоя fullstack-приложений.

Условия

Мы предлагаем:

• офис по адресу ш Варшавское (Бизнес-центр Чайка Плаза)
• гибридный формат работы
• ежегодный пересмотр зарплаты
• корпоративный спортзал и зоны отдыха
• более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
• программа адаптации и помощь руководителя на старте (для Junior позиций)
• расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
• гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
• подписка СберПрайм с возможностью совместного использования на трёх близких
• вознаграждение за рекомендацию друзей в команду Сбера.

Halyk Банк – это мощная экосистема, где технологии сочетаются с ценностями.
Мы гордимся более чем 14 000 работниками, которые делают нас лучшим местом работы. Мы предоставляем услуги во всех сегментах финансового рынка: банковском, страховом, лизинговом и т.д.
Мы стремимся стать ведущим цифровым банком, внедряя инновации и предоставляя возможности для роста и развития.
Мы ищем талантливых специалистов, готовых развиваться вместе с нами!

Обязанности:

• Разработка и внедрение LLM/VLM-решений для бизнес-задач компании;
• Проектирование и построение RAG-пайплайнов для работы с корпоративными данными Разработка и оптимизация мульти-агентных систем на базе LangGraph и LangChain Настройка и обслуживание инференс-серверов (vLLM, TGI, TensorRT-LLM) Fine-tuning моделей (LoRA, QLoRA, RLHF, DPO) под специфические задачи;
• Разработка REST API на FastAPI для интеграции ML-сервисов в продукт;
• Контейнеризация и деплой ML-сервисов с помощью Docker и Kubernetes;
• Оптимизация производительности моделей: квантизация, батчинг, управление GPU-памятью;
• Проектирование и поддержка векторных баз данных для хранения эмбеддингов;
• Написание и поддержка автоматических тестов для ML-пайплайнов;
• Мониторинг качества моделей в продакшене (LangSmith, OpenTelemetry);
• Проведение бенчмарков и A/B-тестов для сравнения моделей и подходов;
• Работа с GPU-инфраструктурой: настройка multi-GPU, распределённое обучение
• Подготовка и очистка данных для обучения и оценки моделей;
• Исследование и внедрение новых моделей, техник и фреймворков;
• Написание технической документации и ADR (Architecture Decision Records);
• Участие в код-ревью и менторинг младших специалистов;
• Взаимодействие с продуктовой командой для определения требований и приоритетов;
• Оптимизация стоимости облачной GPU-инфраструктуры;
• Обеспечение безопасности и надёжности ML-сервисов в продакшене.

Требования:

• Python;
• Python 3.10+ (async/await, type hints, dataclasses). SOLID, Clean Architecture, DI. pytest + mocks, Ruff/Black/MyPy, Poetry/uv, Git & CI/CD;
• LLM / VLM
• Transformer (attention, KV-cache).
  Модели: GPT-4, LLaMA 3, Mistral, Qwen, LLaVA, GPT-4o.
  Fine-tuning: LoRA/QLoRA, PEFT, RLHF, DPO.
  Prompting: CoT, ReAct, Few-shot. Evaluation: LLM-as-judge, perplexity. Tokenization (tiktoken);
• LangChain & LangGraph
  LangChain (LCEL, Agents, Tools, Memory), LangGraph (multi-agent graphs), RAG-пайплайны, Vector DB (Chroma, Pinecone, Qdrant, pgvector), LangSmith;
• Инференс
  vLLM (PagedAttention, continuous batching), Quantization (GPTQ, AWQ, GGUF), Serving (vLLM, TGI, TensorRT-LLM), OpenAI-compatible API.
  PyTorch & DL
  PyTorch, Hugging Face (Transformers, PEFT, TRL), Distributed (DDP, FSDP, DeepSpeed), BF16/FP16.
  GPU & Инфраструктура
  NVIDIA (H100, A100, RTX 4090), multi-GPU parallelism, Cloud (AWS/GCP/RunPod), мониторинг nvidia-smi;
• Backend
  FastAPI, Pydantic v2, async (asyncio, httpx), WebSockets/SSE, JWT.
  DevOps
  Docker (GPU), Docker Compose, Kubernetes basics, GitHub Actions, Prometheus/Grafana;
• Хранилища
  PostgreSQL + pgvector, Redis, S3, Vector DBs, Kafka/RabbitMQ.
  Nice to Have
  CrewAI, AutoGen, MLflow/W&B, Airflow, Streamlit/Gradio.
• Уровни опыта:
  Junior: Python, PyTorch, LangChain, Docker
  Middle: Fine-tuning, RAG, vLLM, FastAPI, LangGraph
  Senior: Архитектура, distributed training, MLOps
  Lead: Стратегия, оптимизация затрат, лидерство
  Soft Skills: Аналитическое мышление, техническая коммуникация, быстрое обучение, English B2+, Agile.

Условия:

• Заработная плата и бонусы: конкурентоспособная оплата труда благодаря системе грейдирования, премии ко Дню Независимости и годовой бонус.
• Социальный пакет: ДМС и страхование жизни, мобильная связь и скидки от партнеров.
• Отпуск и отдых: 26 дней отпуска с возможностью взять дополнительные дни при наступлении важных событий.
• Бонусы за рекомендации.
• Рабочие условия: льготные условия на паркинг, свободный стиль одежды (smart casual).
• Обучение и развитие: тренинги, вебинары и доступ к корпоративной библиотеке, четкая система карьерного роста.
• Корпоративная культура: открытая и дружеская рабочая атмосфера, спортивные турниры и активная корпоративная жизнь.
• Инициативы и проекты: возможность участия в социальных проектах, реализация идей в новых проектах группы «Halyk» с использованием современных digital-инструментов.
• Команда: творческая и поддерживающая команда для реализации ваших идей.
• Присоединяйтесь к нам и становитесь частью команды «Halyk»!