Senior NLP/LLM Engineer (Copilot) (Python, FastAPI)

Обязанности:

Ищем AI/ML-инженера, который создаст AI SilkNet ассистента и модели для анализа научных статей, отчётов по проектам и патентов: семантический поиск, RAG, классификация и кластеризация текстов, выявление трендов и слабых сигналов. Модели встраиваются в платформу через API и работают только внутри защищённого контура , внешние API (OpenAI, Anthropic и др.) не используются.

Обязанности

• Разрабатывать AI-ассистента на основе RAG с проверяемыми ответами по первичным источникам.

• Разворачивать открытые LLM и модели эмбеддингов на серверах внутри контура.

• Строить семантический поиск, классификацию и кластеризацию больших текстовых массивов (статьи, отчёты, патенты), в т.ч. по кластерам KISTI.

• Извлекать из текстов сущности и связи; выявлять тематические кластеры, тренды, аномалии и слабые сигналы.

• Тестировать и валидировать модели: тестовые выборки, метрики качества, проверка на «галлюцинации».

• Интегрировать модели с backend через API (Python, FastAPI, Docker) совместно с backend-командой на Go.

• Документировать модели, методы, показатели качества и ограничения.

Требования:

Ключевые требования

• Уверенное владение Python.

• Практический опыт разработки и применения моделей Machine Learning / NLP.

• Опыт работы с PyTorch, Hugging Face или сопоставимыми ML-инструментами.

• Практический опыт применения LLM и интеграции языковых моделей в информационные системы.

• Опыт запуска открытых LLM на собственных серверах (vLLM, Ollama, llama.cpp или аналоги) без использования внешних API.

• Опыт работы с embeddings, vector search и RAG.

• Знание методов тематической классификации и кластеризации больших текстовых массивов; понимание topic modelling.

• Опыт семантического анализа текстов, similarity search, извлечения сущностей и связей.

• Опыт обработки текстов на русском языке; извлечение текста и таблиц из PDF и DOCX.

• Навыки анализа динамики данных, выявления трендов, аномалий и слабых сигналов.

• Опыт разработки и оценки AI/ML-моделей: тестовые выборки, метрики качества, валидация результатов.

• Понимание проблемы hallucinations LLM и методов обеспечения проверяемости AI-выводов по первичным источникам.

• Опыт интеграции ML/AI-моделей с backend/API; Git, Docker.

• Способность документировать модели, методы, показатели качества и ограничения.

Условия:

• Официальное оформление по ТК РК, стабильная заработная плата, выплата пособия на оздоровление к ежегодному трудовому отпуску (1 раз в год)

Мы ищем опытного ML/NLP разработчика для работы над сложной диалоговой системой и голосовым пайплайном. Вашей главной задачей станет эволюция нашего продукта: поэтапный переход от классических графовых сценариев к современному LLM-based диалогу, а также глубокая оптимизация речевого стека (ASR/TTS) под low-latency.

Чем предстоит заниматься:

• Развитие диалогового движка: Поэтапный перевод системы с графа сценариев и скиллов на управляемый LLM-based диалог.

• Траблшутинг и дебаг: Работа с голосовым пайплайном — поиск и устранение причин high latency, галлюцинаций LLM, проблем с передачей аудио и графовых ошибок.

• Архитектура: Оперативное принятие архитектурных решений и их самостоятельная реализация в коде.

• Работа с NLP-стеком:

  • Поддержка и быстрая отладка few-shot классификации сценариев (на базе Qwen) и классификаторов на BERT.

  • Учёт краевых случаев, исправление ошибочных срабатываний интентов.

  • Finetuning локальных LLM для специфических задач (извлечение сущностей, строгое следование инструкциям).

• Работа с речевым стеком:

  • Интеграция и поддержка ASR (на базе GigaAMv2), отладка качества распознавания, работы VAD и стриминга текста.

  • Дообучение и настройка инференса собственных и open-source TTS, а также систем клонирования голоса для достижения идеального звучания и высокой скорости работы.

Наши ожидания (Hard Skills):

• NLP и LLM:

  • Уверенный опыт работы с LLM/SLM (Few-shot learning, Prompt engineering) и BERT.

  • Практический опыт finetuning LLM (PEFT, LoRA/QLoRA) под узкие прикладные задачи.

  • Уверенный дебаг LLM: умение быстро понять причину некорректного ответа и исправить её промптом, гиперпараметрами или дообучением.

• Голосовой стек: Опыт дообучения и оптимизации TTS-моделей; опыт работы и интеграции современных ASR-систем.

• Диалоговые системы: Опыт работы как с графовыми/сценарийными движками, так и с LLM-агентами. Высокая скорость диагностики проблем в инференсе.

• Backend и Оптимизация (Python + Go):

  • Уверенное владение Python (PyTorch, HuggingFace, фреймворки инференса).

  • Опыт оптимизации инференса под low-latency (vLLM, TensorRT-LLM, Triton Inference Server, ONNX Runtime).

  • Практика работы с потоковым аудио в реальном времени (streaming ASR/TTS, gRPC-контракты).

• GoLang:

  • Понимание дизайна сервисов и принципов SOLID, DRY, KISS.

  • Знание базовых типов (строки, числа, слайсы, мапы) и работы с указателями.

  • Уверенная работа с примитивами синхронизации и конкурентностью (горутины, каналы).

  • Понимание принципов Observability.

Будет плюсом:

• Опыт работы с gRPC.

• Умение настраивать инфраструктуру, опыт работы с k8s/inventory.

• Глубокое понимание принципов работы TCP.