AI инженер (команда LLM Evals) (Python)
Мы в hh создаем продукты и AI-ассистентов для работодателей и соискателей на базе генеративных технологий. Уже сейчас мы используем LLM-модели для генерации текстов, ведения диалогов, классификации и анализа вакансий и резюме. Направление…
headhunter::департамент персонала · На сервисе с: 25.09.26 15:34
Мы в hh создаем продукты и AI-ассистентов для работодателей и соискателей на базе генеративных технологий. Уже сейчас мы используем LLM-модели для генерации текстов, ведения диалогов, классификации и анализа вакансий и резюме. Направление активно развивается, и сейчас мы ищем LLM/Prompt-инженера, который поможет нам создавать, тестировать внедрять GenAI-решения.
Если вам интересно развивать продукты на базе LLM — через промпты, дизайн llm-пайплайнов и системный подход к оценке качества, если вы готовы не только создавать прототипы, но и улучшать их в продакшене на основе обратной связи и метрик — мы будем рады видеть вас в нашей команде.
Чем предстоит заниматься:
- Разрабатывать, тестировать и внедрять совместно с командой разработки решения на базе LLM;
- Настраивать поведение моделей — экспериментировать с промптами (CoT, Tree-of-thoughts, few-shot, structured outputs, tool calling, etc), контекстом, параметрами моделей и архитектурой llm-пайплайнов (один промпт, цепочка промптов, агенты, RAG и пр.);
- Тестировать и оценивать качество работы llm-решений на всех этапах — собирать актуализировать golden-сеты, валидационные выборки, настраивать llm-as-a-judge, развивать подходы автоматической оценки работы llm-фичей, создавать метрики и бенчмарки;
- Анализировать логи, трейсы и фидбек по реальной работе ассистентов в продакшене и улучшать их качество на основе найденных инсайтов.
Требования:
- Практический опыт создания решений на базе LLM (prompt engineering, RAG, function calling, structured outputs, reasoning, agents);
- Понимание теории ML, глубокого обучения, современных подходов к NLP;
- Сильный Python, опыт работы с аналитическими инструментами и ML-библиотеками;
- Опыт с SQL, навыки работы с данными, умение собрать датасет и провести аналитику;
- Живой интерес к сфере GenAI, опыт работы с популярными вендорными и open-source моделями (Qwen, Llama, DeepSeek, GPT-OSS);
- Опыт с фреймворками оркестрации llm (langgraph, langchain или аналоги);
- Понимание методов оценки качества LLM (бенчмарки, human eval, LLM-as-as-Judge) и метрик для различных NLP-задач;
- Продуктовое мышление - смотреть на задачи через призму “помочь конечному пользователю”, участвовать в брейнштормах и приносить новые идеи.
Будет плюсом:
- Практический опыт файнтюнинга различных LLM под продуктовые задачи (SFT, PEFT, RLHF, LoRA, PPO, DPO, GRPO);
- Опыт внедрения LLM решений в продакшн.
Условия:
-
Возможность выбора места работы: удаленно или из офиса;
-
Гибкий график рабочего дня;
-
Оформление в соответствии с ТК РФ;
-
Корпоративное ДМС с первого месяца работы (решаем вопросы со здоровьем быстро и удобно);
-
Возможность профессионального развития, обучение за счет компании, участие в специализированных конференциях.
Похожие вакансии AI инженер
Чем предстоит заниматься:
- Создавать и развивать AI-ассистентов для разработки и аналитики: кодовые AI ассистенты для автоматизации разработки, помощник аналитика для ускорения экспериментов с использованием LLM.
- Проектировать архитектуру агентских решений и их интеграцию с платформой: определять, что остаётся доменной логикой, а что становится переиспользуемым компонентом платформы.
- Совместно с командой MLOps формировать требования к платформенным примитивам (Embedding Service, Vector Store, Retrieval/Search API) и внедрять их в пайплайны ассистентов.
- Проектировать и развивать систему оценки агентов: разрабатывать метрики, строить симуляции, изолированные и верифицируемые среды оценки.
- Вести полный цикл разработки: от ресёрча и MVP до поддержки и развития решения – с анализом ошибок и фидбека пользователей.
- Исследовать новые подходы в разработке AI-агентов: harness-среда агента, память, компактизация контекста.
Мы ожидаем:
- Опыт промышленной ML-разработки от 5 лет, опыт с LLM от 3 лет.
- Опыт разработки AI-агентов и понимание современных паттернов проектирования: память, планирование, циклы агента, tool use, structured output.
- Владение Python, способность системно писать код и доводить решения до продакшена.
- Ежедневное использование кодинг AI-ассистентов (Codex / Claude Code): понимание их внутреннего устройства, границ применимости, настроенный цикл разработки.
- Опыт разработки RAG-систем: retrieval, чанкование, sparse / dense / hybrid поиск, reranking, agentic retrieval.
- Понимание основ ML/DL и NLP: метрики качества, embeddings, устройство трансформеров, инференс LLM.
- Знание алгоритмов и структур данных, опыт работы со стеком (FastAPI, Docker, Redis, Postgres, Airflow, vLLM).
Мы предлагаем:
- ДМС со стоматологией, телемедициной и программой поддержки ментального здоровья;
- Страхование жизни;
- Ежемесячные промокоды на Lamoda: два по 25%, два по 15% и в день рождения — 40%;
- Программа привилегий и скидок от BestBenefits;
- До 15 дней больничного в год оплачиваем в размере 100% от действующего оклада;
- Бесплатные юридические консультации;
- Дополнительные выходные в случае важных событий;
- Яркие мероприятия и много неформального общения.
Развитие для каждого:
- Опытный наставник для каждого новичка;
- Обучение и участие во внешних конференциях;
- Помогаем развивать личный бренд, выступать на конференциях и писать статьи;
- Performance Review дважды в год, чтобы развиваться системно;
- Проводим митапы и demo-дни для обмена знаниями;
- Погружаем в fashion и каждый сезон знакомим с модными трендами.
HireSeeker собирает вакансии со всех площадок и присылает только релевантные. Бесплатно.