
Мы ищем ведущего специалиста , который присоединится к контролю качества AI-решений банка. Вы будете помогать проверять, чтобы модели и AI-агенты работали надёжно и соответствовали бизнес-, техническим и регуляторным требованиям.Это гибрид…
банк центркредит На сервисе с: 07.10.26 14:42
Мы ищем ведущего специалиста, который присоединится к контролю качества AI-решений банка. Вы будете помогать проверять, чтобы модели и AI-агенты работали надёжно и соответствовали бизнес-, техническим и регуляторным требованиям.Это гибридная роль: с одной стороны — тестирование AI-решений, с другой — разбор отдельных частей проектов как системный аналитик. Вы будете работать с ключевыми процессами банка и взаимодействовать с разработчиками и стейкхолдерами под руководством наставника.
Вам предстоит:
Участвовать в разработке и поддержке стандартов тестирования LLM и AI-агентов.
Помогать строить pipeline оценки LLM-систем: LLM-as-judge, детекция галлюцинаций и PII-утечек, контроль формата ответов.
Готовить заключения о готовности проекта к промышленной эксплуатации под руководством наставника.
Участвовать во внедрении мониторинга искажения данных и моделей, готовить документацию (Model Card).
Проводить red-team и adversarial-тестирование AI-агентов и AI-based систем.
Настраивать регрессионное тестирование промптов и пайплайнов при обновлении моделей.
Участвовать в проектировании архитектуры end-to-end AI-пайплайнов и QA-инструментов с точки зрения тестируемости.
Участвовать в технической экспертизе моделей при согласовании с риск подразделением.
Мы ожидаем, что у вас есть:
Базовое понимание тестирования и обеспечения качества AI/ML-решений (LLM, AI-агенты, пайплайны).
Понимание специфики QA для LLM: оценка качества генерации, галлюцинации, PII-утечки, контроль формата.
Базовые навыки системного анализа: умение разобрать проект на части и описать требования.
Знакомство с red-team / adversarial-тестированием.
Понимание принципов мониторинга данных и моделей.
Готовность работать с регуляторными и риск-требованиями.
Желание учиться и развиваться в направлении QA AI-проектов.
HireSeeker собирает вакансии со всех площадок и присылает только релевантные. Бесплатно.