Тестировщик (КомандА разработки AI-Консультанта)

Мы разрабатываем AI-агента который помогает пользователям подобрать и оформить пособия и льготы согласно своей жизненной ситуации и возможностей предусмотренных законодательством

• проверка точности и релевантности ответов: Придумывать и проводить сценарии диалога, имитирующие самые разные жизненные ситуации пользователей (молодые родители, пенсионеры, люди с инвалидностью и т.д.).

• тестирование промтов и логики диалога: Проверять, как ассистент реагирует на уточняющие вопросы, неправильные или эмоционально окрашенные реплики, меняет ли тему и сохраняет контекст разговора.

• поиск кейсов, где модель «галлюцинирует»: Выявлять случаи, когда AI выдает неправдивую или выдуманную информацию о льготах.

• тестирование интеграций: Проверять работу всего контура системы: от интерфейса чата до корректности подключения базы знаний о льготах.

• работа с требованиями: Участвовать в составлении и проверке сценариев диалога (user journeys), предлагать улучшения с точки зрения пользователя.

• тесное взаимодействие с разработчиками и продукт-менеджерами для улучшения продукта.

• разработка заглушек и скриптов автоматизированного тестировании.

• контроль за соблюдением требований релизной политики и ведение необходимых артефактов тестирования

• определение приоритетных для автоматизации сценариев и их адаптации под автоматизацию.

• опыт в сфере тестирования не менее 2-х лет

• опыт разработки автотестов от 1 года

• опыт написания prompt-ов для LLM (в т.ч. и для целей тестирования)

• Базовое понимание, как работают LLM (большие языковые модели типа ChatGPT) и что такое «галлюцинации»

• навыки коммуникации: Умение четко и ясно описать проблему так, чтобы ее поняли и разработчик, и дизайнер

• опыт использования инструментов API тестирования

• опыт работы и анализа XML\HTML\XSD\JSON схема\кода

• опыт использования в работе протоколов и инструментов REST/Apache Kafka.

• понимание жизненного цикла разработки ПО

• знание языка Java/Python на уровне Middle (коллекции (структуры данных)); исключения; ООП; умение использовать функциональные интерфейсы)

• знание основных паттернов проектирования программного обеспечения и умение применять их на практике

• стабильный оклад и премии по результатам работы, ежегодный пересмотр зарплаты

• корпоративный спортзал и зоны отдыха

• уникальная система обучения Сбера для профессионального и карьерного развития

• программа адаптации и помощь руководителя на старте

• расширенный ДМС и льготное страхование семьи

• гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ

• бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров

• вознаграждение за рекомендацию друзей в команду Сбера

• корпоративная пенсионная программа