QA-инженер (C#)

Мы разрабатываем AI-инструменты / LLM-платформу / автоматизацию на базе ИИ. Ищем QA-инженера, который будет отвечать за качество наших AI-продуктов: от классического функционального тестирования до оценки качества ответов LLM и устойчивости промптов.

Тестирование AI-систем отличается от классического: результат недетерминирован, «правильный ответ» не всегда один, а баг может проявляться в 1 случае из 20. Нам нужен человек, которому интересно работать именно с этой спецификой.

Чем предстоит заниматься:

• функциональное и регрессионное тестирование продуктов с LLM-компонентами (веб-интерфейсы, API, интеграции)
• разработка и поддержка наборов тестовых сценариев для оценки качества ответов моделей (evaluation datasets, golden sets)
• тестирование промптов: проверка устойчивости к перефразированию, edge-кейсам, инъекциям и джейлбрейкам
• оценка ответов LLM по критериям: точность, полнота, галлюцинации, соответствие формату (structured output / JSON schema)
• анализ недетерминированного поведения: воспроизведение плавающих дефектов, статистическая оценка стабильности
• автоматизация рутинных проверок на Python (pytest): smoke-тесты API, прогоны evaluation-сценариев, скрипты для массовой проверки ответов модели
• тестирование API-интеграций с LLM-провайдерами лимиты, ретраи, обработка ошибок, стриминг
• ведение тестовой документации, баг-репортов, участие в приёмке фич
• взаимодействие с разработчиками и ML-инженерами при разборе дефектов.

От кандидатов ждем:

• опыт в тестировании от 5 лет (ручное + автоматизация)
• практический опыт работы с AI-инструментами: ChatGPT, Claude, Copilot и аналоги — не на уровне «пробовал», а как рабочий инструмент
• понимание основ промпт-инжиниринга: структура промпта, few-shot, chain-of-thought, sdd, работа с системными промптами
• уверенное тестирование API (Postman / curl / HTTP-клиенты), чтение JSON, понимание REST
• понимание специфики LLM: недетерминированность, галлюцинации, ограничения контекста, температура и параметры генерации
• python на базовом уровне для автотестирования: умение написать и поддерживать автотесты (pytest / requests / playwright), понимание структуры тестового проекта, работа с фикстурами и ассертами
• умение писать чёткие баг-репорты и тест-кейсы, включая случаи «модель ответила неправильно» с воспроизводимыми условиями.

Будет плюсом:

• продвинутая автоматизация UI (Playwright / Selenium), опыт построения фреймворков с нуля
• опыт построения LLM-evaluation пайплайнов (promptfoo, LangSmith, Ragas, собственные фреймворки)
• понимание RAG-архитектур
• опыт тестирования безопасности LLM: prompt injection, jailbreaks, утечки данных.

Мы предлагаем:

• офисный формат работы на период испытательного срока, далее возможен гибридный формат
• ежегодный пересмотр зарплаты
• корпоративный спортзал и зоны отдыха
• более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
• программа адаптации и помощь руководителя на старте (для Junior позиций)
• расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
• гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
• подписка СберПрайм с возможностью совместного использования на трёх близких
• вознаграждение за рекомендацию друзей в команду Сбера.

Ищем QA manual на банковский проект

Чем предстоит заниматься:

- Функциональное и регрессионное тестирование веб-приложения и мобильных клиентов (Android/iOS)
- Тестирование требований и макетов до старта разработки, участие в проработке критериев приёмки
- В перспективе — тестирование микрофронтендов (изолированная и сквозная проверка независимо разворачиваемых модулей)
- Периодическое подключение к тестированию API (REST), проверка контрактов и бизнес-логики через Postman/Swagger
- Тестирование на уровне БД (PostgreSQL) — проверка данных, валидация бизнес-логики в хранимых процедурах
- Проверка интеграций через Kafka — валидация событий/сообщений между сервисами
- Ведение тестовой документации: чек-листы, тест-кейсы, баг-репорты, отчётность по тестированию

Наши ожидания:

- Опыт ручного функционального тестирования веб-приложений от 2 лет
- Опыт тестирования мобильных приложений (Android и/или iOS) от 1 года
- Понимание REST API, опыт работы с Postman/Swagger, понимание HTTP
- Базовые навыки SQL для проверки данных в PostgreSQL (SELECT, JOIN)
- Опыт работы со снифферами трафика (например, Charles) для отладки мобильных сценариев
- Умение работать с логами и локализовывать ошибки на стыке компонентов
- Грамотная устная и письменная речь, умение писать понятные баг-репорты
- Опыт тестирования событийных/асинхронных интеграций (Kafka, RabbitMQ или аналоги)
- Знакомство с концепцией микрофронтендов и особенностями их тестирования
- Опыт работы с Docker для просмотра логов контейнеров при отладке
- Опыт участия в приёмке релизов и взаимодействия с разработчиками/аналитиками в кросс-функциональной команде

Мы предлагаем:
- Удаленный формат работы;
- Официальное оформление в аккредитованную IT-компанию (в штат Selecty);
- Гарантированный официальный оклад (обсуждается по итогам собеседования);
- ДМС со стоматологией, начиная с ИС;
- Скидки от наших партнеров на изучение иностранных языков, фитнес, кино;
- Реферальная программа: бонус за рекомендации.