Senior Test Engineer (insurance)

Мы разрабатываем AI-инструменты / LLM-платформу / автоматизацию на базе ИИ. Ищем QA-инженера, который будет отвечать за качество наших AI-продуктов: от классического функционального тестирования до оценки качества ответов LLM и устойчивости промптов.

Тестирование AI-систем отличается от классического: результат недетерминирован, «правильный ответ» не всегда один, а баг может проявляться в 1 случае из 20. Нам нужен человек, которому интересно работать именно с этой спецификой.

Чем предстоит заниматься:

• функциональное и регрессионное тестирование продуктов с LLM-компонентами (веб-интерфейсы, API, интеграции)
• разработка и поддержка наборов тестовых сценариев для оценки качества ответов моделей (evaluation datasets, golden sets)
• тестирование промптов: проверка устойчивости к перефразированию, edge-кейсам, инъекциям и джейлбрейкам
• оценка ответов LLM по критериям: точность, полнота, галлюцинации, соответствие формату (structured output / JSON schema)
• анализ недетерминированного поведения: воспроизведение плавающих дефектов, статистическая оценка стабильности
• автоматизация рутинных проверок на Python (pytest): smoke-тесты API, прогоны evaluation-сценариев, скрипты для массовой проверки ответов модели
• тестирование API-интеграций с LLM-провайдерами лимиты, ретраи, обработка ошибок, стриминг
• ведение тестовой документации, баг-репортов, участие в приёмке фич
• взаимодействие с разработчиками и ML-инженерами при разборе дефектов.

От кандидатов ждем:

• опыт в тестировании от 5 лет (ручное + автоматизация)
• практический опыт работы с AI-инструментами: ChatGPT, Claude, Copilot и аналоги — не на уровне «пробовал», а как рабочий инструмент
• понимание основ промпт-инжиниринга: структура промпта, few-shot, chain-of-thought, sdd, работа с системными промптами
• уверенное тестирование API (Postman / curl / HTTP-клиенты), чтение JSON, понимание REST
• понимание специфики LLM: недетерминированность, галлюцинации, ограничения контекста, температура и параметры генерации
• python на базовом уровне для автотестирования: умение написать и поддерживать автотесты (pytest / requests / playwright), понимание структуры тестового проекта, работа с фикстурами и ассертами
• умение писать чёткие баг-репорты и тест-кейсы, включая случаи «модель ответила неправильно» с воспроизводимыми условиями.

Будет плюсом:

• продвинутая автоматизация UI (Playwright / Selenium), опыт построения фреймворков с нуля
• опыт построения LLM-evaluation пайплайнов (promptfoo, LangSmith, Ragas, собственные фреймворки)
• понимание RAG-архитектур
• опыт тестирования безопасности LLM: prompt injection, jailbreaks, утечки данных.

Мы предлагаем:

• офисный формат работы на период испытательного срока, далее возможен гибридный формат
• ежегодный пересмотр зарплаты
• корпоративный спортзал и зоны отдыха
• более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
• программа адаптации и помощь руководителя на старте (для Junior позиций)
• расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
• гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
• подписка СберПрайм с возможностью совместного использования на трёх близких
• вознаграждение за рекомендацию друзей в команду Сбера.

«М 13» - продуктовая аккредитованная IT компания, занимающаяся разработкой продуктов для сбора и анализа информации из СМИ и социальных медиа вот уже более 12 лет. Наши продукты интересны и востребованы крупному, среднему бизнесу и госкорпорациям.

Мы разработали комплекс систем для удобного поиска, обработки информации и реагирования на события, которые получают широкий резонанс в цифровом пространстве.

Мы заинтересованы в стабильности продукта, поэтому:
- Тестируем постановки и дизайн;
- Разработчики покрывают функционал unit-тестами;
- Пользуемся результатами автотестирования;
- Проводим демо внутри команды перед релизом.

Команда тестирования работает со следующим стеком:
- MS SQL, Scylla, ClickHouse;
- GraphQL, REST API;
- RabbitMQ;
- Elasticsearch;
- TeamCity, Nomad и горизонтально масштабируемые сервисы;
- Grafana, Kibana;
- Фронт на Angular;
- Автотесты на C# + Puppeteer, Postman.

Команда поможет вам освоить инструменты и рабочие процессы, как для ручного, так и для автоматизированного тестирования.

Мы ищем опытного специалиста по ручному тестированию web-приложений (уровня Middle+ и выше).
Соотношение между ручным и автоматизированным тестированием у нас - 80 к 20.

Вам предстоит:
- Проведение ручного функционального и интеграционного тестирования;
- Тестирование REST API;
- Проведение тест-анализа и работа над тестовой документацией (тест-кейсы, чек-листы);
- Обнаружение и локализация дефектов, заведение баг-репортов и контроль процесса их исправления;
- Принятие решения о необходимости регрессионного тестирования и его проведение;
- Участие в принятии решения о готовности продукта к релизу;
- Обработка входящих сообщений о неисправностях в системе (не саппорт).

Что нужно, чтобы быть с нами:
- Опыт ручного тестирования от 5 лет;
- Опыт тестирования клиент-серверных систем;
- Опыт тестирования REST API сервисов (Swagger, Postman);
- Опыт тестирования веб-приложений (консоль разработчика);
- Опыт работы с метриками и логами (Grafana, Kibana);
- Опыт работы с брокерами сообщений (RabbitMQ и аналоги);
- Знания SQL на базовом уровне;
- Опыт составления тестовой документации (тест-кейсы, чек-листы, тестовые сценарии);
- Умение работать в Jira и Confluence (их аналогах).

Большим плюсом будет опыт работы с:
- Elasticsearch;
- Cassandra/Scylla;
- Gitflow;
- Nomad;
- GraphQL.

Мы предлагаем:
- ДМС и полную прозрачность компании с оформлением по ТК с 1-го дня;
- Адекватный и очень нацеленный на результат коллектив;
- Удаленный (РФ) либо офисный формат работы. Офисы компании работают в Москве и Казани;
- Участие в выездных встречах и корпоративах в Москве и Казани;
- Частичная компенсация расходов на обучение по профилю, корпоративные скидки в онлайн-школе Skyeng.