Инженер по HIL-тестированию в Автономный транспорт (Python)

Мы разрабатываем AI-инструменты / LLM-платформу / автоматизацию на базе ИИ. Ищем QA-инженера, который будет отвечать за качество наших AI-продуктов: от классического функционального тестирования до оценки качества ответов LLM и устойчивости промптов.

Тестирование AI-систем отличается от классического: результат недетерминирован, «правильный ответ» не всегда один, а баг может проявляться в 1 случае из 20. Нам нужен человек, которому интересно работать именно с этой спецификой.

Чем предстоит заниматься:

• функциональное и регрессионное тестирование продуктов с LLM-компонентами (веб-интерфейсы, API, интеграции)
• разработка и поддержка наборов тестовых сценариев для оценки качества ответов моделей (evaluation datasets, golden sets)
• тестирование промптов: проверка устойчивости к перефразированию, edge-кейсам, инъекциям и джейлбрейкам
• оценка ответов LLM по критериям: точность, полнота, галлюцинации, соответствие формату (structured output / JSON schema)
• анализ недетерминированного поведения: воспроизведение плавающих дефектов, статистическая оценка стабильности
• автоматизация рутинных проверок на Python (pytest): smoke-тесты API, прогоны evaluation-сценариев, скрипты для массовой проверки ответов модели
• тестирование API-интеграций с LLM-провайдерами лимиты, ретраи, обработка ошибок, стриминг
• ведение тестовой документации, баг-репортов, участие в приёмке фич
• взаимодействие с разработчиками и ML-инженерами при разборе дефектов.

От кандидатов ждем:

• опыт в тестировании от 5 лет (ручное + автоматизация)
• практический опыт работы с AI-инструментами: ChatGPT, Claude, Copilot и аналоги — не на уровне «пробовал», а как рабочий инструмент
• понимание основ промпт-инжиниринга: структура промпта, few-shot, chain-of-thought, sdd, работа с системными промптами
• уверенное тестирование API (Postman / curl / HTTP-клиенты), чтение JSON, понимание REST
• понимание специфики LLM: недетерминированность, галлюцинации, ограничения контекста, температура и параметры генерации
• python на базовом уровне для автотестирования: умение написать и поддерживать автотесты (pytest / requests / playwright), понимание структуры тестового проекта, работа с фикстурами и ассертами
• умение писать чёткие баг-репорты и тест-кейсы, включая случаи «модель ответила неправильно» с воспроизводимыми условиями.

Будет плюсом:

• продвинутая автоматизация UI (Playwright / Selenium), опыт построения фреймворков с нуля
• опыт построения LLM-evaluation пайплайнов (promptfoo, LangSmith, Ragas, собственные фреймворки)
• понимание RAG-архитектур
• опыт тестирования безопасности LLM: prompt injection, jailbreaks, утечки данных.

Мы предлагаем:

• офисный формат работы на период испытательного срока, далее возможен гибридный формат
• ежегодный пересмотр зарплаты
• корпоративный спортзал и зоны отдыха
• более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
• программа адаптации и помощь руководителя на старте (для Junior позиций)
• расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
• гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
• подписка СберПрайм с возможностью совместного использования на трёх близких
• вознаграждение за рекомендацию друзей в команду Сбера.

ООО «НПП КуйбышевТелеком-Метрология» Российский производитель приборов учёта газа и жидкостей приглашает на работу QA Engineer (Middle+). Работа В ОФИСЕ в г. САМАРА, п.г.т. Волжский. УДАЛЕННЫЙ ФОРМАТ РАБОТЫ НЕ РАССМАТРИВАЕТСЯ!

Обязанности:

• Разработать стратегию тестирования системы: функциональное, интеграционное, регрессионное, нагрузочное и отказоустойчивое тестирование.
• Анализировать технические требования, архитектуру, API-контракты и пользовательские сценарии.
• Подготавливать тест-планы, чек-листы, тест-кейсы, тестовые данные и матрицу покрытия требований.
• Проводить ручное и автоматизированное тестирование Admin Panel, серверных микросервисов и программного обеспечения тонкого клиента.
• Тестировать REST API, WebSocket/SSE, асинхронные события и межсервисные интеграции.
• Проверять основные микросервисы
• Проверять сценарии многофакторной аутентификации, OTP, Presence Token, QR-аутентификации, блокировки и завершения пользовательских сессий.
• Тестировать heartbeat, потерю связи, повторное подключение, восстановление сессий и работу при частичной недоступности компонентов.
• Проверять интеграции с Kafka, PostgreSQL, Vault, ClickHouse и MinIO.
• Проверять корректность обработки повторных событий, задержек, нарушения последовательности, дублирования и потери сообщений.
• Разрабатывать API- и интеграционные автотесты.
• Разрабатывать end-to-end-тесты критических пользовательских сценариев.
• Интегрировать автоматизированные тесты в CI/CD.
• Регистрировать дефекты, контролировать их исправление и проводить регрессионное тестирование.
• Участвовать в подготовке программы и методики испытаний и приёмо-сдаточных испытаниях.

Задачи по нагрузочному тестированию:

• Разработать методику нагрузочного тестирования и согласовать профиль нагрузки.
• Подготовить эмуляторы тонких клиентов для формирования heartbeat, запросов аутентификации, событий присутствия и других типовых сообщений.
• Реализовать нагрузочные сценарии для 1000, 10000, 20000 одновременно работающих виртуальных клиентов.
• Проверить работу системы при длительных соединениях, массовом переподключении клиентов и одновременной отправке событий.
• Проводить нагрузочные, стрессовые, пиковые и длительные испытания.
• Определить максимальную устойчивую производительность системы и точку деградации.
• Проверять время ответа API, пропускную способность, частоту ошибок и стабильность пользовательских сценариев.
• Анализировать Kafka consumer lag, скорость обработки сообщений, работу партиций, повторную доставку и DLQ.
• Анализировать нагрузку на PostgreSQL: время запросов, блокировки, соединения, транзакции и использование ресурсов.
• Контролировать CPU, RAM, сеть, дисковые операции, состояние pod, количество рестартов и использование persistent storage в Kubernetes.
• Проверять поведение системы при отказе pod, перезапуске сервисов, временной недоступности Kafka, PostgreSQL, Vault, ClickHouse или MinIO.
• Проводить длительные soak-тесты для выявления утечек памяти, деградации производительности и накопления очередей.
• Формировать отчёты с графиками, выявленными узкими местами и рекомендациями по оптимизации.
• Повторно проводить испытания после устранения проблем и подтверждать достижение целевых показателей.

Требования:

• Опыт тестирования программных систем от 3 лет.
• Опыт автоматизации тестирования backend/API от 2 лет.
• Практический опыт нагрузочного тестирования.
• Уверенное владение одним или несколькими инструментами: k6, Apache JMeter, Gatling или Locust.
• Опыт тестирования REST API с использованием Postman, Newman, REST Assured, pytest или аналогичных инструментов.
• Опыт тестирования C++ и Go.
• Умение разрабатывать автоматизированные тесты на Python
• Опыт тестирования микросервисных и распределённых систем.
• Понимание асинхронного взаимодействия и принципов работы Apache Kafka.
• Понимание consumer groups, partition, offset, retry, DLQ, идемпотентности и повторной доставки сообщений.
• Уверенное знание SQL и опыт проверки данных в PostgreSQL.
• Опыт работы с Docker и базовое понимание Kubernetes.
• Умение пользоваться Grafana, Prometheus и системами централизованного журналирования.
• Опыт анализа логов, метрик, трассировок и причин деградации производительности.
• Опыт интеграции тестов в GitLab CI, Jenkins, GitHub Actions или другую CI/CD-систему.
• Опыт работы с системами управления тестированием и дефектами.
• Знание видов тестирования, техник тест-дизайна и жизненного цикла дефекта.
• Умение документировать результаты испытаний и аргументированно подтверждать наличие проблемы.

Будет преимуществом:

• Опыт тестирования WebSocket, SSE и длительных сетевых соединений.
• Опыт нагрузочного тестирования Kafka и баз данных.
• Опыт работы с ClickHouse, MinIO и HashiCorp Vault.
• Опыт тестирования систем управления удалёнными устройствами.
• Опыт тестирования Linux-клиентов, VNC, SSH и механизмов автоматического обновления.
• Понимание TLS/mTLS, PKI, сертификатов, RBAC, MFA и управления секретами.
• Опыт использования Playwright или Cypress для тестирования Vue-приложений.
• Опыт тестирования отказоустойчивости и проведения failover/chaos-сценариев.
• Опыт подготовки программы и методики испытаний, протоколов испытаний и материалов для приёмки.

Условия:

• График работы 5/2, с 9:00 до 18:00;
• Работа на территории современного производства в пгт.Волжский;
• ДМС;
• Компенсация ГСМ или доставка транспортом предприятия;
• Корпоративный спортивный зал;
• Групповые занятия йогой;
• Подарки детям сотрудников на Новый Год и 1 сентября;
• Возможность профессионального роста и обучения;
• Дружная команда профессионалов, поддержка и обмен опытом.