Инженер по качеству AI-агентов
О продукте
Uklad AI — AI-платформа для комплексной автоматизации работы компаний.
Мы создаём AI-сотрудников, которые помогают бизнесу управлять задачами, проводить встречи, работать с CRM и кассой, собирать отчёты и автоматизировать повседневные процессы. По сути, это полноценные цифровые помощники, которые понимают контекст компании, помнят договорённости и умеют самостоятельно выполнять рабочие задачи с помощью множества инструментов.
Наши агенты уже работают с реальными бизнес-процессами: от ресторанов и сервисных компаний до бухгалтерских фирм и производственных предприятий.
Сейчас мы развиваем платформу и хотим сделать работу AI-агентов ещё более надёжной и эффективной.
Мы ищем инженера, которому интересно разбираться в том, почему AI-агент не справился с задачей, находить причину проблемы и исправлять её так, чтобы в следующий раз агент работал лучше.
Что предстоит делать:
-
Анализировать качество работы AI-агентов: изучать диалоги и результаты работы агентов, находить ситуации, в которых они не смогли правильно выполнить задачу пользователя.
-
Находить причины ошибок: разбираться, почему агент не вызвал нужный инструмент, неправильно выбрал последовательность действий или не смог получить необходимые данные.
-
Улучшать логику работы агентов: самостоятельно вносить изменения в код, который отвечает за выбор инструментов, выполнение задач и взаимодействие с ними.
-
Проверять результат изменений: писать тесты, запускать проверки на реальных и тестовых сценариях, сравнивать качество работы агента до и после внесённых изменений.
-
Работать с метриками качества: анализировать статистику ошибок, отслеживать динамику и понимать, какие изменения действительно улучшают результат, а какие не дают эффекта.
-
Развивать систему автоматической оценки: работать с AI-судьёй, который оценивает, удалось ли агенту выполнить задачу пользователя, проверять точность его оценок и улучшать систему проверки.
-
Работать напрямую с основателем: обсуждать основные проблемы продукта, определять приоритеты и регулярно показывать результаты своей работы.
Что для нас важно:
-
У тебя есть опыт разработки на TypeScript или Node.js. Важно уметь самостоятельно читать, понимать и изменять код backend-приложений.
-
Умеешь работать с SQL и базами данных: можешь самостоятельно анализировать логи, находить закономерности и собирать статистику по работе системы.
-
Понимаешь, как устроены LLM и AI-агенты: что такое Tool Calling, как модели выбирают инструменты и почему иногда не используют нужные возможности.
-
Есть опыт написания автоматических тестов и проверки качества работы программных систем.
-
Умеешь работать с метриками: не просто находить ошибки, а измерять, насколько конкретное изменение повлияло на результат.
-
Умеешь самостоятельно разбираться в технических проблемах, искать их первопричину и предлагать системные решения.
Будет преимуществом:
-
Опыт работы с AI-агентами и LLM.
-
Опыт построения систем автоматической оценки качества AI (LLM-as-a-Judge, Evals).
-
Опыт работы с PostgreSQL и SQLite.
-
Опыт настройки мониторинга и анализа работы backend-систем.
Кого мы ищем
Нам нужен инженер, которому действительно интересно разбираться в устройстве AI-агентов и делать их лучше.
Ты не просто фиксируешь, что агент ошибся, а пытаешься понять, почему это произошло, находишь причину в коде, исправляешь её и проверяешь результат на цифрах.
Нам близок подход, при котором каждое изменение можно проверить: было определённое количество ошибок, внесли исправление, повторили тесты и увидели, изменился ли результат.
Важно, чтобы ты не боялся признавать, что гипотеза не сработала, и спокойно возвращал изменения, если они не дали ожидаемого эффекта.
Нам подойдут специалисты с опытом backend-разработки, QA Automation или разработки и тестирования AI-агентов. Главное — техническая самостоятельность и желание работать с качеством AI-продукта.
Важно: эта позиция предполагает самостоятельную работу с кодом. Опыт только в написании промптов или ручном тестировании без навыков разработки не подойдёт.
Что мы предлагаем:
-
Уровень дохода обсуждаем индивидуально — ориентируемся на твой опыт и ожидания.
-
Удалённый формат работы.
-
Полная занятость, пятидневка, 9-18 или 10-19 по мск.
-
Возможность работать над реальным AI-продуктом, который уже решает задачи действующего бизнеса.
-
Прямое взаимодействие с основателем и возможность влиять на техническое развитие продукта.
-
Высокий уровень самостоятельности: ты будешь отвечать за качество работы AI-агентов и видеть непосредственный результат своих решений.
-
Возможность развиваться на стыке backend-разработки, автоматизированного тестирования и современных AI-технологий.
Если тебе интересно не просто тестировать AI, а понимать, как он устроен внутри, находить причины ошибок и делать так, чтобы агенты действительно лучше справлялись с задачами пользователей, — будем рады познакомиться!
В сопроводительном письме расскажи об одном техническом улучшении, которое ты внедрил и результат которого смог измерить:
- какую проблему решал,
- что именно изменил,
- как проверял эффективность своего решения.