Промпт-инженер Senior

Инженер по качеству AI-агентов

О продукте

Uklad AI — AI-платформа для комплексной автоматизации работы компаний.

Мы создаём AI-сотрудников, которые помогают бизнесу управлять задачами, проводить встречи, работать с CRM и кассой, собирать отчёты и автоматизировать повседневные процессы. По сути, это полноценные цифровые помощники, которые понимают контекст компании, помнят договорённости и умеют самостоятельно выполнять рабочие задачи с помощью множества инструментов.

Наши агенты уже работают с реальными бизнес-процессами: от ресторанов и сервисных компаний до бухгалтерских фирм и производственных предприятий.

Сейчас мы развиваем платформу и хотим сделать работу AI-агентов ещё более надёжной и эффективной.

Мы ищем инженера, которому интересно разбираться в том, почему AI-агент не справился с задачей, находить причину проблемы и исправлять её так, чтобы в следующий раз агент работал лучше.

Что предстоит делать:

• Анализировать качество работы AI-агентов: изучать диалоги и результаты работы агентов, находить ситуации, в которых они не смогли правильно выполнить задачу пользователя.

• Находить причины ошибок: разбираться, почему агент не вызвал нужный инструмент, неправильно выбрал последовательность действий или не смог получить необходимые данные.

• Улучшать логику работы агентов: самостоятельно вносить изменения в код, который отвечает за выбор инструментов, выполнение задач и взаимодействие с ними.

• Проверять результат изменений: писать тесты, запускать проверки на реальных и тестовых сценариях, сравнивать качество работы агента до и после внесённых изменений.

• Работать с метриками качества: анализировать статистику ошибок, отслеживать динамику и понимать, какие изменения действительно улучшают результат, а какие не дают эффекта.

• Развивать систему автоматической оценки: работать с AI-судьёй, который оценивает, удалось ли агенту выполнить задачу пользователя, проверять точность его оценок и улучшать систему проверки.

• Работать напрямую с основателем: обсуждать основные проблемы продукта, определять приоритеты и регулярно показывать результаты своей работы.

Что для нас важно:

• У тебя есть опыт разработки на TypeScript или Node.js. Важно уметь самостоятельно читать, понимать и изменять код backend-приложений.

• Умеешь работать с SQL и базами данных: можешь самостоятельно анализировать логи, находить закономерности и собирать статистику по работе системы.

• Понимаешь, как устроены LLM и AI-агенты: что такое Tool Calling, как модели выбирают инструменты и почему иногда не используют нужные возможности.

• Есть опыт написания автоматических тестов и проверки качества работы программных систем.

• Умеешь работать с метриками: не просто находить ошибки, а измерять, насколько конкретное изменение повлияло на результат.

• Умеешь самостоятельно разбираться в технических проблемах, искать их первопричину и предлагать системные решения.

Будет преимуществом:

• Опыт работы с AI-агентами и LLM.

• Опыт построения систем автоматической оценки качества AI (LLM-as-a-Judge, Evals).

• Опыт работы с PostgreSQL и SQLite.

• Опыт настройки мониторинга и анализа работы backend-систем.

Кого мы ищем

Нам нужен инженер, которому действительно интересно разбираться в устройстве AI-агентов и делать их лучше.

Ты не просто фиксируешь, что агент ошибся, а пытаешься понять, почему это произошло, находишь причину в коде, исправляешь её и проверяешь результат на цифрах.

Нам близок подход, при котором каждое изменение можно проверить: было определённое количество ошибок, внесли исправление, повторили тесты и увидели, изменился ли результат.

Важно, чтобы ты не боялся признавать, что гипотеза не сработала, и спокойно возвращал изменения, если они не дали ожидаемого эффекта.

Нам подойдут специалисты с опытом backend-разработки, QA Automation или разработки и тестирования AI-агентов. Главное — техническая самостоятельность и желание работать с качеством AI-продукта.

Важно: эта позиция предполагает самостоятельную работу с кодом. Опыт только в написании промптов или ручном тестировании без навыков разработки не подойдёт.

Что мы предлагаем:

• Уровень дохода обсуждаем индивидуально — ориентируемся на твой опыт и ожидания.

• Удалённый формат работы.

• Полная занятость, пятидневка, 9-18 или 10-19 по мск.

• Возможность работать над реальным AI-продуктом, который уже решает задачи действующего бизнеса.

• Прямое взаимодействие с основателем и возможность влиять на техническое развитие продукта.

• Высокий уровень самостоятельности: ты будешь отвечать за качество работы AI-агентов и видеть непосредственный результат своих решений.

• Возможность развиваться на стыке backend-разработки, автоматизированного тестирования и современных AI-технологий.

Если тебе интересно не просто тестировать AI, а понимать, как он устроен внутри, находить причины ошибок и делать так, чтобы агенты действительно лучше справлялись с задачами пользователей, — будем рады познакомиться!

В сопроводительном письме расскажи об одном техническом улучшении, которое ты внедрил и результат которого смог измерить:
- какую проблему решал,
- что именно изменил,
- как проверял эффективность своего решения.

Mayflower is a technology company building large-scale entertainment products for a global audience. Our platforms serve millions of users worldwide and rank among the top-50 most visited websites globally. For more than 10 years, we’ve been creating reliable, high-performance solutions at the intersection of product, engineering, and entertainment.

We build production agentic systems that read from and write to internal resources. You will design, ship, and measure them.

What you’ll do

• Ship end-to-end: Take agentic workflows from prototype to production, build user interfaces around them.

• Design agent architecture: Define tools, memory, retrieval strategies, and human-in-the-loop handoffs.

• Integrate systems: Expose internal tools and data via MCP servers and APIs with least-privilege access.

• Evaluate performance: Build trace-based evals and golden datasets to catch regressions across full agent runs.

• Operate in production: Implement tracing, token budgets, cost controls, and safety guardrails.

• Scope problems: Work with domain owners to identify where agents add value —and push back when a simpler solution is better.

Requirements

• Proven experience shipping production LLM agents or automations.

• Strong Python and/or TypeScript skills (clean code, automated testing, code reviews).

• Deep familiarity with current frontier models: cost, latency, capabilities, and trade-offs.

• Hands-on experience with tool calling, MCP, and modern retrieval (agentic/hybrid search, long-context vs. vector stores).

• Strong system design skills covering failure modes, latency, cost, and security.

• A passion for upskilling others — running demos, sharing workflows, and helping teams across the company adopt AI practically.

Nice to have

• Docker and Kubernetes / OKD (OpenShift).

• LLM gateways, observability tools, and eval frameworks.

• Experience integrating legacy or enterprise systems.
  

Conditions

We know that great talent deserves great conditions, so here’s what you can expect when joining us:

• EU-based employment contract and a 3-year Cyprus work visa with full support for your relocation and visa processes, including assistance for your family.

• EU passport. Opportunity to obtain an EU passport after 4 years of residence

• Full relocation package: flights to Limassol for you and your family, a company-covered apartment for the first month, and full relocation support to make your move smooth and hassle-free.

• Provident fund (Cypus): a long-term savings plan co-funded by you and the Company together (available after probation) that grows throughout your time with us in Cyprus.

• Transparent performance reviews twice a year, with bonus opportunities and salary adjustments.

• Private medical insurance for you and your family

• Corporate mobile plan (unlimited in Cyprus with roaming included)

• Mindfulness & well-being support, including psychological assistance with 50% coverage.

• 50% coverage of school and kindergarten fees for your children.

• Fully covered sports benefits, and also access to in-house electric scooters and bike rentals

• Professional growth support: language courses, conferences, training programs, and coaching.

• Peer recognition program: receive and share kudos for great work.

• A fully equipped office in Limassol’s city center, with everything you need for deep work and collaboration.

• Free breakfasts and lunches in the office and an in-house coffee bar with high-quality drinks and a health bar stocked with nutritious snacks.

• A strong engineering culture: international teams, corporate events, team-building, and hackathons — because great work happens in great communities.

Компания "Эксцельсиор" - лидер среди аутсорсинговых компаний, предлагает свои услуги уже на протяжении 13 лет.

Нас отличают доверие клиентов и уважение сотрудников. Мы успешно оказываем услуги в 46 регионах России, в настоящее время в нашей команде уже более 8 000 человек и мы продолжаем активно расти и развиваться.

В связи с ростом внутренних процессов и необходимостью снизить рутину, мы ищем,в нашу команду, специалиста по автоматизации бизнес-процессов (AL\No-code Engineer)

Чем предстоит заниматься:

Автоматизировать внутренние процессы на no-code/low-code платформах (n8n, Make, Dify или аналоги).
· Создавать внутренних AI-ботов по базе знаний компании (регламенты, инструкции, шаблоны документов).
· Строить RAG-сценарии: поиск ответов по загруженной базе знаний.
· Интегрировать сервисы через API и вебхуки: CRM, Slack, MS Teams, корпоративная почта.
· Подключать и настраивать API языковых моделей (OpenAI, YandexGPT, Anthropic).
· Готовить текстовые данные: очистка документов, форматирование в Markdown/TXT.
· Переводить требования отделов в технические сценарии для ботов и автоматизаций.
· Контролировать лимиты расходов на внешние API.
· Запускать MVP в короткие сроки с минимальным бюджетом.

Мы ожидаем от кандидата:

- опыт работы от 1 года в автоматизации процессов или разработке чат-ботов

- Энергичность и коммуникативность

- Желание принести финансовый результат

- Уверенное владение no-code\low-code (n8n, Make, Dify или аналоги)

- Понимание принципов работы API ( OpenAl? YandexGPT, Anthropic) и технологии RAG

- Опыт интеграции сервисов через API, вехбуки (CRM, Slack, MC Teams, корпоративная почта)

- Навык структурирования и подготовки текстовых данных

- Наличие портфолио

- Наличие свидетельства об окончании профильных курсов или сертификатов по AI- интеграции, no-code разработке или основам Python - будет вашим преимуществом

Что предлагаем:

• график работы: 5/2, с 9 до 18 ( пт до 17)
• официальное трудоустройство по ТК РФ с 1-го дня
• прозрачную и конкурентную З/П
• ДМС через 1 год работы
• возможность участвовать в программе "карьера в Эксцельсиор"
• работу в стабильной и надёжной компании, реальные возможности роста и развития
• активную корпоративную жизнь.

Приглашаем присоединиться к нашей команде!