Разработчик на C++ в команду данных для еком-сценариев Поиска

CoreTech — это R&D внутри департамента исследований и разработки Лаборатории Касперского. Мы создаем фундамент, на котором строится разработка продуктов и сервисов нашей компании. В нашем отделе есть несколько основных направлений деятельности в которые сейчас открыты вакансии:
Antimalware PDK – команда, развивающая технологии защиты в составе отдела разработки базовых компонентов (Core Tech). Команда разрабатывает ключевые компоненты обнаружения угроз, аномалий, уязвимых приложений и сервисов ОС, нейтрализации выявленных угроз. Разрабатываемый функционал является неотъемлемой частью большинства продуктов компании, используемых на различных ОС.

Основные сценарии:

• Real-time protection - мониторинг активности системных и пользовательских служб и приложений (открытие файлов, запуск процессов и т.п.), предотвращение активации угроз в режиме реального времени;
• On-demand scans - сканирование заданных областей на защищаемом устройстве (файлов, директорий, объектов автозапуска, памяти и т.п.);
• Обработка обнаруженных угроз - удаление, лечение, лечение активного заражения, бэкап и восстановление пользовательских данных;
• XDR-сценарии - сбор телеметрии, запуск задач-респонзов на хостах (например: помещение объекта в карантин, блокировка пользователя, yara/ioc/oval проверки);
• Оптимизация сценариев сканирования - поддержка исключений, оптимизация потребляемых ресурсов.

Чем Вы будете заниматься:

• Разрабатывать и поддерживать функциональность компонентов защиты, писать функциональные и юнит-тесты;
• Участвовать в выработке технических решений;
• Выполнять анализ производительности в поддерживаемых командой сценариях, оптимизировать код;
• Развивать техническую экспертизу в составе команды и за ее пределами.

Что мы ждем от кандидата:

• Отличное знание C++ и современных стандартов (11/14/17);
• Опыт разработки многопоточных приложений;
• Знание системного API (Windows, POSIX);
• Умение работать с отладчиками и анализировать дампы (WinDBG, gdb, т.д.);
• Навык проведения код-ревью;
• Опыт работы с системами сборки (CMake и т.п.);
• Опыт работы с системами контроля версий (Git, Perforce);
• Опыт разработки тестов с помощью фреймворка GMock/GTest;
• Быть готовым к погружению в большую кодовую базу, к анализу логов для поиска причины проблемы;
• Желание писать структурированный, понятный код, покрывать его тестами и понимание зачем это нужно.

О нас

Реклама — один из самых высоконагруженных сервисов Яндекса. В ней есть рантайм, который выдерживает сотни тысяч запросов в секунду, и реалтайм-процессинг, который обрабатывает десятки гигабайтов данных и миллионы событий в секунду. Экосистема Рекламы включает множество сервисов: от хранения и преобразования данных до ML-сервисов для обучения ранжирующих моделей. Многим из этих сервисов нужен доступ к рекламным данным. За это отвечает Единая база данных рекламы: она хранит данные, обеспечивает к ним доступ и передаёт изменения в смежные сервисы через универсальный протокол. В базе — десятки миллиардов объектов объёмом более сотни терабайтов.

Единая база данных рекламы — база нового поколения, созданная на основе динамических таблиц YTsaurus. Она даёт возможность гибко подходить к модели данных, используя идеи традиционных реляционных баз данных и расширяя их. С точки зрения инфраструктуры база объединяет возможности динамических таблиц YTsaurus (транзакционность, масштабируемость, отказоустойчивость) и потоковых процессингов. Благодаря этому мы можем комбинировать транзакционные и нетранзакционные подходы при решении задач.

За несколько лет Единая база данных рекламы стала центром архитектуры Рекламы. К нам обращаются десятки разработчиков из других команд, чтобы решить свои продуктовые и инфраструктурные задачи. Мы создаём платформу для их решения и сами активно внедряем базу данных. Ищем коллегу, который поможет во всех наших задачах, но сейчас особенно важна интеграция базы данных с Яндекс Директом.

Внедрение Единой базы данных в Яндекс Директ

Яндекс Директ — один из крупнейших продуктовых сервисов Яндекса, который позволяет пользователям запускать рекламные кампании и предоставляет широкий выбор рекламного инвентаря. Вы будете продолжать внедрять Единую базу данных рекламы в бэкенд Директа. Это не просто замена одной базы данных другой, а серьёзный вызов: предстоит переосмыслить подходы к разработке бэкенда и трансформировать архитектуру сервиса.

Развитие ядра БД

Вы будете развивать ядро базы данных, чтобы оно включало современный функционал и уникальные возможности для эффективного решения продуктовых задач.

Платформа процессинга

В процессе смены парадигмы разработки бэкенда огромное количество бизнес-логики переносится в реалтайм-процессинг. Вы будете разрабатывать собственный фреймворк для потоковой обработки данных, чтобы эффективно и удобно решать продуктовые задачи в десятках пайплайнов процессинга.

Инфраструктура

На вас лежит большая ответственность: обеспечить стабильность работы инфраструктуры, эффективность БД и удобство разработки, а также сделать так, чтобы новые внедрения коллег быстрее попадали к пользователям. Этому уделяется максимум внимания.

Больше о бэкенде в Яндексе — в канале Yandex for Backend

Для отбора лучших баннеров под запрос используются многостадийное ранжирование, различные алгоритмы и сервисы для инференса ML-моделей: генеративные модели, нейросети на GPU/CPU, BERT, решающие деревья. На каждом этапе рассчитывается множество ML-моделей для сужения воронки баннеров. Затем на стадии аукционов формируются многобаннерные блоки и сравниваются друг с другом, чтобы определить победителя и отправить его на отрисовку пользователю.

Мы каждые полгода выкатываем изменения, которые увеличивают доход от рекламы, наши системы обрабатывают порядка миллиона RPS, а в наших инференс-сервисах прогоняется порядка 100 млн баннеров в секунду.

Разработка в движке — добавление новых стадий в аукционах, реализация алгоритмов наполнения блоков

Мы активно перерабатываем механику аукционов: внедряем новые архитектуры моделей, меняем подходы к аукционной амнистии, исследуем алгоритмы наполнения блоков, добавляем фичи, оптимизируем производительность.

Поддержка новых моделей для прогноза CPM — подготовка признаков, использование микросервисов для инференса

У нас есть проекты, связанные с сервисами инференса ML-моделей. Модели в разных сервисах рассчитываются параллельно, чтобы сократить критическое время выполнения. Каждый из сервисов оптимизирован для повышения пропускной способности.

Больше о бэкенде в Яндексе — в канале Yandex for Backend

* Уверенно владеете C++
* Знаете concurrency
* Знакомы с основами ML
* Работали с микросервисами
* Знакомы с профилированием

* Работали с GPU
* Получили MLOps-опыт