C++-разработчик (inference / llama.cpp) Atomic Chat

Boiler Lab

Санкт-Петербург, Россия

🏢 Офис

Middle

Полная занятость

Россия

Описание вакансии

BoilerLab — международная компания с прибыльным и устойчивым бизнесом. Мы активно расширяем линейку продуктов и развиваем общую экосистему сразу по трём направлениям: AI & ML, SaaS и блокчейн.

Один из продуктов — Atomic Chat: опенсурсное локальное AI-приложение и движок инференса. Запускает open-weight модели прямо на устройстве пользователя, без облака. Под капотом — llama.cpp и MLX, OpenAI-совместимый сервер на localhost.

В этот проект мы ищем C++ разработчика.

Чем предстоит заниматься

•Развивать наш форк llama.cpp и держать его в синхроне с upstream.

•Оперативно добавлять поддержку новых моделей и архитектур сразу после их выхода.

•Квантизация и компрессия KV-кэша, ускорение инференса.

•Low-level оптимизация: память, латентность, скорость.

•Поддержка разных бэкендов и железа.

•GPU-программирование и профилирование производительности. — Поддержка и развитие OpenAI-совместимого сервера инференса. — Следить за развитием движков инференса и быстро переносить лучшее к нам.

Что мы ожидаем

•Уверенный C/C++, опыт работы в больших кодовых базах.

•Опыт с llama.cpp или другим движком инференса.

•Опыт GPU-программирования (CUDA, Metal).

•Понимание квантизации.

•Опыт кросс-платформенной сборки на CMake.

•Умение профилировать и оптимизировать производительность.

Будет плюсом

•Контрибьюты в llama.cpp / ggml.

•Опыт с MLX.

•Знание Rust.

Мы предлагаем