Дополнительно
\ альтернативные архитектуры — encoder-decoder, гибридные attention (linear + softmax), sparse/MoE с нестандартным dispatching'ом, итеративные/loop-трансформеры
\ новые training objectives и режимы обучения — multi-token и future-state prediction, RL-pretraining, дистилляция против ансамблей teacher-моделей
\ reasoning — латентный/омнимодальный reasoning, обучаемые value-сети, MCTS-подобный поиск, self-play, ансамбли гетерогенных моделей
\ эффективность и inference — адаптивные вычисления, MoD/early-exit, serving для нестандартных архитектур
\ специализированные направления — символьные/фонетические задачи, креативная генерация, agentic capabilities
Какие-то из гипотез этих треков доедут до PoC/прода, какие-то умрут на small-scale. Это ожидаемо
Если вы рок-звезда (уровень техлида и выше) — у нас отдельный трек найма. Предлагаем compute без бюрократии, можем обсудить запуск нового research-трека под вас, потенциально своя команда и инженерная поддержка под скейлинг, прямое участие в стратегии направления — что мы делаем, во что не верим, на чём фокусируемся на длинном горизонте
Мы делаем ставку на архитектурные и training-инновации, где количество GPU перестаёт быть единственным фактором. Если такая постановка задачи будоражит кровь — пишите