Компания Together AI представила новую технологическую разработку под названием Together Compiler — передовую систему, которая полагается на программных агентов на базе искусственного интеллекта (AI Coding Agents) для выполнения задачи оптимизации кода графических процессоров (GPU), обеспечивающих работу ее собственной инфраструктуры инференса. Эта система направлена на автоматизацию процессов настройки производительности, которые ранее требовали от инженеров-людей дней или недель кропотливой ручной работы.
Полная автоматизация под человеческим контролем
Система Together Compiler генерирует, тестирует и оптимизирует ядра графических процессоров (GPU kernels) без прямого руководства со стороны инженеров для каждого отдельного эксперимента. Компания пояснила, что цикл оптимизации работает полностью автономно, причем система может добиться ощутимого прироста производительности всего за одну ночь. Тем не менее, Together AI подчеркнула, что она следует концепции «человек в контуре» (Human-in-the-loop), при которой окончательные оценки и фактическое развертывание в производственной среде по-прежнему зависят от одобрения инженера-человека, проверяющего изменения перед их утверждением.
Проблема ускорения моделей искусственного интеллекта
Этот шаг предпринят в ответ на серьезную проблему, заключающуюся в стремительных темпах выпуска новых моделей искусственного интеллекта. Согласно данным компании, 80% трафика через платформу OpenRouter в настоящее время приходится на модели, выпущенные всего за последние три месяца. Поскольку каждая модель имеет разные технические требования, код, оптимизированный для конкретной модели, может работать не столь эффективно с другой, что создает огромную нагрузку на инженеров, вынужденных вручную успевать за этими изменениями.
Скачок в скорости экспериментов и производительности
Компания Together AI изобрела способ значительно ускорить процесс тестирования: вместо перезапуска механизма инференса каждый раз, когда программный агент меняет код, Together Compiler загружает новый код непосредственно в работающий механизм. Эта процедура сократила время инициализации примерно с 467 секунд всего до 9 секунд, позволив системе проводить в 252 раза больше экспериментов по оптимизации по сравнению с существующими системами.
Что касается практических результатов, компания зафиксировала увеличение пропускной способности инференса (Inference Throughput) до 2,6 раза по сравнению со стандартными опубликованными настройками, в зависимости от типа модели и используемого оборудования. В настоящее время система обрабатывает триллионы токенов (Tokens) ежедневно через инфраструктуру компании.
Что практически меняется для разработчиков?
Для разработчиков и компаний, использующих сервисы Together AI, это развитие не обязательно означает прямое снижение цен, а скорее получение более высокой производительности и эффективности при той же стоимости. Практические преимущества сводятся к следующим пунктам:
- Эффективность оборудования: извлечение максимальной возможной мощности из доступных GPU, что снижает потерю ресурсов.
- Скорость адаптации: способность запускать новейшие модели с максимально возможной производительностью сразу после их выпуска без ожидания долгих циклов ручной оптимизации.
- Надежность производительности: благодаря проведению сотен автоматизированных экспериментов система приходит к программным решениям, которые инженер-человек может не обнаружить из-за нехватки времени.
Together Compiler представляет собой важный сдвиг в том, как управляется инфраструктура искусственного интеллекта: теперь искусственный интеллект — это не просто конечный продукт, а основной инструмент для оптимизации оборудования и программного обеспечения, на котором он работает, замыкая технический цикл в сторону самосовершенствующихся систем.