Следите за последними материалами, объяснениями и связанными технологическими историями.
Французский стартап Kog считает, что традиционные графические процессоры всё ещё способны обеспечить более высокую скорость вывода моделей искусственного интеллекта благодаря глубокой оптимизации программного обеспечения. Однако сначала компании предстоит доказать, что её подход, обеспечивший 3 000 токенов в секунду на небольшой модели, работает с более крупными языковыми моделями.