Термины

ИИ-инференс: инференс искусственного интеллекта

Инференс искусственного интеллекта означает запуск обученных моделей ИИ для получения результатов в ответ на запросы. Он используется в облачных инфраструктурных сервисах, корпоративных серверах, центрах обработки данных, а также в чипах и системах, предназначенных для ускорения обработки результатов.

Инференс искусственного интеллекта — это этап запуска обученной модели ИИ для обработки запроса и формирования результатов. Он отличается от обучения модели, которое направлено на формирование её возможностей с использованием данных и вычислительных ресурсов.

Где используется инференс?

  • Инфраструктурные сервисы: такие компании, как Modal Labs, предоставляют ресурсы для запуска моделей и вычислительно интенсивных рабочих нагрузок без необходимости напрямую управлять серверами.
  • Специализированные чипы и системы: Etched занимается аппаратными системами, предназначенными для ускорения инференса и снижения его стоимости и задержки по сравнению с альтернативами, упоминаемыми компанией.
  • Центры обработки данных и GPU-модули: Crusoe продаёт вычислительные мощности для запуска моделей ИИ, а также сдаёт в аренду площади и GPU-модули.
  • Корпоративные серверы: Sharp начала принимать заказы на серверы для компаний, государственных организаций и операторов центров обработки данных; заявленные варианты использования включают обучение и инференс.

Почему процесс требует специализированной инфраструктуры?

Инференс опирается на такие вычислительные ресурсы, как графические процессоры, серверы, память, хранилища, сети, электроэнергия и охлаждение. Источники отмечают, что поставщики этих услуг одновременно сталкиваются с растущим спросом и высокими затратами, связанными с приобретением или арендой вычислительных мощностей, что может оказывать давление на маржинальность.

Инференс в продуктах и инфраструктуре

Компании конкурируют в этой сфере на нескольких уровнях: разрабатывают специализированные чипы, создают настраиваемые серверы, предоставляют облачные платформы и строят центры обработки данных, способные запускать большое количество GPU-модулей. Поэтому инференс искусственного интеллекта не ограничивается самой моделью, а требует полноценной операционной экосистемы.

Что следует оценивать?

  • Время отклика: скорость формирования результатов после отправки запроса.
  • Стоимость: затраты на предоставление вычислительных мощностей, электроэнергию, охлаждение и эксплуатацию.
  • Масштабируемость: способность инфраструктуры обслуживать большее количество запросов или моделей.
  • Надёжность: стабильность серверов, платформы и сетей во время работы.

Ограничения доступной информации

Доступные источники не содержат единого сравнения всех поставщиков инференса по ценам, производительности или доле рынка. Кроме того, некоторые приведённые показатели относятся к заявленным целям, планам и финансированию и не обязательно отражают достигнутые операционные результаты.