Термины
ИИ-инференс: инференс искусственного интеллекта
Инференс искусственного интеллекта означает запуск обученных моделей ИИ для получения результатов в ответ на запросы. Он используется в облачных инфраструктурных сервисах, корпоративных серверах, центрах обработки данных, а также в чипах и системах, предназначенных для ускорения обработки результатов.
Инференс искусственного интеллекта — это этап запуска обученной модели ИИ для обработки запроса и формирования результатов. Он отличается от обучения модели, которое направлено на формирование её возможностей с использованием данных и вычислительных ресурсов.
Где используется инференс?
- Инфраструктурные сервисы: такие компании, как Modal Labs, предоставляют ресурсы для запуска моделей и вычислительно интенсивных рабочих нагрузок без необходимости напрямую управлять серверами.
- Специализированные чипы и системы: Etched занимается аппаратными системами, предназначенными для ускорения инференса и снижения его стоимости и задержки по сравнению с альтернативами, упоминаемыми компанией.
- Центры обработки данных и GPU-модули: Crusoe продаёт вычислительные мощности для запуска моделей ИИ, а также сдаёт в аренду площади и GPU-модули.
- Корпоративные серверы: Sharp начала принимать заказы на серверы для компаний, государственных организаций и операторов центров обработки данных; заявленные варианты использования включают обучение и инференс.
Почему процесс требует специализированной инфраструктуры?
Инференс опирается на такие вычислительные ресурсы, как графические процессоры, серверы, память, хранилища, сети, электроэнергия и охлаждение. Источники отмечают, что поставщики этих услуг одновременно сталкиваются с растущим спросом и высокими затратами, связанными с приобретением или арендой вычислительных мощностей, что может оказывать давление на маржинальность.
Инференс в продуктах и инфраструктуре
Компании конкурируют в этой сфере на нескольких уровнях: разрабатывают специализированные чипы, создают настраиваемые серверы, предоставляют облачные платформы и строят центры обработки данных, способные запускать большое количество GPU-модулей. Поэтому инференс искусственного интеллекта не ограничивается самой моделью, а требует полноценной операционной экосистемы.
Что следует оценивать?
- Время отклика: скорость формирования результатов после отправки запроса.
- Стоимость: затраты на предоставление вычислительных мощностей, электроэнергию, охлаждение и эксплуатацию.
- Масштабируемость: способность инфраструктуры обслуживать большее количество запросов или моделей.
- Надёжность: стабильность серверов, платформы и сетей во время работы.
Ограничения доступной информации
Доступные источники не содержат единого сравнения всех поставщиков инференса по ценам, производительности или доле рынка. Кроме того, некоторые приведённые показатели относятся к заявленным целям, планам и финансированию и не обязательно отражают достигнутые операционные результаты.