Termes

Inférence de l’IA : raisonnement de l’intelligence artificielle

L’inférence de l’IA désigne l’exécution de modèles d’intelligence artificielle entraînés afin de produire des résultats en réponse à des requêtes. Cette utilisation apparaît dans les services d’infrastructure cloud, les serveurs d’entreprise, les centres de données, ainsi que dans les puces et systèmes conçus pour accélérer le traitement des sorties.

L’inférence de l’IA est l’étape durant laquelle un modèle d’intelligence artificielle entraîné traite une requête et produit des sorties. Elle se distingue de l’entraînement du modèle, qui vise à développer ses capacités à l’aide de données et de ressources de calcul.

Où l’inférence est-elle utilisée ?

  • Services d’infrastructure : des entreprises comme Modal Labs fournissent des ressources pour exécuter des modèles et des charges de travail exigeant beaucoup de calcul, sans gérer directement les serveurs.
  • Puces et systèmes spécialisés : Etched se concentre sur des systèmes matériels destinés à accélérer l’inférence et à en réduire le coût et la latence par rapport aux solutions citées par l’entreprise.
  • Centres de données et unités GPU : Crusoe vend de la capacité de calcul destinée à exécuter des modèles d’intelligence artificielle, en plus de louer des espaces et des unités GPU.
  • Serveurs d’entreprise : Sharp a commencé à accepter des commandes de serveurs destinés aux entreprises, aux organismes publics et aux opérateurs de centres de données. Les utilisations annoncées comprennent l’entraînement et l’inférence.

Pourquoi ce processus nécessite-t-il une infrastructure spécialisée ?

L’inférence repose sur des ressources de calcul telles que les unités de traitement graphique, les serveurs, la mémoire, le stockage, les réseaux, ainsi que l’énergie et le refroidissement. Les sources indiquent que les fournisseurs de ces services font simultanément face à une demande croissante et à des coûts élevés liés à l’achat ou à la location de capacité de calcul, ce qui peut peser sur les marges bénéficiaires.

L’inférence dans les produits et l’infrastructure

Les entreprises se livrent concurrence à plusieurs niveaux dans ce domaine : conception de puces personnalisées, construction de serveurs configurables, fourniture de plateformes cloud et création de centres de données capables d’exploiter un grand nombre d’unités GPU. L’inférence de l’IA ne se limite donc pas au modèle lui-même : elle nécessite un écosystème opérationnel complet.

Quels éléments faut-il évaluer ?

  • Temps de réponse : vitesse à laquelle les sorties sont produites après l’envoi d’une requête.
  • Coût : coût de la fourniture de la capacité de calcul, de l’énergie, du refroidissement et de l’exploitation.
  • Évolutivité : capacité de l’infrastructure à traiter un plus grand nombre de requêtes ou de modèles.
  • Fiabilité : stabilité des serveurs, de la plateforme et des réseaux pendant l’exploitation.

Limites des informations disponibles

Les sources disponibles ne fournissent pas de comparaison uniforme de l’ensemble des fournisseurs d’inférence en matière de prix, de performances ou de parts de marché. En outre, certains chiffres concernent des objectifs, des projets ou des financements annoncés et ne représentent pas nécessairement des résultats opérationnels réalisés.