Suivez les dernières actualités, explications et histoires technologiques associées.
Un article de la CNCF estime que l’exploitation d’une infrastructure d’intelligence artificielle d’entreprise ne consiste pas à déployer un seul modèle ou cluster, mais à gérer un parc partagé d’unités GPU pour plusieurs équipes, en équilibrant utilisation, isolation et coûts. L’article présente des couches technologiques comprenant le provisionnement, l’allocation, la planification, les réseaux, le stockage, la supervision et la facturation.
L’analyse de la CNCF conclut que la Dynamic Resource Allocation ne rend pas HAMi superflu, mais qu’elle prend en charge l’aspect de la planification des quotas de GPU, tandis que HAMi-core reste responsable de l’application des limites à l’intérieur des conteneurs. L’article présente l’architecture de HAMi-DRA, ses exigences de fonctionnement et les contraintes à prendre en compte avant sa mise en œuvre.