Cerebras Systems, fabricant du plus grand processeur au monde, a battu le record du modèle d'IA le plus complexe formé sur un seul appareil.
À l'aide d'un système CS-2, alimenté par la puce de la taille d'une tranche de la société (WSE-2), Cerebras peut désormais former des modèles d'IA avec jusqu'à 20 milliards de paramètres grâce à de nouvelles optimisations au niveau logiciel.
La société affirme que cette percée résoudra l'un des problèmes les plus frustrants pour les ingénieurs en intelligence artificielle : la nécessité de partitionner des modèles à grande échelle sur des milliers de GPU. Le résultat est une opportunité de réduire considérablement le temps nécessaire pour développer et former de nouveaux modèles.
Cerebras apporte l'IA aux masses
Dans des sous-disciplines telles que le traitement du langage naturel (TAL), les performances du modèle sont en corrélation linéaire avec le nombre de paramètres. En d'autres termes, plus le modèle est grand, meilleur est le résultat final.
Aujourd'hui, le développement de produits d'IA à grande échelle implique traditionnellement de diffuser un modèle sur un grand nombre de GPU ou d'accélérateurs, soit parce qu'il y a trop de paramètres à stocker en mémoire, soit parce qu'il y a des performances de calcul insuffisantes pour gérer les charges de travail d'entraînement.
"Este proceso es doloroso y suele llevar meses", explicó Cerebras. Para empeorar las cosas, el proceso es único para cada par de clústeres de cómputo de la red, por lo que el trabajo no es transferible entre diferentes clústeres de cómputo o redes neuronales. Es completamente a medida. »
Bien que les modèles les plus complexes comprennent plus de 20 milliards de paramètres, la possibilité de former des modèles d'IA à relativement grande échelle sur un seul appareil CS-2 supprime ces goulots d'étranglement pour beaucoup, accélérant le développement pour les acteurs existants et démocratisant l'accès pour ceux qui n'en étaient pas capables auparavant. faire cela. . participer à l'espace.
« La capacité de Cerebras à fournir au grand public de grands modèles de langage avec un accès simple et économique inaugure une nouvelle ère passionnante de l'IA. Il offre aux organisations qui ne peuvent pas se permettre de dépenser des dizaines de millions un chemin facile et abordable vers le NLP de grande ligue », a déclaré Dan Olds, directeur de recherche, Intersect360 Research.
"Será interesante ver las nuevas aplicaciones y los descubrimientos que harán los clientes de CS-2 al entrenar los modelos de clase GPT-3 y GPT-J en conjuntos de datos masivos".
Además, Cerebras insinuó que su sistema CS-2 podría manejar modelos aún más grandes en el futuro, con "incluso trillones de parámetros". Mientras tanto, encadenar varios sistemas CS-2 podría allanar el camino para redes de IA más grandes que el cerebro humano.