Tout le monde semble parler de ChatGPT ces jours-ci grâce à Microsoft Bing, mais étant donné la nature des grands modèles de langage (LLM), un joueur serait pardonné de ressentir un peu de déjà-vu.
Vous voyez, même si les LLM fonctionnent sur d'énormes serveurs cloud, ils utilisent des GPU spéciaux pour effectuer toute la formation dont ils ont besoin pour fonctionner. En règle générale, cela signifie alimenter une quantité carrément obscène de données via des réseaux de neurones fonctionnant sur une matrice GPU avec des cœurs de tenseur sophistiqués, et ce n'est pas seulement beaucoup de puissance, c'est aussi beaucoup de GPU réels pour le faire à grande échelle.
Cela ressemble beaucoup à du cryptominage, mais ce n'en est pas un. Le cryptomining n'a rien à voir avec les algorithmes d'apprentissage automatique, et contrairement à l'apprentissage automatique, la seule valeur du cryptomining est de produire un produit numérique hautement spéculatif appelé un jeton dont certaines personnes pensent qu'il vaut quelque chose et sont donc prêts à y dépenser de l'argent réel.
Cela a donné lieu à une bulle crypto qui a entraîné des pénuries de GPU au cours des deux dernières années lorsque les mineurs de crypto ont acheté toutes les cartes graphiques Nvidia Ampere de 2020 à 2022, laissant les joueurs indifférents. Cette bulle a maintenant éclaté et le stock de GPU s'est maintenant stabilisé.
Mais avec la montée en puissance de ChatGPT, sommes-nous sur le point de voir une répétition des deux dernières années ? C'est peu probable, mais ce n'est pas exclu non plus.
Votre carte graphique ne contrôlera pas les principaux LLM
Bien que vous puissiez penser que la meilleure carte graphique que vous puissiez acheter est le genre de chose que les types d'apprentissage automatique pourraient souhaiter pour leurs configurations, vous vous trompez. À moins que vous ne soyez dans une université à la recherche d'algorithmes d'apprentissage automatique, une carte graphique grand public ne suffira pas à piloter le type d'algorithme dont vous avez besoin.
La plupart des LLM et autres modèles d'IA générative qui produisent des images ou de la musique mettent vraiment l'accent sur le premier L : grand. ChatGPT a traité une quantité insondable de texte, et un GPU grand public n'est pas aussi bien adapté à cette tâche que les GPU de puissance industrielle fonctionnant sur une infrastructure de serveur.
Ce sont les GPU qui seront très demandés, et c'est ce qui rend Nvidia si enthousiaste à propos de ChatGPT - ce n'est pas que ChatGPT aidera les gens, mais qu'il nécessitera à peu près tous les GPU de niveau serveur de Nvidia pour fonctionner, ce qui signifie que Nvidia est sur le point de profiter de l'excitation de ChatGPT.
Le prochain ChatGPT fonctionnera dans le cloud, pas sur du matériel local
À moins que vous ne soyez Google ou Microsoft, vous n'exécutez pas votre propre infrastructure LLM. Vous utilisez quelqu'un d'autre sous la forme de services cloud. Cela signifie que vous n'allez pas avoir un groupe de startups qui achètent toutes les cartes graphiques pour développer leurs propres LLM.
Nous verrons très probablement des modèles LLMaaS, ou Large Language as a Service. Vous aurez des centres de données Microsoft Azure ou Amazon Web Services avec d'énormes fermes de serveurs pleines de GPU prêts à louer pour vos algorithmes d'apprentissage automatique. C'est le genre de chose que les startups adorent. Ils détestent acheter du matériel autre qu'une table de ping-pong ou un fauteuil poire.
Cela signifie qu'à mesure que ChatGPT et d'autres modèles d'IA prolifèrent, ils ne fonctionneront pas localement sur du matériel grand public, même lorsque les personnes qui l'exécutent sont une petite équipe de développeurs. Ils fonctionneront sur du matériel de qualité serveur, donc personne ne viendra chercher votre carte graphique.
Les joueurs ne sont pas encore tirés d'affaire
Alors rien à craindre ? Bien...
Le fait est que, bien que votre RTX 4090 puisse être sûr, la question est de savoir combien de RTX 5090 Nvidia fabriquera lorsqu'il ne dispose que d'une quantité limitée de silicium, et l'utilisation de ce silicium pour les GPU de niveau serveur peut être beaucoup plus rentable. que de l'utiliser pour une carte graphique GeForce ?
S'il y a quelque chose à craindre du boom de ChatGPT, c'est vraiment la possibilité que moins de GPU grand public soient fabriqués parce que les actionnaires exigent plus de GPU de serveur pour maximiser les profits. Ce n'est pas non plus une menace inutile, comme la façon dont les règles du capitalisme sont actuellement écrites, les entreprises sont souvent tenues de faire tout ce qui maximise le profit des actionnaires, et le cloud sera toujours plus rentable que la vente de cartes graphiques aux joueurs.
D'un autre côté, c'est vraiment une chose Nvidia. Team Green est peut-être en train de tout mettre en œuvre sur les GPU de serveur avec un faible stock de cartes graphiques grand public, mais ils ne sont pas les seuls à fabriquer des cartes graphiques.
Les cartes graphiques AMD RDNA 3 viennent d'introduire l'IA matérielle, mais elles ne se rapprochent pas des cœurs tenseurs des cartes Nvidia, faisant de Nvidia le choix de facto pour l'apprentissage automatique. Cela signifie qu'AMD pourrait devenir le fabricant de cartes par défaut pour les joueurs à mesure que Nvidia avance.
C'est tout à fait possible, et contrairement à la crypto, AMD n'est probablement pas une carte LLM de second ordre qui est toujours bonne pour les LLM si vous ne pouvez pas obtenir de carte Nvidia. AMD n'est pas vraiment équipé pour l'apprentissage automatique, surtout pas au niveau requis par les LLM, donc AMD n'est tout simplement pas un facteur ici. Cela signifie qu'il y aura toujours des cartes graphiques classiques pour les joueurs, et des bonnes aussi, il n'y aura peut-être plus autant de cartes Nvidia qu'avant.
Les partisans de l'équipe verte n'aiment peut-être pas cet avenir, mais cela est probablement dû à la montée en puissance de ChatGPT.