Une semaine de changements majeurs dans l'IA (ou pas ?)

Lorsque les livres d'histoire se pencheront sur cette semaine dans le domaine de l'IA, ils souligneront sans aucun doute le rôle moteur de Deep Seek. Mais cette semaine a-t-elle réellement tout changé comme cela semblait être le cas au début, ou était-ce finalement un peu exagéré ? Aujourd'hui, nous allons analyser cela en détail, ainsi que les résultats de Meta et d'autres rumeurs de financement d'OpenAI dans cette édition spéciale et étendue de l'AI Daily Brief.

Deep Seek continue de dominer les discussions

Le thème dominant reste Deep Seek et tout ce que nous avons appris à son sujet. Nous allons donc reprendre l'histoire là où nous l'avions laissée il y a quelques jours.

L'une des grandes questions était de savoir à quel point ces avancées étaient légitimes. S'agissait-il d'une véritable innovation ou d'une innovation volée ? Les coûts étaient-ils vraiment si bas ou étaient-ils subventionnés ? Était-il vrai que ces modèles avaient été entraînés pour ce qu'ils coûtaient ou y avait-il des puces Nvidia secrètes ?

Un élément notable de cette histoire est la rapidité avec laquelle elle a atteint les plus hauts niveaux de la Maison Blanche. Il y avait clairement une dimension géopolitique à cela et, sans surprise, la Maison Blanche s'est emparée des accusations selon lesquelles Deep Seek n'avait pas été si innovant que cela.

S'exprimant sur Fox News mardi, David Sack, chercheur en IA, a déclaré : "Il existe une technique en IA appelée distillation lorsqu'un modèle apprend d'un autre. Ils peuvent essentiellement imiter le processus de raisonnement qu'ils ont appris du modèle parent. Il existe des preuves substantielles que ce que Deep Seek a fait ici, c'est qu'ils ont distillé les connaissances des modèles d'OpenAI."

Sack semble faire référence à un article du Financial Times qui citait des sources d'OpenAI affirmant qu'ils avaient "vu des preuves de distillation" qu'ils soupçonnaient de provenir de Deep Seek.

OpenAI n'intentera évidemment pas de poursuite pour violation de propriété intellectuelle contre une entreprise basée en Chine, mais du point de vue de l'administration, cela permet, au moins à court terme, de minimiser les réalisations de Deep Seek dans une certaine mesure.

L'argument est essentiellement le suivant : entraîner un modèle de pointe capable à partir de zéro est une tâche difficile et chronophage, l'assemblage des données d'entraînement étant l'un des plus grands obstacles. Distiller un nouveau modèle à partir des sorties d'un modèle plus performant est une tâche nettement plus facile.

Les affirmations sur les coûts d'entraînement de Deep Seek

L'affirmation selon laquelle le coût d'entraînement de Deep Seek serait inférieur à 6 millions de dollars a également fait l'objet de nombreuses discussions. Pour certains experts techniques, cette affirmation semble tenir la route.

Jack Clark d'Anthropic a commenté : "La partie la plus surprenante de Deep Seek R1 est qu'il ne faut qu'environ 800 000 échantillons de bon raisonnement par apprentissage par renforcement pour convertir d'autres modèles en raisonneurs RL. Maintenant que Deep Seek R1 est disponible, les gens pourront affiner les échantillons pour convertir n'importe quel autre modèle en raisonneur RL."

Accelerate Harder a fait le calcul de la quantité de calcul nécessaire pour construire le modèle de base de Deep Seek, en postant : "Deep Seek V3 a 37 milliards de paramètres actifs. Ils ont été entraînés sur 14,8 billions de tokens. L'estimation des flops pour entraîner 37 milliards de paramètres multiplié par 14,8 billions de tokens est de 3,3 e24 flops. Totalement réalisable avec 2,8 millions d'heures h800."

Des expériences à petite échelle pour répliquer et découvrir si les avancées étaient authentiques ont été lancées pratiquement dès que l'article était disponible lundi dernier. Un laboratoire de Berkeley dirigé par Gian a déjà réalisé une minuscule preuve de concept. Ils ont entraîné un modèle de raisonnement extrêmement petit de 1,5 milliard de paramètres pour seulement 30 dollars de calcul.

Jun Shin He, professeur adjoint à l'Université des sciences et technologies de Hong Kong, a publié une réplication plus importante. Son équipe a ajouté le raisonnement au modèle Quen 7B en utilisant 8 000 échantillons d'apprentissage par renforcement. Techniquement, il s'agissait en fait d'une découverte indépendante et simultanée du processus, l'équipe de He travaillant sur le projet depuis deux mois.

Une tentative de réplication à grande échelle est actuellement en cours chez Hugging Face. Leur équipe répète la méthode décrite dans l'article de Deep Seek en utilisant leur propre ensemble de données, car Deep Seek n'a pas divulgué les leurs.

L'adoption de Deep Seek R1 par les startups américaines

Quelles que soient les affirmations, le fait que certaines personnes soient sceptiques n'a pas du tout empêché les startups d'IA basées aux États-Unis de commencer à adopter Deep Seek R1.

Il y a généralement deux catégories que nous observons. La première regroupe les startups d'IA qui servent les modèles d'autres entreprises via leur propre interface utilisateur. Elles ont bien sûr été parmi les plus rapides à ajouter R1. Perplexity est un exemple de premier plan, ayant mis en place l'accès plus tôt dans la semaine.

Le mercredi, Microsoft a annoncé avoir rendu R1 disponible sur Azure AI Foundry et GitHub. Amazon a emboîté le pas le lendemain en ajoutant R1 à AWS Bedrock et SageMaker. Apple n'a pas fait de mouvements d'intégration mais le PDG Tim Cook a déclaré lors d'un appel sur les résultats : "Je pense que l'innovation qui favorise l'efficacité est une bonne chose et c'est ce que vous voyez dans ce modèle."

La deuxième catégorie d'adoption que nous observons concerne les startups qui utilisent R1 dans leurs propres travaux. Pat Gelsinger, ancien PDG d'Intel et président de Glue, a déclaré à TechCrunch : "Mes ingénieurs de Glue utilisent R1 aujourd'hui. Ils pourraient avoir utilisé 01 aussi. Ils ne peuvent accéder à 01 que via les API."

Leur équipe travaille actuellement sur un service d'IA appelé Comm qui offrira un chatbot et des fonctionnalités connexes. Gelsinger a déclaré qu'avec l'aide de R1, son équipe s'attend à avoir reconstruit Comm "avec notre propre modèle de base entièrement open source".

Les implications plus larges

Les réactions du marché au début de la semaine étaient en grande partie dues à la crainte que Deep Seek signifie une baisse de la demande de puces d'IA et de centres de données. Il semble que la plupart des analystes de marché pensent que la majeure partie des centaines de milliards de dollars dépensés par les laboratoires d'IA est allée dans l'infrastructure d'entraînement.

Le scientifique en chef de Meta, Yan Lon, a réfuté cette idée en commentant : "Grave malentendu sur les investissements dans l'infrastructure d'IA. Une grande partie de ces milliards vont dans l'infrastructure d'inférence, pas d'entraînement. Faire fonctionner des services d'assistance IA pour des milliards de personnes nécessite beaucoup de calcul une fois que vous intégrez la compréhension vidéo, le raisonnement, la mémoire à grande échelle et d'autres capacités dans les systèmes d'IA, les coûts d'inférence vont augmenter."

En effet, l'une des grandes leçons de cette semaine est qu'une grande partie de la course à l'IA concerne l'inférence. En d'autres termes, les modèles de plusieurs laboratoires en Chine et aux États-Unis sont suffisamment bons pour de nombreuses tâches à ce stade, et la compétition repose plutôt sur qui peut servir l'IA la moins chère, la plus rapide et la plus stable.

Une autre grande conclusion qui se dégage est que tout dans la pile IA se banalise à un rythme effréné, à l'exception de l'expérience utilisateur finale. Peter Yang, responsable principal des produits chez Roblox, a écrit : "Bientôt, les gens se soucieront plus de leurs applications d'IA préférées que des modèles qui les alimentent. Je me fiche du modèle qui alimente Perplexity, Granola ou Repet. Je me soucie davantage qu'ils aient un savoir-faire élevé et une expérience utilisateur réfléchie, une vitesse ultra-rapide et une intégration transparente dans mes workflows."

Mise à jour des modèles et rumeurs sur OpenAI

Google semble être sur le point de sortir la prochaine itération de son modèle phare, Gemini 2.0 Pro. Le modèle est apparu dans un journal des modifications de l'application de chatbot Gemini.

Pendant ce temps, en Chine, d'autres laboratoires démontrent également leurs capacités. Alibaba a publié Quen 2.5 Max, affirmant qu'il surpassait Deep Seek R1, GPT-4 et CLA 3.5 Sonet sur une série de tests de raisonnement et de connaissances.

En ce qui concerne OpenAI, le Wall Street Journal a rapporté que la société était en pourparlers préliminaires pour lever jusqu'à 40 milliards de dollars dans un tour de table qui verrait l'entreprise valorisée jusqu'à 300 milliards de dollars. SoftBank mènerait le tour de table et chercherait à prendre la plus grande partie de l'accord en investissant entre 15 et 25 milliards de dollars.

OpenAI a également annoncé jeudi l'un de ses plus importants projets gouvernementaux à ce jour. La société fournira l'accès à son modèle de raisonnement 01 aux laboratoires nationaux américains, le réseau de laboratoires de R&D exploités par le département de l'énergie. Selon OpenAI, jusqu'à 15 000 scientifiques utiliseront 01 pour "accélérer la science fondamentale, identifier de nouvelles approches pour le traitement et la prévention des maladies, améliorer la cybersécurité du réseau électrique américain et approfondir notre compréhension des forces qui régissent l'univers, des mathématiques fondamentales à la physique des hautes énergies".

Conclusion

Voilà qui conclut ce qui a été une semaine folle, peut-être devrais-je dire une autre semaine folle, dans le domaine de l'intelligence artificielle. Le plus fou dans tout ça, c'est que je pense n'avoir probablement prononcé le mot "agent" qu'une ou deux fois.

Quoi qu'il en soit, j'espère que vous vous sentez maintenant à jour. Nous serons de retour ce week-end avec l'épisode des lectures longues et nous reviendrons à notre approche normale lundi. Pour l'instant, merci d'avoir écouté ou regardé comme toujours, et à la prochaine, en paix.