Explosion d'intelligence : pourquoi l'investisseur Ramez Naam doute d'un emballement de l'IA

L'« explosion d'intelligence » est l'une des idées les plus débattues du monde de l'IA : à mesure que les systèmes deviennent capables de s'améliorer eux-mêmes, chaque génération pourrait en construire une meilleure, plus vite que la précédente, jusqu'à atteindre une superintelligence en quelques mois, voire quelques jours. Beaucoup d'acteurs du secteur jugent ce moment proche. Dans un billet invité publié le 27 septembre sur le blog Noahpinion, l'investisseur et auteur Ramez Naam défend la thèse inverse. Le maître des lieux, Noah Smith, se dit pour sa part agnostique : selon lui, l'IA progresse de toute façon assez vite pour devenir très supérieure aux humains dans la plupart des domaines.

La thèse : une boucle trop faible pour s'emballer

Ramez Naam ne nie pas que l'IA contribue déjà à sa propre amélioration, ni que les progrès restent extrêmement rapides. Mais d'après les meilleures données disponibles, estime-t-il, la boucle d'auto-amélioration devrait être environ cinq à dix fois plus forte pour s'entretenir, a fortiori pour s'emballer. Il distingue plusieurs niveaux d'auto-amélioration, des simples gains de productivité pour les chercheurs jusqu'à une boucle fermée menant à la superintelligence, et dit n'avoir vu de preuves claires que pour les premiers niveaux.

Les benchmarks ne reflètent pas la recherche réelle

Selon l'auteur, les évaluations publiques suggèrent des modèles capables de mener seuls des tâches de codage de plusieurs heures. Les données internes publiées par OpenAI montrent un tableau plus modeste : même sur des tâches de recherche qu'un humain accomplit en moins de quinze minutes, les modèles n'aboutissent sans aide que dans 86 % des cas, et la durée de tâche réussie à 80 % tournait autour de quinze minutes. L'écart avec les benchmarks, qu'il chiffre à un facteur d'au moins seize, est à relativiser, reconnaît-il, car les tâches comparées ne sont pas les mêmes, mais il reste selon lui d'un ordre de grandeur. Il relève aussi que, chez Anthropic, des modèles internes participent à plus de 90 % des tâches de recherche et développement, sans qu'aucun cas d'achèvement entièrement autonome ne soit rapporté.

Beaucoup d'activité, peu de progrès mesurable

Les chiffres d'OpenAI cités par Naam montrent une explosion des moyens engagés : 124 fois plus de jetons (les unités de texte traitées par les modèles) par chercheur, environ sept fois plus de lignes de code par ingénieur, mais seulement 1,6 fois plus d'expériences menées par chercheur. Or davantage d'expériences ne produit pas un progrès proportionnel : l'auteur suppose des rendements fortement décroissants, qui feraient d'une hausse de 60 % des expériences un gain de l'ordre de 10 % sur le rythme d'amélioration, une simple spéculation, précise-t-il. Chez Anthropic, une enquête auprès de 130 employés indique une productivité multipliée par environ quatre, et la fiche technique d'un de ses modèles estime qu'il faudrait un gain environ dix fois supérieur pour doubler le rythme global du progrès.

Le calcul de la boucle

S'appuyant sur un modèle économique de Tom Cunningham et de ses collègues, Naam situe le seuil d'une boucle capable de s'auto-entretenir autour de 15 à 19 % de productivité de recherche supplémentaire par point gagné sur l'indice de capacités d'Epoch AI. Les estimations de ces auteurs plaçaient la situation actuelle vers 9 %, déjà sous le seuil. En recalibrant avec les données d'expériences d'OpenAI, Naam arrive plutôt à 2 à 3 %, d'où l'écart de cinq à dix fois. Les gains mesurés sur cet indice, environ 16 points par an depuis début 2024, évoquent selon lui une marche franchie plutôt qu'une accélération continue, obtenue au prix de moyens (puces, énergie, investissements) eux-mêmes en croissance exponentielle.

Pourquoi les bonnes idées se font plus rares

Naam s'appuie sur d'autres domaines, comme la « loi d'Eroom » en pharmacie, où le coût de développement d'un médicament approuvé a doublé environ tous les neuf ans. Il note aussi que multiplier les agents en parallèle rapporte moins qu'on ne l'imagine : selon une analyse de Toby Ord, accélérer une tâche d'un facteur dix avec cent agents coûte dix fois plus de ressources. Il ajoute que les agents ont tendance à avoir des idées proches les unes des autres, et que, d'après les fiches techniques d'Anthropic qu'il cite, les modèles actuels restent plus à l'aise avec des hypothèses prudentes qu'avec de véritables ruptures conceptuelles.

Ce que l'auteur concède

Naam reconnaît qu'il peut se tromper : les prévisionnistes ont régulièrement sous-estimé les progrès de l'IA. Une percée de l'ampleur de l'architecture Transformer, en 2017, pourrait renforcer la boucle et l'obliger à revoir ses estimations. Il admet aussi que l'IA possède déjà une intelligence « étroite » surhumaine dans des domaines vérifiables comme les échecs, le go ou une partie des mathématiques formelles, ce qui ne signifie pas, dit-il, une superintelligence générale pour les tâches plus floues et ouvertes. Il plaide pour que les laboratoires publient davantage de données afin de mesurer la force réelle de cette boucle.

À lire avec prudence

La démonstration repose sur peu de données et sur des hypothèses de modélisation que l'auteur reconnaît lui-même fragiles, notamment l'usage du nombre d'expériences comme indicateur de recherche utile. Les chiffres internes viennent d'OpenAI et d'Anthropic, deux acteurs directement intéressés par le sujet, et leurs mesures ne sont pas comparables entre elles. Naam admet enfin avoir pu accorder trop de poids à quelques observations pour parvenir à une conclusion rassurante, et Noah Smith rappelle que ces raisonnements reposent sur de nombreuses hypothèses. C'est un argument sérieux, pas un verdict.

À lire aussi dans notre réseau :

• « La superintelligence est un mythe » : Cal Newport recadre le débat sur les risques de l'IA
• Dario Amodei appelle l'industrie de l'IA à « ralentir la cadence »