Cet article est de Pékin par Zhang Xiaojun, auteur de Tencent News "Periscope"
Source de l'image : générée par l'outil d'IA illimitée
Il y a un demi-mois, des centaines de personnalités de l'intelligence artificielle, dont le PDG d'OpenAI Sam Altman et le lauréat du prix Turing Geoffrey Hinton, ont signé une courte déclaration sur la menace de l'IA pour l'extinction humaine.
Cette déclaration ne comporte qu'une seule phrase - "l'atténuation du risque d'extinction de l'intelligence artificielle devrait devenir une priorité mondiale avec d'autres risques à l'échelle de la société tels que les épidémies et la guerre nucléaire".
David Krueger, professeur adjoint de recherche sur l'intelligence artificielle à l'Université de Cambridge, était l'un des initiateurs originaux de la lettre et en est également signataire.
Le 9 juin, Krueger a eu un dialogue approfondi avec Tencent News "Periscope" lors de sa participation à la conférence 2023 de Beijing Zhiyuan. Il s'inquiète depuis longtemps de l'alignement de l'IA et des problèmes de sécurité.Depuis 2012, il s'inquiète du risque potentiel de l'intelligence artificielle pour l'extinction humaine, que l'industrie appelle "X-Risk" (Un risque existentiel).
En réponse aux risques de l'IA, un point de vue rétorque que cette inquiétude intense peut être similaire à la panique excessive des humains lorsque la machine à vapeur est apparue il y a des centaines d'années. Mais Krueger a déclaré que la plus grande différence entre les deux est que la machine à vapeur ne fera pas disparaître les humains, mais l'IA le fera.
Krueger pense que l'IA est plus intelligente que les humains, la concurrence désordonnée et la construction de systèmes d'IA qui ont un impact plus direct sur le monde - ces trois facteurs augmenteront considérablement le facteur de risque que les systèmes d'IA deviennent incontrôlables. "Plus le système est ouvert, plus il est autonome, plus il est intelligent et plus il est conçu pour atteindre des objectifs à long terme, plus le risque que le système devienne incontrôlable est grand", a-t-il déclaré.
Selon lui, la question de la sécurité de l'intelligence artificielle est comme la question du changement climatique mondial. Toutes les parties ont leurs propres intérêts, et il y aura de nombreux conflits et différences, ce qui finira par en faire une question complexe de coordination mondiale. Par conséquent, il est nécessaire de commencer le plus tôt possible et grâce aux efforts de toutes les parties, afin que les êtres humains ne soient pas réduits au sort d'être pris en charge par l'IA.
Ce n'est qu'ainsi que les êtres humains peuvent survivre.
David Kruger
Ce qui suit est l'essentiel du discours de David Krueger.
** 01 La lettre conjointe "Déclaration de risque IA" n'est qu'une phrase, elle est soigneusement conçue **
**Tencent News "Periscope": Vous êtes l'un des signataires de la "Déclaration sur le risque de l'IA". Pouvez-vous nous dire comment cette déclaration est née ? **
David Krueger : J'ai eu cette idée il y a plus d'un an, car les gens sont de plus en plus préoccupés par les risques de l'IA, en particulier le risque que l'IA puisse provoquer l'extinction humaine. En même temps, beaucoup de gens ne discutent pas ouvertement de cette question.
L'une des principales raisons est l'histoire, où l'idée était autrefois considérée comme une idée marginale et les gens craignaient que le fait d'en discuter publiquement les affecte négativement, voire leurs perspectives de carrière.
Il y a quelques mois, un bon moment est arrivé. Depuis la sortie de ChatGPT et GPT-4, l'attention des gens à l'IA a atteint des niveaux sans précédent. Pendant longtemps, on a reconnu qu'il pourrait s'agir d'un problème futur hypothétique, mais il est trop tôt pour le dire.
Quant à savoir comment cette déclaration a été faite, j'ai contacté un certain nombre de collègues, dont Dan Hendrycks, directeur du Center for Artificial Intelligence Safety. Je lui ai dit que nous devrions faire une telle déclaration, et j'ai l'intention de le faire dès que possible. Mais je ne suis pas sûr d'être assez bon pour le faire. C'est urgent. Alors, Dan a pris le sujet et poussé pour l'annonce.
**Tencent News "Periscope": Quels commentaires avez-vous sur le libellé de cette lettre ? **
David Krueger : Je propose d'utiliser une seule phrase. Il existe plusieurs raisons.
Premièrement, lorsque vous avez une longue déclaration, il y a de fortes chances que quelqu'un soit en désaccord avec certaines d'entre elles.
Nous avons vu il y a quelques mois que le Future of Life Institute a lancé un appel à un moratoire immédiat sur tous les laboratoires d'IA formant des systèmes d'IA plus puissants que GPT-4 pendant au moins 6 mois. La réaction de beaucoup de gens à cela est que cela sonne bien, mais je ne pense pas que nous puissions suspendre le développement de l'intelligence artificielle.
Bien sûr, ils ont fait cette déclaration et elle est toujours valable car une fois que les gens disent que nous ne pouvons pas faire de pause, c'est un signe que nous devons agir. Nous avons vraiment besoin de la capacité de suspendre une technologie qui est trop dangereuse pour être développée.
J'utilise cet exemple pour illustrer que plus vous parlez, plus les gens ne sont pas d'accord. Dans ce cas, nous n'avons pas mentionné comment faire face à ce risque, parce que les gens ont des opinions différentes sur la bonne méthode ; nous n'avons pas non plus dit pourquoi cela pourrait conduire à l'extinction humaine, parce que différentes personnes ont des opinions différentes à ce sujet - certains les gens s'inquiètent davantage de la technologie, tandis que d'autres craignent que la technologie ne devienne incontrôlable, ce qui n'est pas le résultat intentionnel d'un acteur malveillant.
Quoi qu'il en soit, tant que beaucoup de gens conviennent qu'il s'agit d'un risque énorme et que nous devons agir, alors ça va.
** 02Le risque IA est fondamentalement différent de la machine à vapeur **
** Tencent News "Periscope": Quelle est la plus grande différence entre les inquiétudes des gens concernant la menace de l'intelligence artificielle et la peur des gens des machines à vapeur il y a deux ou trois cents ans ? **
David Krueger : Je ne connais pas grand-chose à cette histoire. Je ne sais pas si quelqu'un a dit que cela conduirait à l'extinction de l'humanité à l'époque. Si quelqu'un avait dit cela, je ne sais pas non plus quel genre d'arguments ils utiliseraient, cela me semble peu probable.
La principale différence est que nous parlons d'extinction. Nous parlons d'une technologie qui est potentiellement plus intelligente et plus puissante que les humains dans tous les domaines pertinents.
La machine à vapeur nous permet de créer des forces physiques plus fortes et plus rapides que les humains. Mais la machine à vapeur n'est pas intelligente et relativement facile à contrôler. Même si l'un devient incontrôlable, le pire des cas est qu'il fonctionne mal et que ceux qui s'y trouvent pourraient mourir ou être blessés. Mais si un système intelligent ou un système auto-réplicatif devient incontrôlable, beaucoup de gens peuvent mourir parce qu'il peut grandir et gagner plus de puissance, et c'est la principale différence.
** Tencent News "Periscope": Certaines personnes pensent que les déclarations publiques ne peuvent arrêter que les bonnes personnes, en essayant de faire en sorte que les bonnes personnes accordent plus d'attention aux problèmes de sécurité et ralentissent la vitesse de la recherche et du développement, mais elles ne peuvent pas arrêter les actions des mauvaises personnes . Comment prévenir les méchants ? **
David Krueger : Réglementer les comportements par la régulation et la coopération internationale.
Je n'aime pas vraiment en parler en termes de "bons" et "méchants" parce que tout le monde pense toujours qu'ils sont bons. Le principal risque qui m'inquiète n'est pas la manipulation malveillante des systèmes d'IA par un méchant ou un acteur malveillant, mais quelque chose comme le changement climatique - les individus pourraient gagner plus en brûlant plus de combustibles fossiles ou en créant des systèmes plus puissants et plus difficiles à contrôler. avantages, mais chacun a un certain coût. Dans le cas du changement climatique, cela peut causer des dommages à l'environnement. Dans le cas de l'intelligence artificielle, le risque est que le système devienne incontrôlable et conduise à la catastrophe.
C'est plus une question de motivation. En fait, les humains se soucient plus d'eux-mêmes, de leurs amis, de leurs proches et de leur communauté que d'un étranger à l'autre bout du monde. Par conséquent, aucune intention malveillante n'est requise, seulement des instincts égoïstes. C'est pourquoi la réglementation est nécessaire, c'est le moyen de résoudre ce genre de problèmes d'intérêt humain commun.
** Le travail d'alignement 03AI a beaucoup de mystères non résolus **
** Tencent News "Periscope" : vos intérêts de recherche sont l'apprentissage en profondeur, l'alignement de l'IA et la sécurité. Pouvez-vous expliquer ce qu'est l'alignement dans un langage que les gens ordinaires peuvent comprendre ? Vous avez dit que "l'alignement sera l'un des principaux moteurs du développement de l'IA", pourquoi est-ce si important ? **
David Krueger : J'aime dire que les gens ont trois interprétations différentes de cela. L'une consiste à faire en sorte que les systèmes d'IA agissent selon notre volonté. Mais je ne pense pas que ce soit une bonne définition, c'est trop large et chaque ingénieur essaie de faire en sorte que le système d'IA se comporte comme il le souhaite.
Il existe également une définition plus précise, qui est "l'alignement par l'intention". À mon avis, c'est la bonne définition et elle fait référence au fait que le système essaie de faire ce que nous voulons qu'il fasse. Lors de la conception d'un système, vous voulez qu'il ait les bonnes intentions, motivations et objectifs. Il se peut qu'il ne soit toujours pas en mesure d'agir comme vous le souhaitez, car il n'est peut-être pas capable ou assez intelligent pour savoir comment réaliser vos souhaits. Mais s'il a la bonne intention, vous pouvez dire qu'il est aligné.
La signification finale que les gens ont de l'alignement est tout effort technologique visant à réduire le risque d'extinction humaine. Parfois, cela fait aussi référence à la communauté de personnes comme moi qui se spécialisent dans le domaine de l'alignement et de la sécurité. Ce n'est pas non plus ma définition préférée. Ce n'est qu'une idée que les gens ont de la façon de résoudre ce problème. En fin de compte, cependant, des travaux supplémentaires sont nécessaires sur la gouvernance, la réglementation et la coopération internationale, comme la conclusion de traités, qui sont nécessaires pour atténuer ce risque.
** Tencent News "Periscope": Quels nouveaux progrès les entreprises technologiques et les instituts de recherche scientifique ont-ils récemment réalisés dans la technologie d'alignement ? Quels sont les défis et les problèmes les plus pressants auxquels vous êtes confrontés ? **
David Krueger : La chose la plus importante est d'affiner les techniques pour les grands modèles de langage, ils ont fait beaucoup de travail pour changer le comportement du modèle. Par exemple, la différence entre GPT-3 et GPT-4 est que le système est aligné pour agir davantage selon l'intention du concepteur. Principalement par l'apprentissage par renforcement et la rétroaction humaine, bien que les détails ne soient pas publics. Cela a réussi pour la plupart, mais cela n'a pas complètement éliminé les problèmes avec ces modèles.
Je crains que cette technique ne soit pas suffisante pour des systèmes plus robustes, car les changements qu'elle apporte au comportement peuvent être relativement superficiels. Ce problème peut s'aggraver à mesure que le système devient plus puissant.
C'est un peu comme l'analogie de l'entraînement des animaux, comme si vous entraîniez un chien à ne pas monter sur un meuble. Peut-être qu'il le fait très bien lorsque vous êtes là, mais si vous quittez la pièce, il ramasse toujours les meubles. Des situations similaires peuvent se produire dans ces modèles. Ils peuvent sembler alignés, mais ils peuvent toujours mal se comporter s'ils pensent que nous ne remarquerons pas leur mauvaise conduite.
** Tencent News "Periscope": Lorsque l'intelligence artificielle est beaucoup plus intelligente que les humains, comment les humains peuvent-ils terminer le travail d'alignement sur un corps super intelligent? **
David Krueger : C'est une question de recherche ouverte. Par conséquent, il est important de mener des recherches sur l'alignement de l'IA afin de trouver la réponse à cette question.
**Tencent News "Periscope": Comment pouvons-nous faire en sorte que l'IA aime les êtres humains au lieu de leur faire du mal par l'alignement ? **
David Krueger : C'est la même question que la précédente. J'aimerais avoir une réponse, mais je ne la connais pas encore.
04 Ces trois incitations majeures peuvent augmenter le risque d'IA hors de contrôle
** Tencent News "Periscope": Selon vous, à quel moment de l'histoire de l'IA se situe ce moment ? **
David Krueger : Nous avons atteint un point où le monde prend conscience des risques. J'attendais ce moment depuis longtemps.
** Tencent News "Periscope": Depuis que vous avez écouté le cours d'apprentissage en profondeur enseigné par Geoffrey Hinton il y a dix ans, vous craignez que l'IA ne conduise à l'extinction d'êtres humains. Pourquoi avez-vous commencé à vous inquiéter si tôt ? **
David Krueger : Je craignais en principe que cela se produise à un moment donné parce qu'il serait un jour plus intelligent que les humains, mais quand j'ai vu la classe de Hinton, mes préoccupations ont changé. L'apprentissage en profondeur a le potentiel de produire une véritable intelligence que toute autre méthode que j'ai entendue auparavant.
** Tencent News "Periscope": Dans quelles circonstances le système d'intelligence artificielle deviendra-t-il incontrôlable ? **
David Krueger : Premièrement, s'ils sont plus intelligents que nous, vous commencez à vous inquiéter du moment où ils deviennent incontrôlables dans les détails, mais il est difficile de prédire exactement comment cela va se produire.
Un deuxième facteur qui augmente le risque est qu'il y a beaucoup de concurrence pour développer et déployer de puissants systèmes d'IA aussi rapidement que possible. Nous voyons actuellement cette concurrence exister entre Google et Microsoft. Il y a aussi des préoccupations concernant la concurrence internationale, qui pourrait être économique, elle pourrait être géopolitique, elle pourrait même être militaire.
Le troisième facteur est si vous construisez des systèmes d'IA qui ont un impact plus immédiat sur le monde. Les systèmes que nous voyons jusqu'à présent ne sont que des modèles de langage, ils ne font que générer du texte. Mais il y a aussi beaucoup de gens qui cherchent à les combiner avec d'autres systèmes, comme les utiliser pour écrire du code, les utiliser pour contrôler différentes choses, que ce soit en ligne ou les utiliser pour contrôler des choses dans le monde réel. Donner à ces systèmes plus de contrôle et d'autonomie augmente le risque.
En comparant à nouveau cela aux systèmes que nous avons aujourd'hui, qui sont principalement formés pour prédire le texte, c'est un moyen relativement sûr de construire des systèmes - par rapport à demander au système d'atteindre un objectif dans un certain environnement, en particulier par rapport au système dans et C'est plus sûr que d'atteindre des objectifs dans un environnement où le monde réel, le monde physique, interagit fréquemment. Lorsque les systèmes essaient d'atteindre des objectifs dans le monde réel, ils peuvent naturellement essayer d'acquérir plus de ressources et de puissance, car celles-ci sont utiles pour atteindre des objectifs à long terme.
Ainsi, plus un système est ouvert, autonome et intelligent, et plus il est conçu pour atteindre des objectifs à long terme, plus le risque que le système devienne incontrôlable est grand.
** Tencent News "Periscope": Si vous pensez qu'un cadre de collaboration mondiale devrait être formulé pour garantir que les pays suivent des principes et des normes communs dans le développement de l'IA, alors quels devraient être ces principes et normes spécifiques ? **
David Krueger : Nous devons absolument le faire, et nous devons commencer à le faire de toute urgence. Parce que ce sera difficile et nécessitera beaucoup de discussions et de négociations car il y a beaucoup de conflits et de différences entre les différents pays.
Quant aux détails, c'est quelque chose auquel je réfléchis encore. Nous voulons nous assurer que nous avons un organe directeur ou un système de gouvernance très légitime qui peut faire pression pour un moratoire si, à un moment donné, nous en ressentons le besoin. C'est une partie importante de celui-ci.
Les choses se compliquent en ce qui concerne les systèmes que nous développons et déployons. Nous aimerions avoir des mécanismes de test, d'évaluation et de vérification. Nous devrons peut-être également envisager une forme de licence, mais il y a beaucoup de détails à régler. Pour l'instant, je n'ai pas de scénario complet en tête. C'est pourquoi j'espère que nous pourrons inspirer plus de personnes dans l'élaboration des politiques, avec une expertise en politique et en relations internationales, à y réfléchir.
** Tencent News "Periscope": Dans le système d'intelligence artificielle actuel, quels aspects doivent être améliorés dès que possible pour faire face aux risques et menaces potentiels ? **
David Krueger : L'un est la robustesse (Remarque : la robustesse fait référence à la capacité du système à survivre dans des situations anormales et dangereuses). Nos systèmes actuels ont des problèmes importants de robustesse, notamment le problème de la robustesse contradictoire, où de petits changements à une entrée, même imperceptibles pour les humains, peuvent avoir un impact important sur le comportement du système. Ce problème est connu depuis environ 10 ans, mais semble toujours sans solution. Ceci est très problématique si nous considérons des systèmes qui poursuivent un objectif et essayons d'optimiser leur compréhension de cet objectif. Parce que selon leur compréhension de l'objectif, le résultat optimal peut être très différent de ce que nous imaginons ou envisageons. Et les évaluations que nous faisons en ce moment sont difficiles à repérer.
Un autre est notre manque de compréhension du fonctionnement de ces systèmes. Nous voulons vraiment pouvoir comprendre le fonctionnement de ces systèmes, c'est l'un des meilleurs moyens de prédire leur comportement. Nous voulons nous assurer qu'ils ne se comportent pas de manière inattendue et dangereuse dans de nouvelles situations. Ceci est lié au problème de robustesse.
**05 L'extinction humaine est-elle loin ? **
**Tencent News "Periscope": En y regardant maintenant, les êtres humains sont-ils loin de l'extinction ? Combien d'années est-ce prévu? **
David Krueger : Jeffrey Hinton n'arrête pas de dire qu'il nous faudra 20 ans ou moins pour obtenir l'intelligence artificielle générale (IAG), ce qui est un délai raisonnable. C'est assez proche de mon point de vue.
Je pense que les humains pourraient disparaître peu de temps après, mais cela pourrait prendre plus de temps, et je suppose que c'est ce que j'essaie de souligner, même si c'est dans des décennies, nous devons commencer à nous en occuper dès que possible.
Revenons encore à l'analogie du changement climatique. Il nous a fallu des décennies pour commencer à prendre des mesures efficaces, et nous n'en faisons toujours pas assez pour prévenir les conséquences désastreuses du changement climatique. En effet, il s'agit d'un problème complexe de coordination mondiale. L'intelligence artificielle sera confrontée à une situation similaire. Nous devrions commencer le plus tôt possible.
**Tencent News "Periscope": un grand modèle de langage peut-il apporter AGI ? **
David Krueger : Beaucoup de gens se posent cette question en ce moment. Mon propos est plus compliqué. Je dirais que c'est possible, mais il faudra plus probablement le combiner avec d'autres technologies, et peut-être même qu'il faudra développer de nouvelles technologies.
** Tencent News "Periscope": Comment voyez-vous la relation entre les humains et l'intelligence artificielle? L'humain sera-t-il une transition intelligente ? **
David Krueger : Seul le temps nous le dira. J'espère que non. Mais maintenant, c'est une question que nous avons encore une certaine initiative et capacité de guider et de décider comment l'avenir se développera. Si nous pouvons agir de manière intelligente et coordonnée, si nous pouvons avoir de la chance, ce sera à nous, en tant qu'humains, de décider si l'IA prendra le relais à un moment donné.
**Tencent News "Periscope": Hinton a un point de vue très intéressant. Il a dit : "Les chenilles vont extraire des nutriments et ensuite se transformer en papillons. Les gens ont extrait des milliards de nutriments cognitifs. GPT-4 est le papillon humain." Êtes-vous d'accord avec ce point de vue? **
David Krueger : Très poétique, et je ne pense pas que ce soit tout à fait exact, mais peut-être que cela touche à une vérité essentielle qu'un système d'IA n'a pas nécessairement besoin de tout apprendre à la dure à partir de zéro. Les humains doivent passer par une longue évolution pour atteindre le niveau d'intelligence humaine, mais maintenant les humains ont produit tous ces produits culturels, y compris tous les textes sur Internet, ce qui est très inspirant pour les systèmes d'IA. En tant que tels, ils n'ont pas nécessairement besoin de recommencer toute leur évolution pour atteindre un niveau d'intelligence similaire.
**Tencent News "Periscope": Est-ce la première fois que vous venez en Chine ? Quelle est votre impression de venir en Chine ? Avez-vous des suggestions pour le développement de l'intelligence artificielle et des modèles à grande échelle en Chine ? **
David Krueger : C'est la première fois que je viens en Chine. Je viens d'arriver hier matin. Toute la visite a été de rencontrer et de parler aux gens, les gens étaient sympathiques et j'ai eu une bonne expérience ici. Mais je n'ai pas l'impression d'avoir vraiment connu la Chine. Je rencontre juste des chercheurs, malheureusement ce sera un court voyage pour moi, mais j'espère avoir au moins un bon aperçu de Pékin lors de mon dernier jour avant de partir.
(Conseil à la Chine) Je pense qu'il est important de penser et de comprendre la sécurité et l'alignement. D'après les conversations que j'ai eues, il est clair que des gens y travaillent déjà, du moins dans une certaine mesure.
** Tencent News "Periscope": De nombreuses scènes du film "Her" sont progressivement apparues dans notre monde réel. Les humains ont-ils des émotions pour l'intelligence artificielle ? Ressentez-vous un attachement émotionnel au modèle d'IA que vous développez ? **
David Krueger : Je n'en ai pas, mais autant que je sache, certaines personnes en ont.
Des chatbots de petites amies à intelligence artificielle similaires existent, et quelqu'un est devenu émotionnellement dépendant de la relation. C'est une triste conséquence de cette technologie.
Voir l'original
Le contenu est fourni à titre de référence uniquement, il ne s'agit pas d'une sollicitation ou d'une offre. Aucun conseil en investissement, fiscalité ou juridique n'est fourni. Consultez l'Avertissement pour plus de détails sur les risques.
Dialogue avec l'initiateur de la "Déclaration de risque de l'IA" : les moteurs à vapeur ne feront pas disparaître les humains, mais l'IA le fera !
Cet article est de Pékin par Zhang Xiaojun, auteur de Tencent News "Periscope"
Il y a un demi-mois, des centaines de personnalités de l'intelligence artificielle, dont le PDG d'OpenAI Sam Altman et le lauréat du prix Turing Geoffrey Hinton, ont signé une courte déclaration sur la menace de l'IA pour l'extinction humaine.
Cette déclaration ne comporte qu'une seule phrase - "l'atténuation du risque d'extinction de l'intelligence artificielle devrait devenir une priorité mondiale avec d'autres risques à l'échelle de la société tels que les épidémies et la guerre nucléaire".
David Krueger, professeur adjoint de recherche sur l'intelligence artificielle à l'Université de Cambridge, était l'un des initiateurs originaux de la lettre et en est également signataire.
Le 9 juin, Krueger a eu un dialogue approfondi avec Tencent News "Periscope" lors de sa participation à la conférence 2023 de Beijing Zhiyuan. Il s'inquiète depuis longtemps de l'alignement de l'IA et des problèmes de sécurité.Depuis 2012, il s'inquiète du risque potentiel de l'intelligence artificielle pour l'extinction humaine, que l'industrie appelle "X-Risk" (Un risque existentiel).
En réponse aux risques de l'IA, un point de vue rétorque que cette inquiétude intense peut être similaire à la panique excessive des humains lorsque la machine à vapeur est apparue il y a des centaines d'années. Mais Krueger a déclaré que la plus grande différence entre les deux est que la machine à vapeur ne fera pas disparaître les humains, mais l'IA le fera.
Krueger pense que l'IA est plus intelligente que les humains, la concurrence désordonnée et la construction de systèmes d'IA qui ont un impact plus direct sur le monde - ces trois facteurs augmenteront considérablement le facteur de risque que les systèmes d'IA deviennent incontrôlables. "Plus le système est ouvert, plus il est autonome, plus il est intelligent et plus il est conçu pour atteindre des objectifs à long terme, plus le risque que le système devienne incontrôlable est grand", a-t-il déclaré.
Selon lui, la question de la sécurité de l'intelligence artificielle est comme la question du changement climatique mondial. Toutes les parties ont leurs propres intérêts, et il y aura de nombreux conflits et différences, ce qui finira par en faire une question complexe de coordination mondiale. Par conséquent, il est nécessaire de commencer le plus tôt possible et grâce aux efforts de toutes les parties, afin que les êtres humains ne soient pas réduits au sort d'être pris en charge par l'IA.
Ce n'est qu'ainsi que les êtres humains peuvent survivre.
Ce qui suit est l'essentiel du discours de David Krueger.
** 01 La lettre conjointe "Déclaration de risque IA" n'est qu'une phrase, elle est soigneusement conçue **
**Tencent News "Periscope": Vous êtes l'un des signataires de la "Déclaration sur le risque de l'IA". Pouvez-vous nous dire comment cette déclaration est née ? **
David Krueger : J'ai eu cette idée il y a plus d'un an, car les gens sont de plus en plus préoccupés par les risques de l'IA, en particulier le risque que l'IA puisse provoquer l'extinction humaine. En même temps, beaucoup de gens ne discutent pas ouvertement de cette question.
L'une des principales raisons est l'histoire, où l'idée était autrefois considérée comme une idée marginale et les gens craignaient que le fait d'en discuter publiquement les affecte négativement, voire leurs perspectives de carrière.
Il y a quelques mois, un bon moment est arrivé. Depuis la sortie de ChatGPT et GPT-4, l'attention des gens à l'IA a atteint des niveaux sans précédent. Pendant longtemps, on a reconnu qu'il pourrait s'agir d'un problème futur hypothétique, mais il est trop tôt pour le dire.
Quant à savoir comment cette déclaration a été faite, j'ai contacté un certain nombre de collègues, dont Dan Hendrycks, directeur du Center for Artificial Intelligence Safety. Je lui ai dit que nous devrions faire une telle déclaration, et j'ai l'intention de le faire dès que possible. Mais je ne suis pas sûr d'être assez bon pour le faire. C'est urgent. Alors, Dan a pris le sujet et poussé pour l'annonce.
**Tencent News "Periscope": Quels commentaires avez-vous sur le libellé de cette lettre ? **
David Krueger : Je propose d'utiliser une seule phrase. Il existe plusieurs raisons.
Premièrement, lorsque vous avez une longue déclaration, il y a de fortes chances que quelqu'un soit en désaccord avec certaines d'entre elles.
Nous avons vu il y a quelques mois que le Future of Life Institute a lancé un appel à un moratoire immédiat sur tous les laboratoires d'IA formant des systèmes d'IA plus puissants que GPT-4 pendant au moins 6 mois. La réaction de beaucoup de gens à cela est que cela sonne bien, mais je ne pense pas que nous puissions suspendre le développement de l'intelligence artificielle.
Bien sûr, ils ont fait cette déclaration et elle est toujours valable car une fois que les gens disent que nous ne pouvons pas faire de pause, c'est un signe que nous devons agir. Nous avons vraiment besoin de la capacité de suspendre une technologie qui est trop dangereuse pour être développée.
J'utilise cet exemple pour illustrer que plus vous parlez, plus les gens ne sont pas d'accord. Dans ce cas, nous n'avons pas mentionné comment faire face à ce risque, parce que les gens ont des opinions différentes sur la bonne méthode ; nous n'avons pas non plus dit pourquoi cela pourrait conduire à l'extinction humaine, parce que différentes personnes ont des opinions différentes à ce sujet - certains les gens s'inquiètent davantage de la technologie, tandis que d'autres craignent que la technologie ne devienne incontrôlable, ce qui n'est pas le résultat intentionnel d'un acteur malveillant.
Quoi qu'il en soit, tant que beaucoup de gens conviennent qu'il s'agit d'un risque énorme et que nous devons agir, alors ça va.
** 02Le risque IA est fondamentalement différent de la machine à vapeur **
** Tencent News "Periscope": Quelle est la plus grande différence entre les inquiétudes des gens concernant la menace de l'intelligence artificielle et la peur des gens des machines à vapeur il y a deux ou trois cents ans ? **
David Krueger : Je ne connais pas grand-chose à cette histoire. Je ne sais pas si quelqu'un a dit que cela conduirait à l'extinction de l'humanité à l'époque. Si quelqu'un avait dit cela, je ne sais pas non plus quel genre d'arguments ils utiliseraient, cela me semble peu probable.
La principale différence est que nous parlons d'extinction. Nous parlons d'une technologie qui est potentiellement plus intelligente et plus puissante que les humains dans tous les domaines pertinents.
La machine à vapeur nous permet de créer des forces physiques plus fortes et plus rapides que les humains. Mais la machine à vapeur n'est pas intelligente et relativement facile à contrôler. Même si l'un devient incontrôlable, le pire des cas est qu'il fonctionne mal et que ceux qui s'y trouvent pourraient mourir ou être blessés. Mais si un système intelligent ou un système auto-réplicatif devient incontrôlable, beaucoup de gens peuvent mourir parce qu'il peut grandir et gagner plus de puissance, et c'est la principale différence.
** Tencent News "Periscope": Certaines personnes pensent que les déclarations publiques ne peuvent arrêter que les bonnes personnes, en essayant de faire en sorte que les bonnes personnes accordent plus d'attention aux problèmes de sécurité et ralentissent la vitesse de la recherche et du développement, mais elles ne peuvent pas arrêter les actions des mauvaises personnes . Comment prévenir les méchants ? **
David Krueger : Réglementer les comportements par la régulation et la coopération internationale.
Je n'aime pas vraiment en parler en termes de "bons" et "méchants" parce que tout le monde pense toujours qu'ils sont bons. Le principal risque qui m'inquiète n'est pas la manipulation malveillante des systèmes d'IA par un méchant ou un acteur malveillant, mais quelque chose comme le changement climatique - les individus pourraient gagner plus en brûlant plus de combustibles fossiles ou en créant des systèmes plus puissants et plus difficiles à contrôler. avantages, mais chacun a un certain coût. Dans le cas du changement climatique, cela peut causer des dommages à l'environnement. Dans le cas de l'intelligence artificielle, le risque est que le système devienne incontrôlable et conduise à la catastrophe.
C'est plus une question de motivation. En fait, les humains se soucient plus d'eux-mêmes, de leurs amis, de leurs proches et de leur communauté que d'un étranger à l'autre bout du monde. Par conséquent, aucune intention malveillante n'est requise, seulement des instincts égoïstes. C'est pourquoi la réglementation est nécessaire, c'est le moyen de résoudre ce genre de problèmes d'intérêt humain commun.
** Le travail d'alignement 03AI a beaucoup de mystères non résolus **
** Tencent News "Periscope" : vos intérêts de recherche sont l'apprentissage en profondeur, l'alignement de l'IA et la sécurité. Pouvez-vous expliquer ce qu'est l'alignement dans un langage que les gens ordinaires peuvent comprendre ? Vous avez dit que "l'alignement sera l'un des principaux moteurs du développement de l'IA", pourquoi est-ce si important ? **
David Krueger : J'aime dire que les gens ont trois interprétations différentes de cela. L'une consiste à faire en sorte que les systèmes d'IA agissent selon notre volonté. Mais je ne pense pas que ce soit une bonne définition, c'est trop large et chaque ingénieur essaie de faire en sorte que le système d'IA se comporte comme il le souhaite.
Il existe également une définition plus précise, qui est "l'alignement par l'intention". À mon avis, c'est la bonne définition et elle fait référence au fait que le système essaie de faire ce que nous voulons qu'il fasse. Lors de la conception d'un système, vous voulez qu'il ait les bonnes intentions, motivations et objectifs. Il se peut qu'il ne soit toujours pas en mesure d'agir comme vous le souhaitez, car il n'est peut-être pas capable ou assez intelligent pour savoir comment réaliser vos souhaits. Mais s'il a la bonne intention, vous pouvez dire qu'il est aligné.
La signification finale que les gens ont de l'alignement est tout effort technologique visant à réduire le risque d'extinction humaine. Parfois, cela fait aussi référence à la communauté de personnes comme moi qui se spécialisent dans le domaine de l'alignement et de la sécurité. Ce n'est pas non plus ma définition préférée. Ce n'est qu'une idée que les gens ont de la façon de résoudre ce problème. En fin de compte, cependant, des travaux supplémentaires sont nécessaires sur la gouvernance, la réglementation et la coopération internationale, comme la conclusion de traités, qui sont nécessaires pour atténuer ce risque.
** Tencent News "Periscope": Quels nouveaux progrès les entreprises technologiques et les instituts de recherche scientifique ont-ils récemment réalisés dans la technologie d'alignement ? Quels sont les défis et les problèmes les plus pressants auxquels vous êtes confrontés ? **
David Krueger : La chose la plus importante est d'affiner les techniques pour les grands modèles de langage, ils ont fait beaucoup de travail pour changer le comportement du modèle. Par exemple, la différence entre GPT-3 et GPT-4 est que le système est aligné pour agir davantage selon l'intention du concepteur. Principalement par l'apprentissage par renforcement et la rétroaction humaine, bien que les détails ne soient pas publics. Cela a réussi pour la plupart, mais cela n'a pas complètement éliminé les problèmes avec ces modèles.
Je crains que cette technique ne soit pas suffisante pour des systèmes plus robustes, car les changements qu'elle apporte au comportement peuvent être relativement superficiels. Ce problème peut s'aggraver à mesure que le système devient plus puissant.
C'est un peu comme l'analogie de l'entraînement des animaux, comme si vous entraîniez un chien à ne pas monter sur un meuble. Peut-être qu'il le fait très bien lorsque vous êtes là, mais si vous quittez la pièce, il ramasse toujours les meubles. Des situations similaires peuvent se produire dans ces modèles. Ils peuvent sembler alignés, mais ils peuvent toujours mal se comporter s'ils pensent que nous ne remarquerons pas leur mauvaise conduite.
** Tencent News "Periscope": Lorsque l'intelligence artificielle est beaucoup plus intelligente que les humains, comment les humains peuvent-ils terminer le travail d'alignement sur un corps super intelligent? **
David Krueger : C'est une question de recherche ouverte. Par conséquent, il est important de mener des recherches sur l'alignement de l'IA afin de trouver la réponse à cette question.
**Tencent News "Periscope": Comment pouvons-nous faire en sorte que l'IA aime les êtres humains au lieu de leur faire du mal par l'alignement ? **
David Krueger : C'est la même question que la précédente. J'aimerais avoir une réponse, mais je ne la connais pas encore.
04 Ces trois incitations majeures peuvent augmenter le risque d'IA hors de contrôle
** Tencent News "Periscope": Selon vous, à quel moment de l'histoire de l'IA se situe ce moment ? **
David Krueger : Nous avons atteint un point où le monde prend conscience des risques. J'attendais ce moment depuis longtemps.
** Tencent News "Periscope": Depuis que vous avez écouté le cours d'apprentissage en profondeur enseigné par Geoffrey Hinton il y a dix ans, vous craignez que l'IA ne conduise à l'extinction d'êtres humains. Pourquoi avez-vous commencé à vous inquiéter si tôt ? **
David Krueger : Je craignais en principe que cela se produise à un moment donné parce qu'il serait un jour plus intelligent que les humains, mais quand j'ai vu la classe de Hinton, mes préoccupations ont changé. L'apprentissage en profondeur a le potentiel de produire une véritable intelligence que toute autre méthode que j'ai entendue auparavant.
** Tencent News "Periscope": Dans quelles circonstances le système d'intelligence artificielle deviendra-t-il incontrôlable ? **
David Krueger : Premièrement, s'ils sont plus intelligents que nous, vous commencez à vous inquiéter du moment où ils deviennent incontrôlables dans les détails, mais il est difficile de prédire exactement comment cela va se produire.
Un deuxième facteur qui augmente le risque est qu'il y a beaucoup de concurrence pour développer et déployer de puissants systèmes d'IA aussi rapidement que possible. Nous voyons actuellement cette concurrence exister entre Google et Microsoft. Il y a aussi des préoccupations concernant la concurrence internationale, qui pourrait être économique, elle pourrait être géopolitique, elle pourrait même être militaire.
Le troisième facteur est si vous construisez des systèmes d'IA qui ont un impact plus immédiat sur le monde. Les systèmes que nous voyons jusqu'à présent ne sont que des modèles de langage, ils ne font que générer du texte. Mais il y a aussi beaucoup de gens qui cherchent à les combiner avec d'autres systèmes, comme les utiliser pour écrire du code, les utiliser pour contrôler différentes choses, que ce soit en ligne ou les utiliser pour contrôler des choses dans le monde réel. Donner à ces systèmes plus de contrôle et d'autonomie augmente le risque.
En comparant à nouveau cela aux systèmes que nous avons aujourd'hui, qui sont principalement formés pour prédire le texte, c'est un moyen relativement sûr de construire des systèmes - par rapport à demander au système d'atteindre un objectif dans un certain environnement, en particulier par rapport au système dans et C'est plus sûr que d'atteindre des objectifs dans un environnement où le monde réel, le monde physique, interagit fréquemment. Lorsque les systèmes essaient d'atteindre des objectifs dans le monde réel, ils peuvent naturellement essayer d'acquérir plus de ressources et de puissance, car celles-ci sont utiles pour atteindre des objectifs à long terme.
Ainsi, plus un système est ouvert, autonome et intelligent, et plus il est conçu pour atteindre des objectifs à long terme, plus le risque que le système devienne incontrôlable est grand.
** Tencent News "Periscope": Si vous pensez qu'un cadre de collaboration mondiale devrait être formulé pour garantir que les pays suivent des principes et des normes communs dans le développement de l'IA, alors quels devraient être ces principes et normes spécifiques ? **
David Krueger : Nous devons absolument le faire, et nous devons commencer à le faire de toute urgence. Parce que ce sera difficile et nécessitera beaucoup de discussions et de négociations car il y a beaucoup de conflits et de différences entre les différents pays.
Quant aux détails, c'est quelque chose auquel je réfléchis encore. Nous voulons nous assurer que nous avons un organe directeur ou un système de gouvernance très légitime qui peut faire pression pour un moratoire si, à un moment donné, nous en ressentons le besoin. C'est une partie importante de celui-ci.
Les choses se compliquent en ce qui concerne les systèmes que nous développons et déployons. Nous aimerions avoir des mécanismes de test, d'évaluation et de vérification. Nous devrons peut-être également envisager une forme de licence, mais il y a beaucoup de détails à régler. Pour l'instant, je n'ai pas de scénario complet en tête. C'est pourquoi j'espère que nous pourrons inspirer plus de personnes dans l'élaboration des politiques, avec une expertise en politique et en relations internationales, à y réfléchir.
** Tencent News "Periscope": Dans le système d'intelligence artificielle actuel, quels aspects doivent être améliorés dès que possible pour faire face aux risques et menaces potentiels ? **
David Krueger : L'un est la robustesse (Remarque : la robustesse fait référence à la capacité du système à survivre dans des situations anormales et dangereuses). Nos systèmes actuels ont des problèmes importants de robustesse, notamment le problème de la robustesse contradictoire, où de petits changements à une entrée, même imperceptibles pour les humains, peuvent avoir un impact important sur le comportement du système. Ce problème est connu depuis environ 10 ans, mais semble toujours sans solution. Ceci est très problématique si nous considérons des systèmes qui poursuivent un objectif et essayons d'optimiser leur compréhension de cet objectif. Parce que selon leur compréhension de l'objectif, le résultat optimal peut être très différent de ce que nous imaginons ou envisageons. Et les évaluations que nous faisons en ce moment sont difficiles à repérer.
Un autre est notre manque de compréhension du fonctionnement de ces systèmes. Nous voulons vraiment pouvoir comprendre le fonctionnement de ces systèmes, c'est l'un des meilleurs moyens de prédire leur comportement. Nous voulons nous assurer qu'ils ne se comportent pas de manière inattendue et dangereuse dans de nouvelles situations. Ceci est lié au problème de robustesse.
**05 L'extinction humaine est-elle loin ? **
**Tencent News "Periscope": En y regardant maintenant, les êtres humains sont-ils loin de l'extinction ? Combien d'années est-ce prévu? **
David Krueger : Jeffrey Hinton n'arrête pas de dire qu'il nous faudra 20 ans ou moins pour obtenir l'intelligence artificielle générale (IAG), ce qui est un délai raisonnable. C'est assez proche de mon point de vue.
Je pense que les humains pourraient disparaître peu de temps après, mais cela pourrait prendre plus de temps, et je suppose que c'est ce que j'essaie de souligner, même si c'est dans des décennies, nous devons commencer à nous en occuper dès que possible.
Revenons encore à l'analogie du changement climatique. Il nous a fallu des décennies pour commencer à prendre des mesures efficaces, et nous n'en faisons toujours pas assez pour prévenir les conséquences désastreuses du changement climatique. En effet, il s'agit d'un problème complexe de coordination mondiale. L'intelligence artificielle sera confrontée à une situation similaire. Nous devrions commencer le plus tôt possible.
**Tencent News "Periscope": un grand modèle de langage peut-il apporter AGI ? **
David Krueger : Beaucoup de gens se posent cette question en ce moment. Mon propos est plus compliqué. Je dirais que c'est possible, mais il faudra plus probablement le combiner avec d'autres technologies, et peut-être même qu'il faudra développer de nouvelles technologies.
** Tencent News "Periscope": Comment voyez-vous la relation entre les humains et l'intelligence artificielle? L'humain sera-t-il une transition intelligente ? **
David Krueger : Seul le temps nous le dira. J'espère que non. Mais maintenant, c'est une question que nous avons encore une certaine initiative et capacité de guider et de décider comment l'avenir se développera. Si nous pouvons agir de manière intelligente et coordonnée, si nous pouvons avoir de la chance, ce sera à nous, en tant qu'humains, de décider si l'IA prendra le relais à un moment donné.
**Tencent News "Periscope": Hinton a un point de vue très intéressant. Il a dit : "Les chenilles vont extraire des nutriments et ensuite se transformer en papillons. Les gens ont extrait des milliards de nutriments cognitifs. GPT-4 est le papillon humain." Êtes-vous d'accord avec ce point de vue? **
David Krueger : Très poétique, et je ne pense pas que ce soit tout à fait exact, mais peut-être que cela touche à une vérité essentielle qu'un système d'IA n'a pas nécessairement besoin de tout apprendre à la dure à partir de zéro. Les humains doivent passer par une longue évolution pour atteindre le niveau d'intelligence humaine, mais maintenant les humains ont produit tous ces produits culturels, y compris tous les textes sur Internet, ce qui est très inspirant pour les systèmes d'IA. En tant que tels, ils n'ont pas nécessairement besoin de recommencer toute leur évolution pour atteindre un niveau d'intelligence similaire.
**Tencent News "Periscope": Est-ce la première fois que vous venez en Chine ? Quelle est votre impression de venir en Chine ? Avez-vous des suggestions pour le développement de l'intelligence artificielle et des modèles à grande échelle en Chine ? **
David Krueger : C'est la première fois que je viens en Chine. Je viens d'arriver hier matin. Toute la visite a été de rencontrer et de parler aux gens, les gens étaient sympathiques et j'ai eu une bonne expérience ici. Mais je n'ai pas l'impression d'avoir vraiment connu la Chine. Je rencontre juste des chercheurs, malheureusement ce sera un court voyage pour moi, mais j'espère avoir au moins un bon aperçu de Pékin lors de mon dernier jour avant de partir.
(Conseil à la Chine) Je pense qu'il est important de penser et de comprendre la sécurité et l'alignement. D'après les conversations que j'ai eues, il est clair que des gens y travaillent déjà, du moins dans une certaine mesure.
** Tencent News "Periscope": De nombreuses scènes du film "Her" sont progressivement apparues dans notre monde réel. Les humains ont-ils des émotions pour l'intelligence artificielle ? Ressentez-vous un attachement émotionnel au modèle d'IA que vous développez ? **
David Krueger : Je n'en ai pas, mais autant que je sache, certaines personnes en ont.
Des chatbots de petites amies à intelligence artificielle similaires existent, et quelqu'un est devenu émotionnellement dépendant de la relation. C'est une triste conséquence de cette technologie.