Dans le domaine de l'intelligence artificielle, la rencontre entre la foi et la technologie a donné lieu à un débat intense autour de l'efficacité et du développement futur de la "loi de l'expansion". Cet article examine l'émergence de cette "religion amère", ses divergences et ses impacts potentiels, révélant la complexité de la relation entre la foi et la science. La communauté de l'intelligence artificielle est plongée dans une querelle sur son avenir et sur la capacité de créer la doctrine divine. Cet article est tiré d'un article de Mario Gabriele compilé et traduit par Block unicorn. (Rappel : xAI de Musk a levé 600 millions de dollars lors de son tour de financement de série C, avec la participation de Nvidia, BlackRock, a16z, etc.) (Contexte : L'arrivée imminente de ChatGPT de l'IA physique Jetson Thor de Nvidia ?) La guerre sainte de l'intelligence artificielle Je préférerais vivre ma vie comme s'il y avait un Dieu et découvrir à ma mort qu'il n'y en a pas, plutôt que de vivre ma vie comme s'il n'y en avait pas et découvrir à ma mort qu'il y en a un. - Blaise Pascal La religion est une chose intéressante. Peut-être parce qu'elle est totalement impossible à prouver dans n'importe quelle direction, ou peut-être comme ma citation préférée : "Vous ne pouvez pas lutter contre les sentiments avec des faits." La caractéristique de la foi religieuse est qu'elle se développe à une vitesse incroyable lors de la hausse, au point qu'il est presque impossible de douter de l'existence de Dieu. Comment pouvez-vous douter de l'existence d'une existence sacrée lorsque les gens autour de vous y croient de plus en plus ? Où y a-t-il encore de la place pour les hérétiques lorsque le monde se réorganise autour d'une doctrine ? Où est l'espace pour l'opposition lorsque les temples et les cathédrales, les lois et les normes sont tous organisés autour d'un nouvel évangile inébranlable ? Lorsque les religions d'Abraham sont apparues pour la première fois et se sont propagées à travers les continents, ou lorsque le bouddhisme s'est propagé à travers toute l'Asie, l'énorme énergie de la foi a créé une boucle d'auto-renforcement. Avec de plus en plus de personnes converties et des systèmes théologiques et rituels complexes construits autour de ces croyances, il est devenu de plus en plus difficile de remettre en question ces hypothèses fondamentales. Dans un océan de croyances, il n'est pas facile d'être un hérétique. Les magnifiques églises, les textes sacrés complexes et les monastères prospères sont tous des preuves manifestes de l'existence divine. Mais l'histoire de la religion nous montre également à quel point de telles structures sont fragiles. Avec la propagation du christianisme dans la péninsule scandinave, la vieille religion nordique s'est effondrée en seulement quelques générations. Le système religieux de l'ancienne Égypte a duré des milliers d'années, mais a finalement disparu lorsque de nouvelles croyances plus durables ont émergé et que de plus grandes structures de pouvoir sont apparues. Même à l'intérieur de la même religion, nous voyons des divisions dramatiques - la Réforme a déchiré le christianisme occidental, tandis que le Grand Schisme a conduit à la division entre les églises orientales et occidentales. Ces divisions commencent souvent par des divergences doctrinales apparemment mineures, pour évoluer progressivement vers des systèmes de croyances totalement différents. Les Écritures Dieu est une métaphore au-delà de toute pensée intellectuelle. C'est aussi simple que ça. - Joseph Campbell En termes simples, croire en Dieu, c'est la religion. Peut-être que créer Dieu n'est pas si différent. Depuis sa création, les chercheurs en intelligence artificielle optimistes ont imaginé leur travail comme une création divine - la création de Dieu. Au cours des dernières années, l'explosion des grands modèles de langue (LLMs) a renforcé la conviction des croyants selon laquelle nous sommes sur une voie divine. Cela a également confirmé un article de blog écrit en 2019. Bien que les personnes en dehors du domaine de l'intelligence artificielle n'aient découvert cela que récemment, "La leçon amère" de Richard Sutton, un scientifique canadien en informatique, est devenue un texte de plus en plus important dans la communauté, passant d'une connaissance secrète à une base religieuse nouvelle et précieuse. Dans les 1 113 mots (chaque religion nécessite un chiffre sacré), Sutton a résumé une observation technique : "La plus grande leçon à tirer de 70 ans de recherche en intelligence artificielle est que l'utilisation de méthodes générales de calcul est finalement la plus efficace et offre un avantage énorme." Les progrès des modèles d'IA sont dus à l'augmentation exponentielle des ressources de calcul, portée par la grande vague de la loi de Moore. En même temps, Sutton a souligné que de nombreux travaux de recherche en intelligence artificielle se concentrent sur l'optimisation des performances grâce à des techniques spécialisées - en augmentant les connaissances humaines ou les outils étroits. Bien que ces optimisations puissent être utiles à court terme, Sutton estime qu'elles finissent par gaspiller du temps et des ressources, comme ajuster les ailerons de surf ou essayer une nouvelle cire pendant une énorme vague. C'est la base de ce que nous appelons la "religion amère". Elle n'a qu'une seule loi, souvent appelée "loi d'expansion", qui stipule que la hausse exponentielle du calcul stimule l'efficacité ; tout le reste est stupide. La religion amère s'étend de la pièce de piège d'expansion des grands modèles de langue (LLMs) au modèle mondial, et se propage rapidement à travers des temples non transformés tels que la biologie, la chimie et l'incarnation de l'intelligence (robotique et véhicules autonomes). Cependant, avec la propagation de la doctrine de Sutton, la définition commence à changer. C'est le signe de toutes les religions actives et vitales - le débat, l'extension, les annotations. La "loi d'expansion" ne signifie plus seulement l'expansion du calcul de piège d'expansion (l'arche n'est pas seulement un bateau), elle se réfère maintenant à une variété de méthodes qui visent à améliorer les transformateurs et l'efficacité de calcul, y compris certaines astuces. Maintenant, le classique comprend les tentatives d'optimisation de chaque partie de la pile d'IA, des astuces appliquées au modèle central lui-même (combinaison de modèles, mélange d'experts (MoE) et extraction de connaissances) jusqu'à la génération de données synthétiques pour nourrir ces dieux toujours affamés, avec une multitude d'expériences menées entre les deux. Les sectes en guerre Récemment, un problème a surgi dans la communauté de l'intelligence artificielle, qui a une atmosphère de guerre sainte, à savoir si la "religion amère" est encore correcte. Cette semaine, Harvard, Stanford et le MIT ont publié un nouvel article intitulé "La loi d'expansion de la précision", qui a suscité un débat. L'article traite de la fin des gains d'efficacité de la technique de quantification, une série de techniques visant à améliorer la performance des modèles d'IA et bénéfique à l'écosystème Open Source. Tim Dettmers, un scientifique de la recherche à l'Institut de recherche sur l'intelligence artificielle d'Allen, a résumé son importance dans le post ci-dessous, le qualifiant de "l'article le plus important depuis longtemps". Il représente la continuation d'une conversation qui a pris de l'ampleur ces dernières semaines et révèle une tendance à noter : la consolidation croissante de deux religions. Le PDG d'OpenAI, Sam Altman, et le PDG d'Anthropic, Dario Amodei, appartiennent à la même secte. Tous deux ont déclaré avec confiance que nous atteindrons l'intelligence artificielle générale (AGI) dans les 2-3 prochaines années. Altman et Amodei sont peut-être les deux personnalités qui ont le plus confiance en la sacralité de la "religion amère". Toutes leurs mesures incitatives tendent à surestimer et à créer le plus grand battage médiatique possible pour accumuler du capital dans ce jeu presque entièrement dominé par l'économie d'échelle. Si la "loi d'expansion" n'est pas "Alpha et Oméga", le début et la fin, alors pourquoi avez-vous besoin de 22 milliards de dollars ? L'ancien scientifique en chef d'OpenAI, Ilya Sutskever, défend la loi d'expansion différente. Lui et d'autres chercheurs (y compris de nombreux chercheurs internes d'OpenAI, selon des informations récemment divulguées) pensent que la "loi d'expansion" approche de sa limite. Ce groupe estime que de nouvelles sciences et recherches sont nécessaires pour maintenir les progrès et amener l'AGI dans le monde réel. Sutskever a raisonnablement souligné que la continuelle expansion de la loi d'expansion d'Altman est économiquement insoutenable. Tout comme l'IA...
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
Une religion amère : une guerre sainte qui se déploie autour de la loi d'extension de l'extension de l'IA.
Dans le domaine de l'intelligence artificielle, la rencontre entre la foi et la technologie a donné lieu à un débat intense autour de l'efficacité et du développement futur de la "loi de l'expansion". Cet article examine l'émergence de cette "religion amère", ses divergences et ses impacts potentiels, révélant la complexité de la relation entre la foi et la science. La communauté de l'intelligence artificielle est plongée dans une querelle sur son avenir et sur la capacité de créer la doctrine divine. Cet article est tiré d'un article de Mario Gabriele compilé et traduit par Block unicorn. (Rappel : xAI de Musk a levé 600 millions de dollars lors de son tour de financement de série C, avec la participation de Nvidia, BlackRock, a16z, etc.) (Contexte : L'arrivée imminente de ChatGPT de l'IA physique Jetson Thor de Nvidia ?) La guerre sainte de l'intelligence artificielle Je préférerais vivre ma vie comme s'il y avait un Dieu et découvrir à ma mort qu'il n'y en a pas, plutôt que de vivre ma vie comme s'il n'y en avait pas et découvrir à ma mort qu'il y en a un. - Blaise Pascal La religion est une chose intéressante. Peut-être parce qu'elle est totalement impossible à prouver dans n'importe quelle direction, ou peut-être comme ma citation préférée : "Vous ne pouvez pas lutter contre les sentiments avec des faits." La caractéristique de la foi religieuse est qu'elle se développe à une vitesse incroyable lors de la hausse, au point qu'il est presque impossible de douter de l'existence de Dieu. Comment pouvez-vous douter de l'existence d'une existence sacrée lorsque les gens autour de vous y croient de plus en plus ? Où y a-t-il encore de la place pour les hérétiques lorsque le monde se réorganise autour d'une doctrine ? Où est l'espace pour l'opposition lorsque les temples et les cathédrales, les lois et les normes sont tous organisés autour d'un nouvel évangile inébranlable ? Lorsque les religions d'Abraham sont apparues pour la première fois et se sont propagées à travers les continents, ou lorsque le bouddhisme s'est propagé à travers toute l'Asie, l'énorme énergie de la foi a créé une boucle d'auto-renforcement. Avec de plus en plus de personnes converties et des systèmes théologiques et rituels complexes construits autour de ces croyances, il est devenu de plus en plus difficile de remettre en question ces hypothèses fondamentales. Dans un océan de croyances, il n'est pas facile d'être un hérétique. Les magnifiques églises, les textes sacrés complexes et les monastères prospères sont tous des preuves manifestes de l'existence divine. Mais l'histoire de la religion nous montre également à quel point de telles structures sont fragiles. Avec la propagation du christianisme dans la péninsule scandinave, la vieille religion nordique s'est effondrée en seulement quelques générations. Le système religieux de l'ancienne Égypte a duré des milliers d'années, mais a finalement disparu lorsque de nouvelles croyances plus durables ont émergé et que de plus grandes structures de pouvoir sont apparues. Même à l'intérieur de la même religion, nous voyons des divisions dramatiques - la Réforme a déchiré le christianisme occidental, tandis que le Grand Schisme a conduit à la division entre les églises orientales et occidentales. Ces divisions commencent souvent par des divergences doctrinales apparemment mineures, pour évoluer progressivement vers des systèmes de croyances totalement différents. Les Écritures Dieu est une métaphore au-delà de toute pensée intellectuelle. C'est aussi simple que ça. - Joseph Campbell En termes simples, croire en Dieu, c'est la religion. Peut-être que créer Dieu n'est pas si différent. Depuis sa création, les chercheurs en intelligence artificielle optimistes ont imaginé leur travail comme une création divine - la création de Dieu. Au cours des dernières années, l'explosion des grands modèles de langue (LLMs) a renforcé la conviction des croyants selon laquelle nous sommes sur une voie divine. Cela a également confirmé un article de blog écrit en 2019. Bien que les personnes en dehors du domaine de l'intelligence artificielle n'aient découvert cela que récemment, "La leçon amère" de Richard Sutton, un scientifique canadien en informatique, est devenue un texte de plus en plus important dans la communauté, passant d'une connaissance secrète à une base religieuse nouvelle et précieuse. Dans les 1 113 mots (chaque religion nécessite un chiffre sacré), Sutton a résumé une observation technique : "La plus grande leçon à tirer de 70 ans de recherche en intelligence artificielle est que l'utilisation de méthodes générales de calcul est finalement la plus efficace et offre un avantage énorme." Les progrès des modèles d'IA sont dus à l'augmentation exponentielle des ressources de calcul, portée par la grande vague de la loi de Moore. En même temps, Sutton a souligné que de nombreux travaux de recherche en intelligence artificielle se concentrent sur l'optimisation des performances grâce à des techniques spécialisées - en augmentant les connaissances humaines ou les outils étroits. Bien que ces optimisations puissent être utiles à court terme, Sutton estime qu'elles finissent par gaspiller du temps et des ressources, comme ajuster les ailerons de surf ou essayer une nouvelle cire pendant une énorme vague. C'est la base de ce que nous appelons la "religion amère". Elle n'a qu'une seule loi, souvent appelée "loi d'expansion", qui stipule que la hausse exponentielle du calcul stimule l'efficacité ; tout le reste est stupide. La religion amère s'étend de la pièce de piège d'expansion des grands modèles de langue (LLMs) au modèle mondial, et se propage rapidement à travers des temples non transformés tels que la biologie, la chimie et l'incarnation de l'intelligence (robotique et véhicules autonomes). Cependant, avec la propagation de la doctrine de Sutton, la définition commence à changer. C'est le signe de toutes les religions actives et vitales - le débat, l'extension, les annotations. La "loi d'expansion" ne signifie plus seulement l'expansion du calcul de piège d'expansion (l'arche n'est pas seulement un bateau), elle se réfère maintenant à une variété de méthodes qui visent à améliorer les transformateurs et l'efficacité de calcul, y compris certaines astuces. Maintenant, le classique comprend les tentatives d'optimisation de chaque partie de la pile d'IA, des astuces appliquées au modèle central lui-même (combinaison de modèles, mélange d'experts (MoE) et extraction de connaissances) jusqu'à la génération de données synthétiques pour nourrir ces dieux toujours affamés, avec une multitude d'expériences menées entre les deux. Les sectes en guerre Récemment, un problème a surgi dans la communauté de l'intelligence artificielle, qui a une atmosphère de guerre sainte, à savoir si la "religion amère" est encore correcte. Cette semaine, Harvard, Stanford et le MIT ont publié un nouvel article intitulé "La loi d'expansion de la précision", qui a suscité un débat. L'article traite de la fin des gains d'efficacité de la technique de quantification, une série de techniques visant à améliorer la performance des modèles d'IA et bénéfique à l'écosystème Open Source. Tim Dettmers, un scientifique de la recherche à l'Institut de recherche sur l'intelligence artificielle d'Allen, a résumé son importance dans le post ci-dessous, le qualifiant de "l'article le plus important depuis longtemps". Il représente la continuation d'une conversation qui a pris de l'ampleur ces dernières semaines et révèle une tendance à noter : la consolidation croissante de deux religions. Le PDG d'OpenAI, Sam Altman, et le PDG d'Anthropic, Dario Amodei, appartiennent à la même secte. Tous deux ont déclaré avec confiance que nous atteindrons l'intelligence artificielle générale (AGI) dans les 2-3 prochaines années. Altman et Amodei sont peut-être les deux personnalités qui ont le plus confiance en la sacralité de la "religion amère". Toutes leurs mesures incitatives tendent à surestimer et à créer le plus grand battage médiatique possible pour accumuler du capital dans ce jeu presque entièrement dominé par l'économie d'échelle. Si la "loi d'expansion" n'est pas "Alpha et Oméga", le début et la fin, alors pourquoi avez-vous besoin de 22 milliards de dollars ? L'ancien scientifique en chef d'OpenAI, Ilya Sutskever, défend la loi d'expansion différente. Lui et d'autres chercheurs (y compris de nombreux chercheurs internes d'OpenAI, selon des informations récemment divulguées) pensent que la "loi d'expansion" approche de sa limite. Ce groupe estime que de nouvelles sciences et recherches sont nécessaires pour maintenir les progrès et amener l'AGI dans le monde réel. Sutskever a raisonnablement souligné que la continuelle expansion de la loi d'expansion d'Altman est économiquement insoutenable. Tout comme l'IA...