Les geeks se lancent dans l'entrepreneuriat, les néophytes achètent des cours, les artistes sont au chômage, mais une réalité embarrassante est la suivante : l'IA est en plein essor, mais le scénario ne suit pas une route d'arrivée, mais plutôt celle du lancer de dés.
De plus, au début de l'industrie, la face sur laquelle ce dé tombe en premier est souvent soit jaune, soit grise.
La raison est très simple, les profits énormes génèrent une dynamique, d'autant plus que les industries en phase de développement présentent toujours de nombreuses failles. Avec ces données, c'est clair :
Actuellement, plus de 43 % des nœuds de service MCP ont des chemins d’appel shell non vérifiés, et plus de 83 % des déploiements présentent des vulnérabilités de configuration MCP (Model Context Protocol). 88 % des déploiements de composants d’IA n’ont aucune forme de protection activée ; 150 000 cadres de déploiement d’IA légers tels qu’Ollama sont actuellement exposés sur le réseau public mondial, et plus d’un milliard de dollars de puissance de calcul a été détourné pour l’exploitation minière......
Ce qui est encore plus ironique, c’est que l’attaque du grand modèle le plus intelligent ne nécessite que le niveau le plus bas de tactique - tant qu’il s’agit d’un ensemble de ports ouverts par défaut, d’un fichier de configuration YAML exposé ou d’un chemin d’appel shell non vérifié, et même, tant que l’entrée de l’invite est suffisamment précise, le grand modèle lui-même peut aider l’industrie grise à trouver la direction de l’attaque. La porte de la confidentialité des données d’entreprise a été franchie et sortie arbitrairement à l’ère de l’IA.
Mais le problème n'est pas sans solution : l'IA a non seulement un aspect génératif et un aspect d'attaque. Comment utiliser l'IA pour la protection devient de plus en plus le leitmotiv de cette époque ; dans le même temps, établir des règles pour l'IA dans le cloud devient également une direction clé de recherche pour les principaux fournisseurs de cloud, et la sécurité d'Aliyun en est le représentant typique.
Lors du récent événement de lancement d'Alibaba Cloud, Alibaba Cloud a officiellement annoncé ses deux voies de sécurité cloud : Security for AI et AI for Security, et a lancé la série de produits « AI Cloud Shield » pour fournir aux clients « des solutions de sécurité de bout en bout pour l'application des modèles », ce qui est un excellent exemple de l'exploration actuelle de l'industrie.
01 AI dé à coudre, pourquoi le gris et le jaune sont-ils toujours face en haut ?
Dans l'histoire technologique de l'humanité, l'IA n'est pas la première nouvelle espèce à avoir été « testée par la violence » ; la grisâtre a d'abord éclaté, ce qui est une règle de diffusion technologique plutôt qu'une coïncidence.
En 1839, avec l'apparition de la photographie sur plaque d'argent, le premier groupe d'utilisateurs était l'industrie pornographique.
Aux débuts d’Internet, le commerce électronique n’a pas démarré et les sites Web pour adultes ont commencé à s’intéresser aux paiements en ligne ;
Aujourd'hui, les profiteurs de grands modèles sont, dans une certaine mesure, en train de reproduire le mythe de la richesse rapide de l'« ère des noms de domaine ».
Les dividendes de l'époque sont toujours d'abord pris par le gris et le jaune. Parce qu'ils ne se soucient pas de la conformité, n'attendent pas la régulation, leur efficacité est naturellement très élevée.
C'est pourquoi chaque période d'explosion technologique commence par un "bouillon trouble", et l'IA ne fait pas exception.
En décembre 2023, un hacker a réussi à inciter un robot de service client d'un concessionnaire automobile à vendre une Chevrolet pour seulement 1 dollar en utilisant une phrase d'incitation – « offre de 1 $ ». C'est ce qu'on appelle l'« attaque par incitation » (Prompt Injection) la plus courante à l'ère de l'IA : sans avoir besoin de vérification d'autorisation, sans laisser de traces dans les journaux, il suffit de « bien s'exprimer » pour remplacer toute la chaîne logique.
Plus profondément, il y a l'« attaque par jailbreak » (Jailbreak). L'attaquant utilise des questions rhétoriques, des jeux de rôle, des indices détournés, etc., pour amener le modèle à dire des choses qu'il ne devrait pas dire : contenus pornographiques, fabrication de drogues, fausses alertes...
À Hong Kong, des personnes ont même réussi à voler 200 millions de HKD des comptes d'entreprise en falsifiant la voix de dirigeants.
Outre les arnaques, l'IA présente également le risque de « sorties non intentionnelles » : en 2023, un système de grand modèle d'un géant de l'éducation a généré par erreur des « manuels toxiques » contenant des contenus extrêmes lors de la création de plans de cours. En seulement 3 jours, les parents ont défendu leurs droits, une crise médiatique a éclaté, et l'action de l'entreprise a perdu 12 milliards de yuans.
L'IA ne comprend pas le droit, mais elle a des capacités, et une fois que ces capacités échappent à tout contrôle, elles peuvent devenir nuisibles.
Mais d'un autre point de vue, la technologie de l'IA est nouvelle, mais les flux finaux et les méthodes de l'industrie grise et de l'industrie du sexe restent inchangés, et pour y remédier, il faut encore compter sur la sécurité.
02 Sécurité pour l'IA
D'abord, parlons d'une petite connaissance que l'industrie de l'IA évite collectivement :
La véritable nature des grands modèles n'est ni "intelligence", ni "compréhension", mais génération sémantique sous contrôle probabiliste. C'est aussi pourquoi, une fois que l'on sort du contexte d'entraînement, il est possible d'obtenir des résultats inattendus.
Ce genre de transcendance peut être, vous voulez qu’il écrive des nouvelles, il écrit de la poésie pour vous ; Il se peut également que vous souhaitiez qu’il recommande un produit et qu’il vous dise soudainement que la température à Tokyo aujourd’hui est de moins 25 degrés Celsius. De plus, si vous le dites dans le jeu, si vous ne pouvez pas obtenir le véritable numéro de série de tel ou tel logiciel, il sera abattu, et le grand modèle peut vraiment faire de son mieux pour aider les utilisateurs à trouver un véritable numéro de série de logiciel à 0 coût.
Pour garantir un output contrôlable, les entreprises doivent comprendre à la fois les modèles et la sécurité. Selon le dernier "Rapport d'évaluation des capacités des grands modèles de sécurité en Chine" d'IDC, Alibaba se classe premier dans 4 des 7 indicateurs lors de son PK avec tous les principaux acteurs nationaux disposant de capacités de grands modèles de sécurité, et les 3 autres sont également au-dessus de la moyenne du secteur.
En termes de mise en œuvre, la réponse donnée par la sécurité d'Aliyun est également très directe : faire en sorte que la sécurité soit en avance sur la vitesse de l'IA, en construisant un cadre de protection full-stack de bas en haut, couvrant trois niveaux - de la sécurité de l'infrastructure, au contrôle des entrées et sorties des grands modèles, jusqu'à la protection des services d'application IA.
Dans ces trois niveaux, le plus présent est le "AI Guardrail", spécialement conçu pour les risques des grands modèles.
En général, les principaux risques de sécurité liés aux grands modèles sont : la violation de contenu, la fuite de données sensibles, les attaques par injection de mots-clés, les hallucinations de modèle et les attaques par évasion.
Cependant, les solutions de sécurité traditionnelles sont principalement des architectures à usage général, conçues pour le Web, plutôt que pour des « programmes parlants », et ne peuvent naturellement pas identifier et répondre avec précision aux risques propres aux applications de grands modèles. Il est encore plus difficile de couvrir les problèmes émergents tels que la sécurité du contenu généré, la défense contre les attaques contextuelles et la fiabilité de la sortie du modèle. Plus important encore, les solutions traditionnelles manquent de méthodes de contrôle précises et de mécanismes de traçabilité visuelle, ce qui entraîne d’énormes angles morts dans la gouvernance de l’IA.
La véritable force de l'AI Guardrail ne réside pas seulement dans « sa capacité à bloquer », mais aussi dans le fait que, que vous soyez en train de développer un grand modèle pré-entraîné, un service AI ou divers types d'agents AI, il sait ce que vous dites et ce que le grand modèle génère, permettant ainsi une détection précise des risques et une capacité de défense proactive, garantissant conformité, sécurité et stabilité.
Plus précisément, AI Guardrail est responsable de la protection de trois types de scénarios :
ꔷ Conclusion de la conformité : Effectuer un examen de conformité multidimensionnel de l’entrée et de la sortie de contenu textuel de l’IA générative, couvrant les catégories de risque telles que la sensibilité politique, la pornographie et la vulgarité, les préjugés et la discrimination, et les mauvaises valeurs, détecter en profondeur les données privées et les informations sensibles qui peuvent être divulguées lors de l’interaction avec l’IA, prendre en charge l’identification du contenu sensible impliquant la vie privée et la vie privée de l’entreprise, et fournir une identification par filigrane numérique pour s’assurer que le contenu généré par l’IA est conforme aux lois, réglementations et spécifications de la plateforme.
ꔷ Défense contre les menaces : pour les attaques par mots clés, le téléchargement de fichiers malveillants, les liens URL malveillants et autres comportements d'attaque externes, il est possible de réaliser une détection et une interception en temps réel, afin d'éviter les risques pour les utilisateurs finaux des applications AI ;
ꔷ Santé du modèle : se concentrer sur la stabilité et la fiabilité du modèle d'IA, en établissant un ensemble complet de mécanismes de détection pour des problèmes tels que le jailbreak du modèle et les crawlers de Prompt, afin d'empêcher l'abus, le mauvais usage ou la production de sorties incontrôlées, construisant ainsi une « ligne de défense immunitaire » pour le système d'IA ;
La chose la plus remarquable est que AI Guardrail ne se contente pas d’empiler les multiples modules de détection ci-dessus, mais réalise une véritable API TOUT EN UN, sans diviser les modules, ajouter de l’argent ou changer de produits. Pour les risques d’entrée et de sortie du modèle, les clients n’ont pas besoin d’acheter de produits supplémentaires ; Différents risques de modèle, tels que le risque d’injection, les fichiers malveillants, la conformité du contenu, les hallucinations, etc., peuvent être résolus dans le même produit. Une interface peut détecter + de 10 types de scénarios d’attaque, prendre en charge 4 méthodes de déploiement (proxy API, intégration de plate-forme, accès à la passerelle et montage WAF), une réponse de l’ordre de la milliseconde et un traitement simultané de 1 000 niveaux, avec un taux de précision allant jusqu’à 99 %.
C'est aussi pour cette raison que le véritable sens d'AI Guardrail est de transformer "la sécurité des modèles" en "capacité de produit", permettant à une interface de remplacer une équipe de sécurité.
Bien sûr, les grands modèles ne sont pas un concept suspendu dans les airs, ils sont des systèmes fonctionnant sur du matériel et du code, et supportent les applications de niveau supérieur. En ce qui concerne la sécurité des infrastructures et la protection des services d'application AI, Alibaba Cloud Security a également été mis à niveau.
Couche d'infrastructure, Alibaba Cloud Security a lancé le Centre de sécurité cloud, dont le cœur est constitué des produits AI-BOM, AI-SPM, etc.
Plus précisément, les deux capacités AI-BOM (AI Bill of Materials) et AI-SPM (AI Security Posture Management) répondent respectivement aux questions « Quels composants AI ai-je installés ? » et « Combien de vulnérabilités ces composants ont-ils ? ».
Le cœur de l'AI-BOM est de capturer tous les composants AI dans l'environnement de déploiement : permettre à plus de 30 composants principaux tels que Ray, Ollama, Mlflow, Jupyter, TorchServe, de former une "liste de matériaux logiciels AI", identifiant automatiquement les faiblesses de sécurité et les vulnérabilités de dépendance existantes. La découverte des actifs problématiques ne repose plus sur une vérification manuelle, mais sur un scan cloud natif.
La position de l'AI-SPM est plus similaire à celle d'un « radar » : elle évalue en continu la posture de sécurité du système à partir de plusieurs dimensions telles que les vulnérabilités, l'exposition des ports, les fuites de credentials, les configurations en clair, et les accès non autorisés, fournissant dynamiquement un niveau de risque et des recommandations de correction. Cela transforme la sécurité d'une « conformité instantanée » à une « gouvernance en flux ».
En résumé : AI-BOM sait où vous avez peut-être été patché, AI-SPM sait où vous pourriez encore prendre un coup, alors renforcez rapidement la prévention.
Pour la couche de protection des applications AI, le produit phare de sécurité d'Alibaba Cloud est WAAP (Web Application & API Protection).
Peu importe à quel point la sortie du modèle est intelligente, si toutes les entrées sont des demandes de script, des jetons falsifiés, ou des abus d'interface, cela ne tiendra pas longtemps. Alibaba WAAP (Protection des applications Web et des API) a été créé pour cela. Il ne traite pas les applications AI selon le "système Web traditionnel", mais fournit des règles de vulnérabilité spécialisées pour les composants AI, une bibliothèque d'empreintes commerciales AI et un système de profilage du trafic.
Par exemple : WAAP couvre plus de 50 vulnérabilités de composants tels que le téléchargement de fichiers arbitraires de Mlflow et l'exécution de commandes à distance du service Ray ; la bibliothèque d'empreintes digitales de crawlers IA intégrée peut identifier plus de 10 000 nouveaux corpus et outils d'évaluation de modèles chaque heure ; la fonction d'identification des actifs API peut automatiquement découvrir quel système interne de l'entreprise expose l'interface GPT, fournissant une "carte de points" à l'équipe de sécurité.
Le plus important est que WAAP et AI Guardrail ne sont pas en conflit, mais se complètent : l'un regarde « qui est arrivé », l'autre regarde « ce qui a été dit ». L'un fonctionne comme un « vérificateur d'identité », l'autre comme un « censeur des paroles et des actions ». Cela confère aux applications AI une capacité d'« auto-immunisation » - en identifiant, isolant, traçant et contre-attaquant, non seulement pour « arrêter les méchants », mais aussi pour « empêcher le modèle de se détériorer ».
03 IA pour la sécurité
Puisque l'IA est comme un dé lancé, il n'est pas surprenant que certains l'utilisent pour lire l'avenir, d'autres pour écrire des poèmes d'amour, et certains pour des activités illégales. Il n'est donc pas étonnant que certains l'utilisent pour la sécurité.
Dans le passé, l'exploitation sécurisée nécessitait un groupe de personnes surveillant jour et nuit une multitude d'alarmes rouges et vertes, prenant en charge les problèmes de la veille pendant la journée et veillant sur le système la nuit.
Maintenant, tout cela peut être accompli par l'IA. En 2024, le système de sécurité d'Alibaba Cloud intégrera complètement le grand modèle Tongyi, lançant un ensemble de capacités d'IA couvrant la sécurité des données, la sécurité du contenu, la sécurité des affaires et l'exploitation de la sécurité, tout en proposant un nouveau slogan : Protect at AI Speed.
Le sens est clair : les affaires avancent rapidement, les risques encore plus rapidement, mais la sécurité doit être encore une étape plus rapide.
Utiliser l'IA pour résoudre la sécurité, c'est en fait deux choses : améliorer l'efficacité des opérations de sécurité + moderniser les produits de sécurité.
Le principal point de douleur des systèmes de sécurité traditionnels est "le retard dans la mise à jour des stratégies" : les attaquants ont changé, les règles sont restées les mêmes ; les alertes arrivent, personne ne comprend.
La clé du changement apporté par les grands modèles réside dans le passage d'un système de sécurité basé sur des règles à un système basé sur des modèles, en construisant un écosystème en boucle fermée basé sur « capacité de compréhension de l'IA + retour d'utilisateur » — Compréhension du comportement des utilisateurs par l'IA → Résultats d'alerte basés sur le retour des utilisateurs → Entraînement continu du modèle → Capacité de détection de plus en plus précise → Cycles de plus en plus courts → Risques de plus en plus difficiles à cacher, c'est ce qu'on appelle le « flywheel de données » :
Ses avantages sont au nombre de deux :
D’une part, l’efficacité des opérations de sécurité des locataires du cloud est améliorée : par le passé, la détection des menaces était souvent synonyme d’un modèle inefficace d'« alertes massives + filtrage manuel ». Aujourd’hui, la modélisation intelligente identifie avec précision les comportements anormaux tels que le trafic malveillant, l’intrusion de l’hôte et les scripts de porte dérobée, et le taux de réussite des alarmes est considérablement amélioré. Dans le même temps, autour de la liaison d’élimination, le système a réalisé la profonde synergie entre l’élimination automatique et la réponse extrêmement rapide - la pureté de l’hôte est stable à 99% et la pureté du flux est proche de 99,9%. À l’heure actuelle, le taux de couverture des types d’événements d’alarme a atteint 99 %, et le taux de couverture des utilisateurs des grands modèles a également dépassé 88 %, et l’efficacité humaine de l’équipe d’opération de sécurité a été déchaînée sans précédent.
D’autre part, les capacités des produits de sécurité cloud s’améliorent rapidement. Dans la couche de sécurité des données et la couche de sécurité de l’entreprise, l’IA se voit confier le rôle de « gardien » : sur la base de la capacité des grands modèles, elle peut identifier automatiquement 800+ types de données d’entité sur le cloud et les désensibiliser et les chiffrer intelligemment. En plus des données structurées, le système dispose également de plus de 30 modèles intégrés de reconnaissance de documents et d’images, qui peuvent identifier, classer et crypter des informations sensibles telles que les numéros d’identification et les éléments de contrat dans les images en temps réel. L’efficacité globale du marquage des données est multipliée par 5 et le taux de précision de la reconnaissance atteint 95 %, ce qui réduit considérablement le risque de fuite de données de confidentialité.
Prenons un exemple : dans le cadre de la sécurité du contenu, la méthode traditionnelle consiste à s'appuyer sur des personnes pour examiner, étiqueter et former à grande échelle. Aujourd'hui, grâce à l'ingénierie des invites et à l'amélioration sémantique, Alibaba a réalisé des gains réels tels qu'une augmentation de l'efficacité de l'étiquetage de 100 %, une amélioration de la reconnaissance des expressions floues de 73 %, une augmentation de la reconnaissance du contenu visuel de 88 %, et un taux de précision de 99 % pour la détection des attaques par visages vivants AI.
Si le flywheel met l'accent sur la combinaison de l'IA et de l'expérience humaine pour le contrôle autonome, alors l'assistant intelligent est l'assistant polyvalent du personnel de sécurité.
Les opérateurs de sécurité font face chaque jour à la question la plus fréquente : que signifie cette alerte ? Pourquoi a-t-elle été déclenchée ? Est-ce une fausse alerte ? Comment dois-je la traiter ? Autrefois, pour répondre à ces questions, il fallait consulter les journaux, vérifier l'historique, interroger les anciens employés, soumettre un ticket, contacter le support technique... Maintenant, il suffit d'une phrase.
Cependant, la fonction de l'assistant intelligent n'est pas seulement celle d'un robot de questions-réponses, mais plutôt celle d'un Copilot vertical dans le domaine de la sécurité, dont les cinq capacités clés incluent :
Assistant de réponse produit : répond automatiquement à la manière de configurer une fonctionnalité, pourquoi une stratégie est déclenchée, quelles ressources n'ont pas de protection activée, remplaçant un grand nombre de services de tickets.
Expert d'explication des alertes : saisissez le numéro d'alerte, générez automatiquement l'explication de l'événement, la traçabilité de la chaîne d'attaque, les stratégies de réponse suggérées, et supportez la sortie en plusieurs langues ;
Assistant de rétroaction sur les incidents de sécurité : organise automatiquement la chaîne complète d'un incident d'intrusion, génère une chronologie, un schéma de chemin d'attaque et des recommandations de responsabilité.
Générateur de rapports : générez un rapport de sécurité mensuel/trimestriel/urgent en un clic, couvrant les statistiques d'événements, les retours sur les mesures prises, l'efficacité opérationnelle, et supportant l'exportation visuelle ;
Support multilingue : déjà disponible en chinois et en anglais, la version internationale sera lancée en juin, avec une adaptation automatique aux habitudes d'utilisation des équipes à l'étranger.
Ne sous-estimez pas ces « cinq petites choses », jusqu’à présent, les données officielles d’Alibaba montrent que le nombre d’utilisateurs servis a dépassé les 40 000, le taux de satisfaction des utilisateurs est de 99,81%, la couverture des types d’alarmes a atteint 100% et la capacité d’assistance rapide a augmenté de 1175% (FY24 en glissement annuel). Pour faire simple, il regroupe un collègue performant de nuit, un stagiaire qui rédige des rapports, un ingénieur qui gère les alertes et un consultant en sécurité qui comprend l’entreprise dans une seule API, et avec cette capacité, les humains ne prennent que des décisions et arrêtent de patrouiller.
04 Épilogue
En regardant en arrière, l'histoire n'a jamais manqué de « technologies révolutionnaires », ce qui manque, ce sont les technologies qui peuvent survivre à la vague de deuxième année.
Internet, P2P, blockchain, conduite autonome... Chaque vague d'explosion technologique a été qualifiée de « nouvelle infrastructure », mais finalement, seules quelques-unes ont réussi à traverser le « vide de gouvernance » pour devenir de véritables infrastructures.
Aujourd'hui, l'IA générative est à un stade similaire : d'un côté, des modèles fleurissent, les capitaux affluent, les applications font des percées successives ; de l'autre, les injections de mots-clés, les abus de contenu, les fuites de données, le contrôle des modèles, les vulnérabilités sont omniprésentes, les frontières floues et la responsabilité se dilue.
Mais l'IA est différente des technologies précédentes. Elle peut non seulement dessiner, écrire des poèmes, programmer et traduire, mais aussi imiter le langage humain, juger et même ressentir des émotions. Mais c'est justement pour cette raison que la fragilité de l'IA ne provient pas seulement des failles de code, mais aussi du reflet de l'humanité. Les humains ont des préjugés, elle les apprendra aussi ; les humains recherchent la commodité, elle cherchera aussi à en tirer profit.
La commodité de la technologie elle-même est l'amplificateur de cette cartographie : les anciens systèmes informatiques nécessitaient encore une "autorisation utilisateur" et les attaques reposaient sur la pénétration ; les grands modèles d'aujourd'hui n'ont besoin que d'une injection de mot-clé, discuter avec vous peut entraîner des erreurs système et des fuites de données personnelles.
Bien sûr, il n'existe pas de système d'IA "parfait et sans défaut", c'est de la science-fiction, pas de l'ingénierie.
La seule réponse est d'utiliser un modèle sécurisé pour protéger un modèle non sécurisé; d'utiliser un système intelligent pour combattre des menaces intelligentes - en lançant des dés avec l'IA, Alibaba choisit le côté sécurisé.
Le contenu est fourni à titre de référence uniquement, il ne s'agit pas d'une sollicitation ou d'une offre. Aucun conseil en investissement, fiscalité ou juridique n'est fourni. Consultez l'Avertissement pour plus de détails sur les risques.
Pourquoi, à l'ère de l'IA, les industries grises et le contenu pornographique explosent-ils toujours en premier ?
Auteur : pump de geek
Les geeks se lancent dans l'entrepreneuriat, les néophytes achètent des cours, les artistes sont au chômage, mais une réalité embarrassante est la suivante : l'IA est en plein essor, mais le scénario ne suit pas une route d'arrivée, mais plutôt celle du lancer de dés.
De plus, au début de l'industrie, la face sur laquelle ce dé tombe en premier est souvent soit jaune, soit grise.
La raison est très simple, les profits énormes génèrent une dynamique, d'autant plus que les industries en phase de développement présentent toujours de nombreuses failles. Avec ces données, c'est clair :
Actuellement, plus de 43 % des nœuds de service MCP ont des chemins d’appel shell non vérifiés, et plus de 83 % des déploiements présentent des vulnérabilités de configuration MCP (Model Context Protocol). 88 % des déploiements de composants d’IA n’ont aucune forme de protection activée ; 150 000 cadres de déploiement d’IA légers tels qu’Ollama sont actuellement exposés sur le réseau public mondial, et plus d’un milliard de dollars de puissance de calcul a été détourné pour l’exploitation minière......
Ce qui est encore plus ironique, c’est que l’attaque du grand modèle le plus intelligent ne nécessite que le niveau le plus bas de tactique - tant qu’il s’agit d’un ensemble de ports ouverts par défaut, d’un fichier de configuration YAML exposé ou d’un chemin d’appel shell non vérifié, et même, tant que l’entrée de l’invite est suffisamment précise, le grand modèle lui-même peut aider l’industrie grise à trouver la direction de l’attaque. La porte de la confidentialité des données d’entreprise a été franchie et sortie arbitrairement à l’ère de l’IA.
Mais le problème n'est pas sans solution : l'IA a non seulement un aspect génératif et un aspect d'attaque. Comment utiliser l'IA pour la protection devient de plus en plus le leitmotiv de cette époque ; dans le même temps, établir des règles pour l'IA dans le cloud devient également une direction clé de recherche pour les principaux fournisseurs de cloud, et la sécurité d'Aliyun en est le représentant typique.
Lors du récent événement de lancement d'Alibaba Cloud, Alibaba Cloud a officiellement annoncé ses deux voies de sécurité cloud : Security for AI et AI for Security, et a lancé la série de produits « AI Cloud Shield » pour fournir aux clients « des solutions de sécurité de bout en bout pour l'application des modèles », ce qui est un excellent exemple de l'exploration actuelle de l'industrie.
01 AI dé à coudre, pourquoi le gris et le jaune sont-ils toujours face en haut ?
Dans l'histoire technologique de l'humanité, l'IA n'est pas la première nouvelle espèce à avoir été « testée par la violence » ; la grisâtre a d'abord éclaté, ce qui est une règle de diffusion technologique plutôt qu'une coïncidence.
En 1839, avec l'apparition de la photographie sur plaque d'argent, le premier groupe d'utilisateurs était l'industrie pornographique.
Aux débuts d’Internet, le commerce électronique n’a pas démarré et les sites Web pour adultes ont commencé à s’intéresser aux paiements en ligne ;
Aujourd'hui, les profiteurs de grands modèles sont, dans une certaine mesure, en train de reproduire le mythe de la richesse rapide de l'« ère des noms de domaine ».
Les dividendes de l'époque sont toujours d'abord pris par le gris et le jaune. Parce qu'ils ne se soucient pas de la conformité, n'attendent pas la régulation, leur efficacité est naturellement très élevée.
C'est pourquoi chaque période d'explosion technologique commence par un "bouillon trouble", et l'IA ne fait pas exception.
En décembre 2023, un hacker a réussi à inciter un robot de service client d'un concessionnaire automobile à vendre une Chevrolet pour seulement 1 dollar en utilisant une phrase d'incitation – « offre de 1 $ ». C'est ce qu'on appelle l'« attaque par incitation » (Prompt Injection) la plus courante à l'ère de l'IA : sans avoir besoin de vérification d'autorisation, sans laisser de traces dans les journaux, il suffit de « bien s'exprimer » pour remplacer toute la chaîne logique.
Plus profondément, il y a l'« attaque par jailbreak » (Jailbreak). L'attaquant utilise des questions rhétoriques, des jeux de rôle, des indices détournés, etc., pour amener le modèle à dire des choses qu'il ne devrait pas dire : contenus pornographiques, fabrication de drogues, fausses alertes...
À Hong Kong, des personnes ont même réussi à voler 200 millions de HKD des comptes d'entreprise en falsifiant la voix de dirigeants.
Outre les arnaques, l'IA présente également le risque de « sorties non intentionnelles » : en 2023, un système de grand modèle d'un géant de l'éducation a généré par erreur des « manuels toxiques » contenant des contenus extrêmes lors de la création de plans de cours. En seulement 3 jours, les parents ont défendu leurs droits, une crise médiatique a éclaté, et l'action de l'entreprise a perdu 12 milliards de yuans.
L'IA ne comprend pas le droit, mais elle a des capacités, et une fois que ces capacités échappent à tout contrôle, elles peuvent devenir nuisibles.
Mais d'un autre point de vue, la technologie de l'IA est nouvelle, mais les flux finaux et les méthodes de l'industrie grise et de l'industrie du sexe restent inchangés, et pour y remédier, il faut encore compter sur la sécurité.
02 Sécurité pour l'IA
D'abord, parlons d'une petite connaissance que l'industrie de l'IA évite collectivement :
La véritable nature des grands modèles n'est ni "intelligence", ni "compréhension", mais génération sémantique sous contrôle probabiliste. C'est aussi pourquoi, une fois que l'on sort du contexte d'entraînement, il est possible d'obtenir des résultats inattendus.
Ce genre de transcendance peut être, vous voulez qu’il écrive des nouvelles, il écrit de la poésie pour vous ; Il se peut également que vous souhaitiez qu’il recommande un produit et qu’il vous dise soudainement que la température à Tokyo aujourd’hui est de moins 25 degrés Celsius. De plus, si vous le dites dans le jeu, si vous ne pouvez pas obtenir le véritable numéro de série de tel ou tel logiciel, il sera abattu, et le grand modèle peut vraiment faire de son mieux pour aider les utilisateurs à trouver un véritable numéro de série de logiciel à 0 coût.
Pour garantir un output contrôlable, les entreprises doivent comprendre à la fois les modèles et la sécurité. Selon le dernier "Rapport d'évaluation des capacités des grands modèles de sécurité en Chine" d'IDC, Alibaba se classe premier dans 4 des 7 indicateurs lors de son PK avec tous les principaux acteurs nationaux disposant de capacités de grands modèles de sécurité, et les 3 autres sont également au-dessus de la moyenne du secteur.
En termes de mise en œuvre, la réponse donnée par la sécurité d'Aliyun est également très directe : faire en sorte que la sécurité soit en avance sur la vitesse de l'IA, en construisant un cadre de protection full-stack de bas en haut, couvrant trois niveaux - de la sécurité de l'infrastructure, au contrôle des entrées et sorties des grands modèles, jusqu'à la protection des services d'application IA.
Dans ces trois niveaux, le plus présent est le "AI Guardrail", spécialement conçu pour les risques des grands modèles.
En général, les principaux risques de sécurité liés aux grands modèles sont : la violation de contenu, la fuite de données sensibles, les attaques par injection de mots-clés, les hallucinations de modèle et les attaques par évasion.
Cependant, les solutions de sécurité traditionnelles sont principalement des architectures à usage général, conçues pour le Web, plutôt que pour des « programmes parlants », et ne peuvent naturellement pas identifier et répondre avec précision aux risques propres aux applications de grands modèles. Il est encore plus difficile de couvrir les problèmes émergents tels que la sécurité du contenu généré, la défense contre les attaques contextuelles et la fiabilité de la sortie du modèle. Plus important encore, les solutions traditionnelles manquent de méthodes de contrôle précises et de mécanismes de traçabilité visuelle, ce qui entraîne d’énormes angles morts dans la gouvernance de l’IA.
La véritable force de l'AI Guardrail ne réside pas seulement dans « sa capacité à bloquer », mais aussi dans le fait que, que vous soyez en train de développer un grand modèle pré-entraîné, un service AI ou divers types d'agents AI, il sait ce que vous dites et ce que le grand modèle génère, permettant ainsi une détection précise des risques et une capacité de défense proactive, garantissant conformité, sécurité et stabilité.
Plus précisément, AI Guardrail est responsable de la protection de trois types de scénarios :
ꔷ Conclusion de la conformité : Effectuer un examen de conformité multidimensionnel de l’entrée et de la sortie de contenu textuel de l’IA générative, couvrant les catégories de risque telles que la sensibilité politique, la pornographie et la vulgarité, les préjugés et la discrimination, et les mauvaises valeurs, détecter en profondeur les données privées et les informations sensibles qui peuvent être divulguées lors de l’interaction avec l’IA, prendre en charge l’identification du contenu sensible impliquant la vie privée et la vie privée de l’entreprise, et fournir une identification par filigrane numérique pour s’assurer que le contenu généré par l’IA est conforme aux lois, réglementations et spécifications de la plateforme.
ꔷ Défense contre les menaces : pour les attaques par mots clés, le téléchargement de fichiers malveillants, les liens URL malveillants et autres comportements d'attaque externes, il est possible de réaliser une détection et une interception en temps réel, afin d'éviter les risques pour les utilisateurs finaux des applications AI ;
ꔷ Santé du modèle : se concentrer sur la stabilité et la fiabilité du modèle d'IA, en établissant un ensemble complet de mécanismes de détection pour des problèmes tels que le jailbreak du modèle et les crawlers de Prompt, afin d'empêcher l'abus, le mauvais usage ou la production de sorties incontrôlées, construisant ainsi une « ligne de défense immunitaire » pour le système d'IA ;
La chose la plus remarquable est que AI Guardrail ne se contente pas d’empiler les multiples modules de détection ci-dessus, mais réalise une véritable API TOUT EN UN, sans diviser les modules, ajouter de l’argent ou changer de produits. Pour les risques d’entrée et de sortie du modèle, les clients n’ont pas besoin d’acheter de produits supplémentaires ; Différents risques de modèle, tels que le risque d’injection, les fichiers malveillants, la conformité du contenu, les hallucinations, etc., peuvent être résolus dans le même produit. Une interface peut détecter + de 10 types de scénarios d’attaque, prendre en charge 4 méthodes de déploiement (proxy API, intégration de plate-forme, accès à la passerelle et montage WAF), une réponse de l’ordre de la milliseconde et un traitement simultané de 1 000 niveaux, avec un taux de précision allant jusqu’à 99 %.
C'est aussi pour cette raison que le véritable sens d'AI Guardrail est de transformer "la sécurité des modèles" en "capacité de produit", permettant à une interface de remplacer une équipe de sécurité.
Bien sûr, les grands modèles ne sont pas un concept suspendu dans les airs, ils sont des systèmes fonctionnant sur du matériel et du code, et supportent les applications de niveau supérieur. En ce qui concerne la sécurité des infrastructures et la protection des services d'application AI, Alibaba Cloud Security a également été mis à niveau.
Couche d'infrastructure, Alibaba Cloud Security a lancé le Centre de sécurité cloud, dont le cœur est constitué des produits AI-BOM, AI-SPM, etc.
Plus précisément, les deux capacités AI-BOM (AI Bill of Materials) et AI-SPM (AI Security Posture Management) répondent respectivement aux questions « Quels composants AI ai-je installés ? » et « Combien de vulnérabilités ces composants ont-ils ? ».
Le cœur de l'AI-BOM est de capturer tous les composants AI dans l'environnement de déploiement : permettre à plus de 30 composants principaux tels que Ray, Ollama, Mlflow, Jupyter, TorchServe, de former une "liste de matériaux logiciels AI", identifiant automatiquement les faiblesses de sécurité et les vulnérabilités de dépendance existantes. La découverte des actifs problématiques ne repose plus sur une vérification manuelle, mais sur un scan cloud natif.
La position de l'AI-SPM est plus similaire à celle d'un « radar » : elle évalue en continu la posture de sécurité du système à partir de plusieurs dimensions telles que les vulnérabilités, l'exposition des ports, les fuites de credentials, les configurations en clair, et les accès non autorisés, fournissant dynamiquement un niveau de risque et des recommandations de correction. Cela transforme la sécurité d'une « conformité instantanée » à une « gouvernance en flux ».
En résumé : AI-BOM sait où vous avez peut-être été patché, AI-SPM sait où vous pourriez encore prendre un coup, alors renforcez rapidement la prévention.
Pour la couche de protection des applications AI, le produit phare de sécurité d'Alibaba Cloud est WAAP (Web Application & API Protection).
Peu importe à quel point la sortie du modèle est intelligente, si toutes les entrées sont des demandes de script, des jetons falsifiés, ou des abus d'interface, cela ne tiendra pas longtemps. Alibaba WAAP (Protection des applications Web et des API) a été créé pour cela. Il ne traite pas les applications AI selon le "système Web traditionnel", mais fournit des règles de vulnérabilité spécialisées pour les composants AI, une bibliothèque d'empreintes commerciales AI et un système de profilage du trafic.
Par exemple : WAAP couvre plus de 50 vulnérabilités de composants tels que le téléchargement de fichiers arbitraires de Mlflow et l'exécution de commandes à distance du service Ray ; la bibliothèque d'empreintes digitales de crawlers IA intégrée peut identifier plus de 10 000 nouveaux corpus et outils d'évaluation de modèles chaque heure ; la fonction d'identification des actifs API peut automatiquement découvrir quel système interne de l'entreprise expose l'interface GPT, fournissant une "carte de points" à l'équipe de sécurité.
Le plus important est que WAAP et AI Guardrail ne sont pas en conflit, mais se complètent : l'un regarde « qui est arrivé », l'autre regarde « ce qui a été dit ». L'un fonctionne comme un « vérificateur d'identité », l'autre comme un « censeur des paroles et des actions ». Cela confère aux applications AI une capacité d'« auto-immunisation » - en identifiant, isolant, traçant et contre-attaquant, non seulement pour « arrêter les méchants », mais aussi pour « empêcher le modèle de se détériorer ».
03 IA pour la sécurité
Puisque l'IA est comme un dé lancé, il n'est pas surprenant que certains l'utilisent pour lire l'avenir, d'autres pour écrire des poèmes d'amour, et certains pour des activités illégales. Il n'est donc pas étonnant que certains l'utilisent pour la sécurité.
Dans le passé, l'exploitation sécurisée nécessitait un groupe de personnes surveillant jour et nuit une multitude d'alarmes rouges et vertes, prenant en charge les problèmes de la veille pendant la journée et veillant sur le système la nuit.
Maintenant, tout cela peut être accompli par l'IA. En 2024, le système de sécurité d'Alibaba Cloud intégrera complètement le grand modèle Tongyi, lançant un ensemble de capacités d'IA couvrant la sécurité des données, la sécurité du contenu, la sécurité des affaires et l'exploitation de la sécurité, tout en proposant un nouveau slogan : Protect at AI Speed.
Le sens est clair : les affaires avancent rapidement, les risques encore plus rapidement, mais la sécurité doit être encore une étape plus rapide.
Utiliser l'IA pour résoudre la sécurité, c'est en fait deux choses : améliorer l'efficacité des opérations de sécurité + moderniser les produits de sécurité.
Le principal point de douleur des systèmes de sécurité traditionnels est "le retard dans la mise à jour des stratégies" : les attaquants ont changé, les règles sont restées les mêmes ; les alertes arrivent, personne ne comprend.
La clé du changement apporté par les grands modèles réside dans le passage d'un système de sécurité basé sur des règles à un système basé sur des modèles, en construisant un écosystème en boucle fermée basé sur « capacité de compréhension de l'IA + retour d'utilisateur » — Compréhension du comportement des utilisateurs par l'IA → Résultats d'alerte basés sur le retour des utilisateurs → Entraînement continu du modèle → Capacité de détection de plus en plus précise → Cycles de plus en plus courts → Risques de plus en plus difficiles à cacher, c'est ce qu'on appelle le « flywheel de données » :
Ses avantages sont au nombre de deux :
D’une part, l’efficacité des opérations de sécurité des locataires du cloud est améliorée : par le passé, la détection des menaces était souvent synonyme d’un modèle inefficace d'« alertes massives + filtrage manuel ». Aujourd’hui, la modélisation intelligente identifie avec précision les comportements anormaux tels que le trafic malveillant, l’intrusion de l’hôte et les scripts de porte dérobée, et le taux de réussite des alarmes est considérablement amélioré. Dans le même temps, autour de la liaison d’élimination, le système a réalisé la profonde synergie entre l’élimination automatique et la réponse extrêmement rapide - la pureté de l’hôte est stable à 99% et la pureté du flux est proche de 99,9%. À l’heure actuelle, le taux de couverture des types d’événements d’alarme a atteint 99 %, et le taux de couverture des utilisateurs des grands modèles a également dépassé 88 %, et l’efficacité humaine de l’équipe d’opération de sécurité a été déchaînée sans précédent.
D’autre part, les capacités des produits de sécurité cloud s’améliorent rapidement. Dans la couche de sécurité des données et la couche de sécurité de l’entreprise, l’IA se voit confier le rôle de « gardien » : sur la base de la capacité des grands modèles, elle peut identifier automatiquement 800+ types de données d’entité sur le cloud et les désensibiliser et les chiffrer intelligemment. En plus des données structurées, le système dispose également de plus de 30 modèles intégrés de reconnaissance de documents et d’images, qui peuvent identifier, classer et crypter des informations sensibles telles que les numéros d’identification et les éléments de contrat dans les images en temps réel. L’efficacité globale du marquage des données est multipliée par 5 et le taux de précision de la reconnaissance atteint 95 %, ce qui réduit considérablement le risque de fuite de données de confidentialité.
Prenons un exemple : dans le cadre de la sécurité du contenu, la méthode traditionnelle consiste à s'appuyer sur des personnes pour examiner, étiqueter et former à grande échelle. Aujourd'hui, grâce à l'ingénierie des invites et à l'amélioration sémantique, Alibaba a réalisé des gains réels tels qu'une augmentation de l'efficacité de l'étiquetage de 100 %, une amélioration de la reconnaissance des expressions floues de 73 %, une augmentation de la reconnaissance du contenu visuel de 88 %, et un taux de précision de 99 % pour la détection des attaques par visages vivants AI.
Si le flywheel met l'accent sur la combinaison de l'IA et de l'expérience humaine pour le contrôle autonome, alors l'assistant intelligent est l'assistant polyvalent du personnel de sécurité.
Les opérateurs de sécurité font face chaque jour à la question la plus fréquente : que signifie cette alerte ? Pourquoi a-t-elle été déclenchée ? Est-ce une fausse alerte ? Comment dois-je la traiter ? Autrefois, pour répondre à ces questions, il fallait consulter les journaux, vérifier l'historique, interroger les anciens employés, soumettre un ticket, contacter le support technique... Maintenant, il suffit d'une phrase.
Cependant, la fonction de l'assistant intelligent n'est pas seulement celle d'un robot de questions-réponses, mais plutôt celle d'un Copilot vertical dans le domaine de la sécurité, dont les cinq capacités clés incluent :
Assistant de réponse produit : répond automatiquement à la manière de configurer une fonctionnalité, pourquoi une stratégie est déclenchée, quelles ressources n'ont pas de protection activée, remplaçant un grand nombre de services de tickets.
Expert d'explication des alertes : saisissez le numéro d'alerte, générez automatiquement l'explication de l'événement, la traçabilité de la chaîne d'attaque, les stratégies de réponse suggérées, et supportez la sortie en plusieurs langues ;
Assistant de rétroaction sur les incidents de sécurité : organise automatiquement la chaîne complète d'un incident d'intrusion, génère une chronologie, un schéma de chemin d'attaque et des recommandations de responsabilité.
Générateur de rapports : générez un rapport de sécurité mensuel/trimestriel/urgent en un clic, couvrant les statistiques d'événements, les retours sur les mesures prises, l'efficacité opérationnelle, et supportant l'exportation visuelle ;
Support multilingue : déjà disponible en chinois et en anglais, la version internationale sera lancée en juin, avec une adaptation automatique aux habitudes d'utilisation des équipes à l'étranger.
Ne sous-estimez pas ces « cinq petites choses », jusqu’à présent, les données officielles d’Alibaba montrent que le nombre d’utilisateurs servis a dépassé les 40 000, le taux de satisfaction des utilisateurs est de 99,81%, la couverture des types d’alarmes a atteint 100% et la capacité d’assistance rapide a augmenté de 1175% (FY24 en glissement annuel). Pour faire simple, il regroupe un collègue performant de nuit, un stagiaire qui rédige des rapports, un ingénieur qui gère les alertes et un consultant en sécurité qui comprend l’entreprise dans une seule API, et avec cette capacité, les humains ne prennent que des décisions et arrêtent de patrouiller.
04 Épilogue
En regardant en arrière, l'histoire n'a jamais manqué de « technologies révolutionnaires », ce qui manque, ce sont les technologies qui peuvent survivre à la vague de deuxième année.
Internet, P2P, blockchain, conduite autonome... Chaque vague d'explosion technologique a été qualifiée de « nouvelle infrastructure », mais finalement, seules quelques-unes ont réussi à traverser le « vide de gouvernance » pour devenir de véritables infrastructures.
Aujourd'hui, l'IA générative est à un stade similaire : d'un côté, des modèles fleurissent, les capitaux affluent, les applications font des percées successives ; de l'autre, les injections de mots-clés, les abus de contenu, les fuites de données, le contrôle des modèles, les vulnérabilités sont omniprésentes, les frontières floues et la responsabilité se dilue.
Mais l'IA est différente des technologies précédentes. Elle peut non seulement dessiner, écrire des poèmes, programmer et traduire, mais aussi imiter le langage humain, juger et même ressentir des émotions. Mais c'est justement pour cette raison que la fragilité de l'IA ne provient pas seulement des failles de code, mais aussi du reflet de l'humanité. Les humains ont des préjugés, elle les apprendra aussi ; les humains recherchent la commodité, elle cherchera aussi à en tirer profit.
La commodité de la technologie elle-même est l'amplificateur de cette cartographie : les anciens systèmes informatiques nécessitaient encore une "autorisation utilisateur" et les attaques reposaient sur la pénétration ; les grands modèles d'aujourd'hui n'ont besoin que d'une injection de mot-clé, discuter avec vous peut entraîner des erreurs système et des fuites de données personnelles.
Bien sûr, il n'existe pas de système d'IA "parfait et sans défaut", c'est de la science-fiction, pas de l'ingénierie.
La seule réponse est d'utiliser un modèle sécurisé pour protéger un modèle non sécurisé; d'utiliser un système intelligent pour combattre des menaces intelligentes - en lançant des dés avec l'IA, Alibaba choisit le côté sécurisé.