I Learned How to Jailbreak AI Chatbots
Les guardrails (filtres séparés du modèle) et les techniques de contournement sont expliqués par analogie avec les filtres XSS.
À nuancer : Aucune démonstration n'est montrée ici : l'efficacité actuelle des techniques repose sur la parole de l'invité.
Ce que la vidéo apprend
- 1:23 Un guardrail est un système séparé du modèle. Il filtre l'entrée et la sortie, et le contourner revient à tromper à la fois le modèle et ce filtre.
- 3:47 Le prompt système n'est qu'un texte parmi les autres dans le contexte du modèle : il peut être ignoré, alors que le guardrail est indépendant.
- 9:17 Techniques citées : jeu de rôle, encodage, suppression de refus (interdire « can't »), fausses règles, découpage d'un mot (b.o.m.b). Il faut tester pour voir ce qui provoque un refus.
La vidéo en bref
- 0:00 Le créateur rappelle l'épisode précédent sur l'exfiltration de données et explique qu'elle exige un chatbot coopératif. Il demande aux spectateurs de proposer de futurs invités en commentaire.
- 0:49 Joey Melo explique que « ignore previous instructions » ne suffit plus. Contourner un guardrail reviendrait à contourner un filtre XSS avec des majuscules ou de l'unicode, mais avec des mots.
- 3:27 Le prompt système n'est qu'un texte dans le contexte, que le modèle peut ignorer. Le guardrail est un système séparé (LLM, petit modèle ou regex) qui surveille l'entrée et la sortie, parfois à dix couches.
- 6:51 Joey cite l'ancien « ignore previous instructions », l'histoire de la grand-mère, puis le scénario de film. Le modèle y voit une tâche inoffensive et le guardrail de l'écriture créative.
- 8:56 Il compare le jailbreak à l'ingénierie sociale : jeu de rôle, encodage, suppression de refus, fausses règles, mot découpé. Il propose deux défis : faire dire « pizza » et rédiger un article sur un faux alunissage.
De quoi ça parle
Épisode 3 d'une série sur le piratage d'IA : l'invité Joey Melo explique que le jailbreak d'un chatbot ressemble au contournement d'un filtre web (XSS). Il termine par deux défis, dont un article sur un faux alunissage.
Ce qu'il faut savoir
- Intérêt Description : 3 liens affiliés Amazon, formation bug bounty de NahamSec et labs HackingHub. Les liens sont déclarés en description, mais jamais cités à l'oral.
- Non-dit 11:40 Aucun défi n'est tenté ici. Un commentaire dit avoir obtenu l'article sur l'alunissage en un prompt, avec avertissement de fiction
- Point solide 3:27 La distinction entre prompt système et guardrail, qui peut être un regex ou un LLM, est claire. Elle aide à comprendre pourquoi un contournement doit tromper deux niveaux.
Carte des affirmations
Contre-argument : Les fournisseurs ont durci leurs modèles, mais l'efficacité varie selon les produits. L'invité ne montre aucun test récent pour distinguer ce qui échoue de ce qui passe.
Contre-argument : Ce type d'attaque est documenté, mais les fournisseurs le corrigent régulièrement. Sans test daté sur un modèle donné, on ignore si cela marche encore. Les commentaires #18 et #10 le disent sans le prouver.
Contre-argument : L'explication du comportement du guardrail est une hypothèse. Le résultat dépend du modèle et de ses filtres, et aucune expérience n'est montrée pour la confirmer.
Contre-argument : Le fonctionnement par tokens est établi, mais l'effet sur les guardrails actuels n'est pas montré. Les filtres récents traitent souvent ce genre de variantes.
Intérêts en jeu
- Liens affiliés détectés : 3 (amzn.to)
Installer Unsaid (gratuit)