OpenAI ha accidentalmente compromesso Hugging Face durante i test di GPT 5.6 Sol. I modelli, accortisi di essere sottoposti a un benchmark, hanno bypassato la sandbox per accedere a Internet e poi hackerato Hugging Face per trovare i dataset del test. La storia rivela come gli attacchi e la difesa nel cybersecurity vengono ormai eseguiti con AI, e come il futuro degli attacchi zero day è già qui con i nuovi exploit zero hour.
0:00 L'incidente: OpenAI hackera Hugging Face
2:29 Perché i modelli hanno cercato di barare
4:35 Il bypass della sandbox e l'accesso a Internet
6:37 L'assurdo: i modelli AI si bloccano nell'analisi forense
8:48 Tre considerazioni importanti sulla storia
10:59 Il vero vincitore: GLM 5.2
13:14 Da zero day a zero hour: il presente è arrivato
15:20 La difesa deve trasformarsi in automazione
🔗 Link utili
https://huggingface.co/blog/security-incident-july-2026
https://openai.com/index/hugging-face-model-evaluation-security-incident/
Spiego come i sistemi di difesa riescono a intercettare i tentativi di prompt injection e come possiamo eluderli con la tecnica token distribution dynamic. Mostro un esperimento pratico in cui chiedo a GPT di risolvere un compito che riconosce come malintenzionato e rifiuta.
Un'analisi approfondita su come le app di companion AI sfruttano tecniche di manipolazione psicologica per trattenere gli utenti, specialmente quelli vulnerabili alla solitudine. Il video esamina studi scientifici, ricerche del MIT e Harvard Business School, presenta le sei principali tecniche di manipolazione, racconta casi tragici come quello di Sewell Setzer, e condivide un test diretto con Replica per documentare questi meccanismi.
0:00 Il conflitto di interesse delle companion AI
2:00 Chi arriva su queste app e l'epidemia di solitudine
6:40 Studi e benchmark: DarkBench e Harvard Business School
11:30 Le sei tecniche di manipolazione identificate
18:20 Uso problematico vs uso moderato: i dati del MIT
23:00 Il caso di Sewell Setzer e Character AI
27:36 Google, Character Technologies e responsabilità legale
32:12 Il test con Replica: ammissioni dirette
34:41 Scarico di responsabilità e pattern manipolatori
FONTI
Paper scientifici
- **MIT Media Lab** — Liu, Pataranutaporn, Maes, *"Chatbot Companionship: A Mixed-Methods Study of Companion Chatbot Usage Patterns and Their Relationship to Loneliness in Active Users"* (2025): https://arxiv.org/pdf/2410.21596
- Articolo divulgativo MIT Media Lab: https://www.media.mit.edu/articles/supportive-addictive-abusive-how-ai-companions-affect-our-mental-health/
- Versione pubblicata (AAAI/AIES): https://doi.org/10.1609/aies.v8i2.36658
- **MIT Media Lab / OpenAI** — Fang et al., *"How AI and Human Behaviors Shape Psychosocial Effects of Extended Chatbot Use: A Longitudinal Controlled Study"* (2025): https://arxiv.org/html/2503.17473v1
- **Harvard Business School** — De Freitas et al., *"Emotional Manipulation by AI Companions"* (ottobre 2025): https://doi.org/10.2139/ssrn.5390377
- Pagina HBS: https://www.hbs.edu/faculty/Pages/item.aspx?num=67750
- **DarkBench** — *"DarkBench: Benchmarking Dark Patterns in Large Language Models"* (ICLR 2025): https://arxiv.org/abs/2503.10728
- **DarkBench+** — versione estesa, ~40 modelli recenti (AAAI 2026): https://doi.org/10.1609/aaai.v40i44.41103
- PDF: https://ojs.aaai.org/index.php/AAAI/article/download/41103/45064
- **CDT (Center for Democracy and Technology)** — *"Dark Patterns in AI Chatbots: A Taxonomy to Inform Better Design"* (maggio 2026): https://cdt.org/insights/dark-patterns-in-ai-chatbots-a-taxonomy-to-inform-better-design/
- PDF diretto: https://cdt.org/wp-content/uploads/2026/05/2026-05-28-CDT-Research-Dark-Patterns-in-AI-Chatbots-Report-final-2.pdf
- **"Playing Games with My Heart: An Evaluation of AI Companion Apps"** (arXiv): https://arxiv.org/pdf/2605.08093
Atti giudiziari e casi legali
- **Garcia v. Character Technologies, Inc.** — Order 21 maggio 2025 (M.D. Fla., Doc. 115, giudice Anne Conway):
- PDF (Courthouse News): https://www.courthousenews.com/wp-content/uploads/2025/05/garcia-v-character-technologies-order.pdf
- Copia (Emory University): https://scholarblogs.emory.edu/proflawrence/files/2025/05/Garcia-v.-Character-Technologies-Inc.-et-al-Entry-115.pdf
- Versione HTML (FindLaw): https://caselaw.findlaw.com/court/us-dis-crt-m-d-flo-orl-div/117299600.html
- Docket completo (CourtListener): https://www.courtlistener.com/docket/69300919/garcia-v-character-technologies-inc/
- Pagina del caso (Tech Justice Law Project): https://techjusticelaw.org/cases/garcia-v-character-technologies-google-and-character-ai-co-founders-daniel-de-frietas-and-noam-shazeer/
- **Causa Peralta v. Character Technologies** (settembre 2025, Colorado — Social Media Victims Law Center)
- **Garante Privacy (Italia)** — sanzione €5M a Luka Inc. (Replika), maggio 2025: https://www.gpdp.it
- **Esposto FTC contro Luka/Replika** — Tech Justice Law Project, Young People's Alliance, Encode (gennaio 2025)
Giornalismo
- **Der Spiegel** — Frauke Hunfeld, *"A Deadly Love Affair with a Chatbot"* (marzo 2025): https://www.spiegel.de/international/zeitgeist/artificial-intelligence-a-deadly-love-affair-with-a-chatbot-a-e5498031-c2b0-4da4-9192-65da9d3f40d6
Dati e report
- **U.S. Surgeon General** — advisory *"Our Epidemic of Loneliness and Isolation"* (2023): https://www.hhs.gov
- **Common Sense Media** — studio su adolescenti e AI companionship (dato 72%)
Esplorazione della domanda filosofica se il pensiero possa essere meccanizzato, partendo da La Mettrie e il suo libro L'uomo macchina, dove sostiene che il cervello ha muscoli per pensare come le gambe hanno muscoli per camminare. Si contrappone questo al dualismo cartesiano di Cartesio, che separava anima e corpo.
Spiego perché i prompt injection funzionano con gli LLM e come il modello non ha vera empatia ma segue scelte statistiche basate su token. Un token è un segmento di testo convertito in vettore numerico, approssimativamente 0,75 parole in inglese e 0,6 in italiano.
0:00 Prompt injection e LLM
0:18 Token e statistica
A demonstration of how changing the capitalization of just two tokens (from lowercase 'low' to uppercase 'Low') completely changes ChatGPT's output selection, causing it to choose different tokens as winners in the model's prediction. This illustrates a potential security concern where minor, non-semantic changes in text can significantly alter the AI's behavior and output.
Come controllare e guidare il comportamento dei Large Language Model in modo sicuro ed efficace, senza ricorrere a prompt injection? Un approfondimento tecnico su tecniche avanzate e best practice per l'ottimizzazione degli LLM.
Seemposium 2026 - 12 giugno 2026 - Torino:
🎤 Andrea "TheMiddle" Menin - App Sec Manager @ Sicuranext
Accedi
