Eugeniodamaso.it Academy

Intelligenza artificiale · Avanzato

AI Security e Risk Management per agenti e sistemi di IA

Corso avanzato oltre il livello Master: minacce, difese, red teaming, gestione del rischio, conformità e governance della sicurezza di modelli, applicazioni generative e agenti

  • 26 ore e 10 minutidurata
  • 29lezioni
  • 45domande nel test
  • Gratissempre
AI Security e Risk Management per agenti e sistemi di IA

Cosa saprai fare

  • Mappare la superficie di attacco di un sistema di IA e costruire un threat model
  • Riconoscere e mitigare gli attacchi alle applicazioni con LLM e RAG
  • Mettere in sicurezza agenti, strumenti, MCP, memoria e sistemi multi-agente
  • Proteggere dati, modelli e catena di fornitura lungo il ciclo MLOps
  • Valutare e quantificare il rischio con NIST AI RMF e ISO/IEC 23894 e 42001
  • Pianificare red teaming, test, monitoraggio e risposta agli incidenti
  • Allineare sicurezza dell'IA a AI Act, NIS2, DORA, CRA e GDPR e rendicontare al vertice

Il percorso avanzato per responsabili della sicurezza, risk manager, DPO, auditor, architetti, responsabili di prodotto e professionisti che devono mettere in sicurezza e governare sistemi di intelligenza artificiale, dai modelli di apprendimento automatico alle applicazioni con modelli linguistici fino agli agenti con strumenti e permessi. Si parte dalla superficie di attacco dell'IA e dalla tassonomia delle minacce (elusione, avvelenamento, violazione della riservatezza, abuso), si costruisce un threat model; si studiano la sicurezza delle applicazioni con LLM (OWASP Top 10 per LLM: prompt injection, fuga di dati, gestione degli output, RAG e database vettoriali), la sicurezza degli agenti (OWASP Top 10 per applicazioni agentiche, identità e permessi, MCP e strumenti, memoria, sistemi multi-agente, esecuzione di codice), la sicurezza di dati, modelli e catena di fornitura (poisoning, backdoor, esempi avversari, formati di serializzazione, AIBOM, furto del modello, MLOps); si affronta la gestione del rischio con NIST AI RMF, ISO/IEC 23894 e 42001, valutazione e quantificazione del rischio e valutazioni d'impatto (DPIA, FRIA); si impara il red teaming, i test di sicurezza automatizzati, il monitoraggio, il SOC per l'IA e la risposta agli incidenti; si chiude con requisiti di sicurezza dell'AI Act (artt. 9, 14, 15, modelli GPAI con rischio sistemico), intersezioni con NIS2, DORA, CRA e GDPR, assurance, audit, KPI/KRI, rendicontazione al CdA e un progetto finale con soluzione di riferimento. Ogni lezione contiene approfondimenti, esercitazioni con modelli pronti ed esempi di calcolo. Aggiornato a novembre 2026. Corso formativo di eugeniodamaso.it Academy, indipendente e non legato a un fornitore: norme, framework e strumenti cambiano rapidamente e vanno verificati sulle fonti correnti; il corso non costituisce consulenza legale.

Il programma

Modulo 1 · Superficie di attacco e threat modeling

  1. La superficie di attacco dell'IA: dal modello all'ecosistema — Che cosa si protegge in un sistema di IA: dati, modello, prompt, strumenti, infrastruttura e persone; perché la superficie di attacco è più ampia di quella del software tradizionale; mappa degli asset e degli attori; esempi di incidenti tipici.
  2. Sicurezza dell'IA e sicurezza tradizionale: che cosa cambia — Riservatezza, integrità e disponibilità applicate all'IA e proprietà aggiuntive (robustezza, privacy, equità, sicurezza funzionale, trasparenza); perché i controlli classici non bastano; il ruolo di safety, security e privacy; la fiducia nell'output.
  3. La tassonomia degli attacchi: elusione, avvelenamento, privacy e abuso — Le grandi famiglie di attacchi al machine learning e all'IA generativa secondo la tassonomia NIST AI 100-2: elusione, avvelenamento, violazione della privacy e attacchi di abuso; fasi del ciclo di vita, conoscenza dell'avversario e obiettivi.
  4. Threat modeling per sistemi di IA — Metodo per costruire un threat model di un sistema di IA: diagramma dei flussi, confini di fiducia, STRIDE adattato, uso di MITRE ATLAS, punteggio e priorità, documentazione e manutenzione.

Modulo 2 · Sicurezza delle applicazioni con LLM

  1. OWASP Top 10 per le applicazioni con LLM: come usarlo — Le dieci categorie di rischio dell'edizione 2025 (da LLM01 a LLM10), come leggerle, come trasformarle in requisiti e test, limiti dell'elenco e collegamento con threat model e registro dei rischi.
  2. Prompt injection e jailbreak: attacchi e difese a strati — Prompt injection diretta e indiretta, jailbreak, tecniche di offuscamento, perché non esiste una difesa singola, architetture di mitigazione a strati (separazione, privilegio minimo, conferma, isolamento), misurazione del tasso di successo degli attacchi.
  3. Fuga di dati e attacchi alla privacy: dati personali, prompt di sistema, memorizzazione — Come un sistema di IA può rivelare informazioni: memorizzazione, estrazione, membership inference, fuga nei log e nel contesto, prompt di sistema; controlli di minimizzazione, filtraggio, separazione dei tenant e legame con il GDPR.
  4. Gestione degli output, RAG e database vettoriali: sicurezza della conoscenza — L'output del modello come input non fidato (XSS, SQL injection, esecuzione di comandi), validazione e schemi, sicurezza di RAG e database vettoriali (controllo accessi, avvelenamento dell'indice, embedding inversion), consumo illimitato e controlli dei costi.

Modulo 3 · Sicurezza degli agenti

  1. Rischi agentici: la Top 10 OWASP per le applicazioni agentiche — Perché gli agenti cambiano il profilo di rischio, le dieci categorie della lista OWASP per applicazioni agentiche (ASI01-ASI10), modello a catena degli eventi (dall'input all'azione), combinazioni critiche e priorità di controllo.
  2. Identità, permessi e segreti degli agenti — Identità non umane, principio del privilegio minimo, credenziali a breve durata, delega «per conto dell'utente», confused deputy, gestione dei segreti, autorizzazione per azione e audit trail.
  3. MCP, strumenti e supply chain degli agenti — Il Model Context Protocol e le integrazioni di strumenti: vantaggi, rischi (tool poisoning, descrizioni ingannevoli, rug pull, server compromessi, token eccessivi), valutazione dei server, allow-list, isolamento, gestione delle vulnerabilità e delle dipendenze.
  4. Memoria, sistemi multi-agente ed esecuzione di codice: contenimento e sandbox — Avvelenamento della memoria e del contesto, comunicazione sicura fra agenti, fallimenti a cascata, esecuzione di codice generato, sandbox, limiti di risorse e di rete, controlli di sistema e interruttori.

Modulo 4 · Dati, modelli e catena di fornitura

  1. Data poisoning e backdoor: proteggere i dati lungo il ciclo di vita — Avvelenamento di dati di addestramento, fine-tuning, feedback e recupero; backdoor e inneschi; individuazione (provenienza, statistiche, test), prevenzione (controllo delle fonti, firma, segregazione), risposta e ripristino.
  2. Esempi avversari e robustezza dei modelli — Attacchi di elusione ai modelli predittivi (immagini, frodi, malware, testo), tipi di perturbazione, test di robustezza, difese (adversarial training, ensemble, preprocessing, rilevazione), limiti e costi, applicazioni in ambiti critici.
  3. Supply chain del modello: provenienza, formati e AIBOM — Rischi dei modelli e componenti di terzi: serializzazione non sicura (pickle), pesi e adattatori compromessi, dipendenze, dataset e licenze; controlli: registro, firma, scansione, formati sicuri, AIBOM, gestione delle vulnerabilità e valutazione dei fornitori.
  4. MLOps e infrastruttura: furto del modello e protezione della pipeline — Sicurezza della pipeline di sviluppo e distribuzione dei modelli: CI/CD, segreti, accessi, ambienti, GPU e cluster; furto ed estrazione del modello, distillazione, tecniche di protezione e rilevazione; continuità operativa e versionamento.

Modulo 5 · Gestione del rischio dell'IA

  1. NIST AI RMF e profilo per l'IA generativa: Govern, Map, Measure, Manage — Struttura e uso del NIST AI Risk Management Framework 1.0, le quattro funzioni, il profilo per l'IA generativa (NIST AI 600-1), il lavoro del NIST sul profilo di cybersecurity per l'IA, come trasformare il quadro in un programma operativo.
  2. ISO/IEC 23894 e ISO/IEC 42001: processo di rischio e sistema di gestione dell'IA — La linea guida ISO/IEC 23894 sulla gestione del rischio per l'IA, lo standard certificabile ISO/IEC 42001 (sistema di gestione dell'IA), struttura e controlli, integrazione con ISO/IEC 27001 e con la gestione del rischio aziendale, preparazione alla certificazione.
  3. Valutare e quantificare il rischio dell'IA: scale, perdita attesa e appetito al rischio — Metodi qualitativi e quantitativi: matrici di rischio, scale calibrate, stima della perdita attesa (frequenza e magnitudo, approccio in stile FAIR), intervalli e scenari, appetito e tolleranza al rischio, priorità degli investimenti di controllo.
  4. Valutazioni d'impatto: DPIA, FRIA, equità e sicurezza funzionale — Quando e come condurre una DPIA (art. 35 GDPR) e una valutazione d'impatto sui diritti fondamentali (art. 27 AI Act), valutazioni di bias e di sicurezza funzionale, integrazione con il risk assessment di sicurezza e documentazione.

Modulo 6 · Red teaming, monitoraggio e incidenti

  1. AI red teaming: metodologia, ambito e regole d'ingaggio — Che cosa è il red teaming dell'IA (sicurezza e sicurezza funzionale), differenze da penetration test e valutazioni automatiche, definizione di ambito e regole d'ingaggio, composizione del team, tecniche, classificazione dei risultati e rapporto.
  2. Test di sicurezza automatizzati, valutazioni e integrazione nel ciclo di rilascio — Costruire batterie di test per injection, fuga di dati, uso improprio degli strumenti e robustezza; metriche (ASR, falsi positivi, copertura), fuzzing, test statistici, soglie di rilascio, integrazione nella CI/CD e gestione delle regressioni.
  3. Monitoraggio, logging e rilevazione: il SOC per i sistemi di IA — Che cosa registrare e monitorare in produzione (richieste, risposte, strumenti, decisioni), privacy dei log, casi d'uso di rilevazione, metriche, integrazione con SIEM e SOC, drift e degrado, allarmi e triage.
  4. Risposta agli incidenti di IA: playbook, notifiche e miglioramento — Incidenti tipici dei sistemi di IA, fasi della risposta (preparazione, rilevazione, contenimento, eradicazione, ripristino, lezioni apprese), playbook per injection, fuga di dati, poisoning e agente fuori controllo, obblighi di notifica (GDPR, NIS2, DORA, CRA), comunicazione e divulgazione coordinata.

Modulo 7 · Conformità, assurance e progetto finale

  1. AI Act e sicurezza: gestione del rischio, supervisione umana, robustezza e cybersecurity — I requisiti dell'AI Act che riguardano direttamente la sicurezza dei sistemi ad alto rischio (artt. 9, 10, 12, 14, 15, 73) e degli obblighi dei modelli di IA per finalità generali con rischio sistemico (art. 55); calendario aggiornato dal pacchetto di semplificazione; come tradurli in controlli e prove.
  2. Intersezioni normative: NIS2, DORA, CRA e GDPR per i sistemi di IA — Come NIS2, DORA, CRA e GDPR si applicano ai sistemi di IA: misure di gestione del rischio, sicurezza della catena di fornitura, notifica degli incidenti, resilienza operativa, sicurezza by design; una matrice unica dei requisiti e un piano di conformità senza duplicazioni.
  3. Assurance: audit, tre linee, KPI e KRI e rendicontazione al vertice — Come dimostrare che la sicurezza dell'IA funziona: modello delle tre linee, audit interno dei sistemi di IA (programma, campionamento, evidenze), indicatori di prestazione e di rischio, cruscotto e rendicontazione al CdA, gestione delle non conformità.
  4. Progetto finale: il programma di sicurezza dell'IA di un'azienda — Consegna, materiali, criteri di valutazione e soluzione di riferimento di un progetto che integra tutti i moduli: inventario, threat model, controlli per LLM e agenti, gestione del rischio con quantificazione, piano di test e monitoraggio, conformità, indicatori e piano a 12 mesi con budget.

In appendice: Trucchi del mestiere, 112 accorgimenti operativi dal lavoro sul campo.

Il docente

Eugenio Damaso, fondatore di eugeniodamaso.it Academy. Slide e dispensa in PDF incluse; test finale con attestato e Open Badge.

Programma

  1. 1

    La superficie di attacco dell'IA: dal modello all'ecosistema

    Che cosa si protegge in un sistema di IA: dati, modello, prompt, strumenti, infrastruttura e persone; perché la superficie di attacco è più ampia di quella del software tradizionale; mappa degli asset e degli attori; es…

    Lettura · 55 minuti
  2. 2

    Sicurezza dell'IA e sicurezza tradizionale: che cosa cambia

    Riservatezza, integrità e disponibilità applicate all'IA e proprietà aggiuntive (robustezza, privacy, equità, sicurezza funzionale, trasparenza); perché i controlli classici non bastano; il ruolo di safety, security e p…

    Lettura · 55 minuti
  3. 3

    La tassonomia degli attacchi: elusione, avvelenamento, privacy e abuso

    Le grandi famiglie di attacchi al machine learning e all'IA generativa secondo la tassonomia NIST AI 100-2: elusione, avvelenamento, violazione della privacy e attacchi di abuso; fasi del ciclo di vita, conoscenza dell'…

    Lettura · 55 minuti
  4. 4

    Threat modeling per sistemi di IA

    Metodo per costruire un threat model di un sistema di IA: diagramma dei flussi, confini di fiducia, STRIDE adattato, uso di MITRE ATLAS, punteggio e priorità, documentazione e manutenzione.

    Lettura · 55 minuti
  5. 5

    OWASP Top 10 per le applicazioni con LLM: come usarlo

    Le dieci categorie di rischio dell'edizione 2025 (da LLM01 a LLM10), come leggerle, come trasformarle in requisiti e test, limiti dell'elenco e collegamento con threat model e registro dei rischi.

    Lettura · 55 minuti
  6. 6

    Prompt injection e jailbreak: attacchi e difese a strati

    Prompt injection diretta e indiretta, jailbreak, tecniche di offuscamento, perché non esiste una difesa singola, architetture di mitigazione a strati (separazione, privilegio minimo, conferma, isolamento), misurazione d…

    Lettura · 55 minuti
  7. 7

    Fuga di dati e attacchi alla privacy: dati personali, prompt di sistema, memorizzazione

    Come un sistema di IA può rivelare informazioni: memorizzazione, estrazione, membership inference, fuga nei log e nel contesto, prompt di sistema; controlli di minimizzazione, filtraggio, separazione dei tenant e legame…

    Lettura · 55 minuti
  8. 8

    Gestione degli output, RAG e database vettoriali: sicurezza della conoscenza

    L'output del modello come input non fidato (XSS, SQL injection, esecuzione di comandi), validazione e schemi, sicurezza di RAG e database vettoriali (controllo accessi, avvelenamento dell'indice, embedding inversion), c…

    Lettura · 55 minuti
  9. 9

    Rischi agentici: la Top 10 OWASP per le applicazioni agentiche

    Perché gli agenti cambiano il profilo di rischio, le dieci categorie della lista OWASP per applicazioni agentiche (ASI01-ASI10), modello a catena degli eventi (dall'input all'azione), combinazioni critiche e priorità di…

    Lettura · 55 minuti
  10. 10

    Identità, permessi e segreti degli agenti

    Identità non umane, principio del privilegio minimo, credenziali a breve durata, delega «per conto dell'utente», confused deputy, gestione dei segreti, autorizzazione per azione e audit trail.

    Lettura · 55 minuti
  11. 11

    MCP, strumenti e supply chain degli agenti

    Il Model Context Protocol e le integrazioni di strumenti: vantaggi, rischi (tool poisoning, descrizioni ingannevoli, rug pull, server compromessi, token eccessivi), valutazione dei server, allow-list, isolamento, gestio…

    Lettura · 55 minuti
  12. 12

    Memoria, sistemi multi-agente ed esecuzione di codice: contenimento e sandbox

    Avvelenamento della memoria e del contesto, comunicazione sicura fra agenti, fallimenti a cascata, esecuzione di codice generato, sandbox, limiti di risorse e di rete, controlli di sistema e interruttori.

    Lettura · 55 minuti
  13. 13

    Data poisoning e backdoor: proteggere i dati lungo il ciclo di vita

    Avvelenamento di dati di addestramento, fine-tuning, feedback e recupero; backdoor e inneschi; individuazione (provenienza, statistiche, test), prevenzione (controllo delle fonti, firma, segregazione), risposta e ripris…

    Lettura · 55 minuti
  14. 14

    Esempi avversari e robustezza dei modelli

    Attacchi di elusione ai modelli predittivi (immagini, frodi, malware, testo), tipi di perturbazione, test di robustezza, difese (adversarial training, ensemble, preprocessing, rilevazione), limiti e costi, applicazioni …

    Lettura · 55 minuti
  15. 15

    Supply chain del modello: provenienza, formati e AIBOM

    Rischi dei modelli e componenti di terzi: serializzazione non sicura (pickle), pesi e adattatori compromessi, dipendenze, dataset e licenze; controlli: registro, firma, scansione, formati sicuri, AIBOM, gestione delle v…

    Lettura · 55 minuti
  16. 16

    MLOps e infrastruttura: furto del modello e protezione della pipeline

    Sicurezza della pipeline di sviluppo e distribuzione dei modelli: CI/CD, segreti, accessi, ambienti, GPU e cluster; furto ed estrazione del modello, distillazione, tecniche di protezione e rilevazione; continuità operat…

    Lettura · 55 minuti
  17. 17

    NIST AI RMF e profilo per l'IA generativa: Govern, Map, Measure, Manage

    Struttura e uso del NIST AI Risk Management Framework 1.0, le quattro funzioni, il profilo per l'IA generativa (NIST AI 600-1), il lavoro del NIST sul profilo di cybersecurity per l'IA, come trasformare il quadro in un …

    Lettura · 55 minuti
  18. 18

    ISO/IEC 23894 e ISO/IEC 42001: processo di rischio e sistema di gestione dell'IA

    La linea guida ISO/IEC 23894 sulla gestione del rischio per l'IA, lo standard certificabile ISO/IEC 42001 (sistema di gestione dell'IA), struttura e controlli, integrazione con ISO/IEC 27001 e con la gestione del rischi…

    Lettura · 55 minuti
  19. 19

    Valutare e quantificare il rischio dell'IA: scale, perdita attesa e appetito al rischio

    Metodi qualitativi e quantitativi: matrici di rischio, scale calibrate, stima della perdita attesa (frequenza e magnitudo, approccio in stile FAIR), intervalli e scenari, appetito e tolleranza al rischio, priorità degli…

    Lettura · 55 minuti
  20. 20

    Valutazioni d'impatto: DPIA, FRIA, equità e sicurezza funzionale

    Quando e come condurre una DPIA (art. 35 GDPR) e una valutazione d'impatto sui diritti fondamentali (art. 27 AI Act), valutazioni di bias e di sicurezza funzionale, integrazione con il risk assessment di sicurezza e doc…

    Lettura · 55 minuti
  21. 21

    AI red teaming: metodologia, ambito e regole d'ingaggio

    Che cosa è il red teaming dell'IA (sicurezza e sicurezza funzionale), differenze da penetration test e valutazioni automatiche, definizione di ambito e regole d'ingaggio, composizione del team, tecniche, classificazione…

    Lettura · 55 minuti
  22. 22

    Test di sicurezza automatizzati, valutazioni e integrazione nel ciclo di rilascio

    Costruire batterie di test per injection, fuga di dati, uso improprio degli strumenti e robustezza; metriche (ASR, falsi positivi, copertura), fuzzing, test statistici, soglie di rilascio, integrazione nella CI/CD e ges…

    Lettura · 55 minuti
  23. 23

    Monitoraggio, logging e rilevazione: il SOC per i sistemi di IA

    Che cosa registrare e monitorare in produzione (richieste, risposte, strumenti, decisioni), privacy dei log, casi d'uso di rilevazione, metriche, integrazione con SIEM e SOC, drift e degrado, allarmi e triage.

    Lettura · 55 minuti
  24. 24

    Risposta agli incidenti di IA: playbook, notifiche e miglioramento

    Incidenti tipici dei sistemi di IA, fasi della risposta (preparazione, rilevazione, contenimento, eradicazione, ripristino, lezioni apprese), playbook per injection, fuga di dati, poisoning e agente fuori controllo, obb…

    Lettura · 55 minuti
  25. 25

    AI Act e sicurezza: gestione del rischio, supervisione umana, robustezza e cybersecurity

    I requisiti dell'AI Act che riguardano direttamente la sicurezza dei sistemi ad alto rischio (artt. 9, 10, 12, 14, 15, 73) e degli obblighi dei modelli di IA per finalità generali con rischio sistemico (art. 55); calend…

    Lettura · 55 minuti
  26. 26

    Intersezioni normative: NIS2, DORA, CRA e GDPR per i sistemi di IA

    Come NIS2, DORA, CRA e GDPR si applicano ai sistemi di IA: misure di gestione del rischio, sicurezza della catena di fornitura, notifica degli incidenti, resilienza operativa, sicurezza by design; una matrice unica dei …

    Lettura · 55 minuti
  27. 27

    Assurance: audit, tre linee, KPI e KRI e rendicontazione al vertice

    Come dimostrare che la sicurezza dell'IA funziona: modello delle tre linee, audit interno dei sistemi di IA (programma, campionamento, evidenze), indicatori di prestazione e di rischio, cruscotto e rendicontazione al Cd…

    Lettura · 55 minuti
  28. 28

    Progetto finale: il programma di sicurezza dell'IA di un'azienda

    Consegna, materiali, criteri di valutazione e soluzione di riferimento di un progetto che integra tutti i moduli: inventario, threat model, controlli per LLM e agenti, gestione del rischio con quantificazione, piano di …

    Lettura · 55 minuti
  29. 29

    Appendice · Trucchi del mestiere

    Gli accorgimenti di chi mette in sicurezza sistemi di IA in produzione: come ragionare sulle minacce, come limitare l'impatto di una prompt injection, come dare permessi minimi agli agenti, come testare prima di fidarsi…

    Lettura · 30 minuti
  30. Test finale

    45 domande, si supera con il 85%, 55 minuti, fino a 3 tentativi.

    Verifica

A chi è rivolto

CISO e responsabili della sicurezza, risk manager, DPO, internal auditor, architetti e sviluppatori senior, responsabili di prodotto e di piattaforme IA, consulenti che governano o valutano sistemi di IA.