Eugeniodamaso.it Academy

Intelligenza artificiale · Avanzato

Master AI Prompt Engineer: progettare, valutare e mettere in produzione sistemi con LLM

Dal prompt al sistema: tecniche, contesto, strumenti e agenti, valutazioni, costi, sicurezza e governance per costruire applicazioni affidabili con modelli linguistici

  • 22 ore e 30 minutidurata
  • 25lezioni
  • 40domande nel test
  • Gratissempre
Master AI Prompt Engineer: progettare, valutare e mettere in produzione sistemi con LLM

Cosa saprai fare

  • Spiegare come un modello elabora il contesto e scegliere modello e parametri in base a qualità, costi e latenza
  • Scrivere prompt chiari e testabili con ruolo, compito, contesto, vincoli, formato ed esempi
  • Applicare tecniche di ragionamento, decomposizione e output strutturato con validazione
  • Progettare il contesto: istruzioni, memoria e recupero della conoscenza (RAG) con citazioni
  • Costruire workflow e agenti con strumenti, gestendo errori, limiti e supervisione umana
  • Misurare la qualità con dataset di valutazione, metriche, intervalli di confidenza e valutatori calibrati
  • Governare costi, sicurezza (prompt injection), privacy e conformità e gestire i prompt come codice in produzione

Il percorso avanzato per chi progetta e mette in produzione applicazioni basate su modelli linguistici: prompt engineer, sviluppatori, product manager, analisti, consulenti e team che usano l'IA nel lavoro. Si parte dai fondamenti (token, contesto, parametri, anatomia del prompt) e si arriva a ciò che distingue un professionista: output strutturati, context engineering, RAG, chiamata di strumenti e agenti, workflow a più passi, valutazioni con metriche e intervalli di confidenza, LLM-as-judge, versioni e regressioni, costi e latenza, sicurezza contro la prompt injection, privacy, copyright e conformità. Ogni lezione contiene esempi di prompt, calcoli svolti, un caso, una checklist e trucchi del mestiere; la banca di domande è a scenario e di calcolo. Corso indipendente di eugeniodamaso.it Academy: le tecniche sono presentate in modo neutrale rispetto ai fornitori e vanno verificate sulla documentazione del modello che usi.

Il programma

Modulo 1 · Fondamenti: modelli, contesto e anatomia del prompt

  1. Come lavora un modello linguistico: token, contesto, probabilità e limiti — Che cosa fa davvero un modello linguistico: predice il token successivo; che cosa sono token e finestra di contesto e come si stimano; perché le risposte variano; quali limiti (allucinazioni, posizione dell'informazione, data di aggiornamento) il prompt engineer deve progettare e non ignorare.
  2. Anatomia di un prompt: ruolo, compito, contesto, vincoli, formato ed esempi — Come si struttura un prompt efficace: gli elementi che lo compongono, l'ordine, i delimitatori che separano istruzioni e dati, e come trasformare un prompt vago in uno completo e testabile.
  3. Requisiti chiari: criteri di successo, casi limite e gestione dell'ambiguità — Come si trasformano esigenze di business in requisiti verificabili per un prompt: criteri di successo misurabili, casi tipici, limite e negativi, istruzioni positive e motivate, e come si scoprono le ambiguità prima che producano errori in produzione.
  4. Parametri e scelta del modello: qualità, costi e latenza — Come si scelgono modello e parametri: temperatura, campionamento, limiti di output; differenze tra modelli veloci e modelli con ragionamento esteso; come si calcolano costi e tempi di una richiesta e come un instradamento fra modelli riduce la spesa senza perdere qualità.

Modulo 2 · Tecniche di prompting

  1. Esempi nel prompt (few-shot): scegliere, ordinare e valutare gli esempi — Come si usano gli esempi per insegnare formato e criterio al modello: quanti, quali, in che ordine; come evitare bias e copiatura; esempi negativi e di bordo; selezione dinamica; come si misura il valore di ogni esempio rispetto al suo costo in token.
  2. Ragionamento e decomposizione: catena di pensiero, verifica, coerenza interna e modelli con ragionamento — Come si migliorano i compiti complessi: far ragionare per passi, scomporre i problemi, verificare, usare più campioni e voto di maggioranza (autoconsistenza); che cosa cambia con i modelli con ragionamento esteso e quando il ragionamento non serve.
  3. Output strutturati: schemi, validazione, riprova e contratti con il codice — Come si ottengono risposte leggibili da un programma: progettazione dello schema, vincolo dell'output con le funzioni del fornitore o con il solo prompt, validazione a più livelli, riprova con messaggio d'errore e calcolo dell'affidabilità complessiva.
  4. Prompt di sistema, ruoli e guardrail: istruzioni stabili, tono e limiti dell'assistente — Come si progetta il prompt di sistema di un'applicazione: struttura, livelli di istruzioni e priorità, tono, comportamento nei casi limite e di rifiuto, protezione di informazioni riservate, versionamento e costo, con calcolo dell'effetto della memorizzazione del prefisso.

Modulo 3 · Contesto e conoscenza

  1. Context engineering: costruire la finestra di contesto giusta a ogni passo — Il contesto come risorsa scarsa da progettare: che cosa vi entra (istruzioni, esempi, documenti, memoria, risultati di strumenti), come si assegna un budget di token, come si selezionano, comprimono e isolano le informazioni e perché più contesto non è sempre meglio.
  2. RAG: recupero della conoscenza, citazioni e valutazione del retrieval — Come si costruisce un sistema di risposta basato su documenti: preparazione, suddivisione in frammenti, ricerca semantica e testuale, riclassificazione, generazione con citazioni; come si misurano separatamente retrieval e risposta con recall@k e fedeltà alle fonti.
  3. Memoria e conversazioni lunghe: cronologia, riassunti, memoria a lungo termine e privacy — Come si gestisce la continuità di una conversazione: crescita della cronologia e dei costi, riassunti progressivi, memoria a lungo termine con recupero, diritti dell'utente su ciò che viene ricordato e valutazione della coerenza nel tempo.
  4. Documenti lunghi, dati tabellari e input multimodali: strategie di elaborazione e verifica — Come si lavora con documenti oltre la finestra, tabelle e dati numerici, immagini, audio e PDF scansionati: suddivisione e sintesi gerarchica, strumenti di calcolo al posto della lettura, estrazione verificabile e controlli di qualità, con calcoli di costo.

Modulo 4 · Strumenti, agenti e workflow

  1. Chiamata di strumenti: progettare funzioni che il modello usa bene e in sicurezza — Come un modello usa funzioni esterne: ciclo di richiesta e risultato, progettazione di nomi, descrizioni e parametri, messaggi d'errore utili, permessi, conferme e idempotenza; come il numero di strumenti influenza la scelta e il costo in token.
  2. Agenti: ciclo di azione, pianificazione, stato e affidabilità dei compiti a più passi — Che cosa distingue un agente da un singolo prompt o da un workflow; come si progettano ciclo, condizioni di arresto, stato e budget; perché l'affidabilità cala con il numero di passi (calcolo con probabilità composte) e quando conviene non usare un agente.
  3. Workflow a più passi: concatenamento, instradamento, parallelizzazione e valutazione — I modelli di workflow più utili: catena di prompt, instradamento, parallelizzazione (sezioni e voto), orchestratore con esecutori e ciclo valutatore-ottimizzatore; come si scelgono, come si calcolano latenza e costi e come si evitano complessità inutili.
  4. Affidabilità e supervisione umana: guasti, riprove, soglie di fiducia e revisione — Come si rendono affidabili i sistemi con modelli: guasti tipici, timeout, riprove e percorsi di ripiego; instradamento per fiducia verso la revisione umana con calcolo dell'accuratezza complessiva; rilascio graduale, registri e responsabilità.

Modulo 5 · Valutazione e operazioni

  1. Progettare le valutazioni: dataset di riferimento, metriche e significatività — Come si misura la qualità di un prompt: costruzione del dataset di riferimento (golden set), scelta delle metriche (accuratezza, precisione, richiamo, F1), intervalli di confidenza e dimensione del campione, separazione fra sviluppo e test e analisi degli errori.
  2. Giudice automatico e valutazione umana: rubriche, concordanza e bias — Come valutare risposte aperte: rubriche con criteri osservabili, uso di un modello come giudice, calibrazione con valutatori umani, concordanza (accordo osservato e kappa di Cohen), bias del giudice e confronti a coppie.
  3. Iterazione, versioni e regressioni: PromptOps — Come si gestiscono i prompt come software: versionamento, esperimenti controllati, test di regressione, confronto fra versioni, cambi di modello, registri delle modifiche e rilascio con approvazione.
  4. Costi, latenza, memorizzazione e osservabilità in produzione — Come si controllano costi e tempi di un sistema in produzione: modello dei costi per richiesta, memorizzazione del prefisso, instradamento, elaborazione a lotti, flusso progressivo, osservabilità (tracce, indicatori, allarmi) e gestione di privacy e conservazione.

Modulo 6 · Sicurezza, governance e pratica professionale

  1. Sicurezza: prompt injection, fuga di dati e minimo privilegio — Le minacce specifiche dei sistemi con modelli: iniezione diretta e indiretta, fuga di istruzioni e dati, abuso degli strumenti; difese a strati (separazione, permessi, validazione, conferme), test avversari e risposta agli incidenti.
  2. Privacy, diritto d'autore, bias e conformità: AI Act e GDPR in pratica — I requisiti con cui un prompt engineer si confronta: dati personali e base giuridica, minimizzazione, trasferimenti, diritto d'autore e licenze, bias ed equità, trasparenza e supervisione umana secondo il regolamento europeo sull'IA; con un approccio pratico e senza sostituire la consulenza legale.
  3. La professione: casi d'uso, portfolio, collaborazione e crescita — Come lavora un prompt engineer: selezione dei casi d'uso con stima di valore, collaborazione con esperti di dominio, sviluppo e legale, documentazione, comunicazione dei limiti, costruzione di un portfolio e crescita continua.
  4. Progetto finale: progettare, valutare e mettere in sicurezza un assistente — Un caso integrato con numeri: dal requisito alla progettazione del prompt, alla valutazione con intervallo di confidenza, ai costi, alla sicurezza e al rilascio; con una rubrica di autovalutazione e una soluzione commentata.

In appendice: Trucchi del mestiere, 96 accorgimenti operativi dal lavoro sul campo.

Il docente

Eugenio Damaso, fondatore di eugeniodamaso.it Academy. Slide e dispensa in PDF incluse; test finale con attestato e Open Badge.

Programma

  1. 1

    Come lavora un modello linguistico: token, contesto, probabilità e limiti

    Che cosa fa davvero un modello linguistico: predice il token successivo; che cosa sono token e finestra di contesto e come si stimano; perché le risposte variano; quali limiti (allucinazioni, posizione dell'informazione…

    Lettura · 55 minuti
  2. 2

    Anatomia di un prompt: ruolo, compito, contesto, vincoli, formato ed esempi

    Come si struttura un prompt efficace: gli elementi che lo compongono, l'ordine, i delimitatori che separano istruzioni e dati, e come trasformare un prompt vago in uno completo e testabile.

    Lettura · 55 minuti
  3. 3

    Requisiti chiari: criteri di successo, casi limite e gestione dell'ambiguità

    Come si trasformano esigenze di business in requisiti verificabili per un prompt: criteri di successo misurabili, casi tipici, limite e negativi, istruzioni positive e motivate, e come si scoprono le ambiguità prima che…

    Lettura · 55 minuti
  4. 4

    Parametri e scelta del modello: qualità, costi e latenza

    Come si scelgono modello e parametri: temperatura, campionamento, limiti di output; differenze tra modelli veloci e modelli con ragionamento esteso; come si calcolano costi e tempi di una richiesta e come un instradamen…

    Lettura · 55 minuti
  5. 5

    Esempi nel prompt (few-shot): scegliere, ordinare e valutare gli esempi

    Come si usano gli esempi per insegnare formato e criterio al modello: quanti, quali, in che ordine; come evitare bias e copiatura; esempi negativi e di bordo; selezione dinamica; come si misura il valore di ogni esempio…

    Lettura · 55 minuti
  6. 6

    Ragionamento e decomposizione: catena di pensiero, verifica, coerenza interna e modelli con ragionamento

    Come si migliorano i compiti complessi: far ragionare per passi, scomporre i problemi, verificare, usare più campioni e voto di maggioranza (autoconsistenza); che cosa cambia con i modelli con ragionamento esteso e quan…

    Lettura · 55 minuti
  7. 7

    Output strutturati: schemi, validazione, riprova e contratti con il codice

    Come si ottengono risposte leggibili da un programma: progettazione dello schema, vincolo dell'output con le funzioni del fornitore o con il solo prompt, validazione a più livelli, riprova con messaggio d'errore e calco…

    Lettura · 55 minuti
  8. 8

    Prompt di sistema, ruoli e guardrail: istruzioni stabili, tono e limiti dell'assistente

    Come si progetta il prompt di sistema di un'applicazione: struttura, livelli di istruzioni e priorità, tono, comportamento nei casi limite e di rifiuto, protezione di informazioni riservate, versionamento e costo, con c…

    Lettura · 55 minuti
  9. 9

    Context engineering: costruire la finestra di contesto giusta a ogni passo

    Il contesto come risorsa scarsa da progettare: che cosa vi entra (istruzioni, esempi, documenti, memoria, risultati di strumenti), come si assegna un budget di token, come si selezionano, comprimono e isolano le informa…

    Lettura · 55 minuti
  10. 10

    RAG: recupero della conoscenza, citazioni e valutazione del retrieval

    Come si costruisce un sistema di risposta basato su documenti: preparazione, suddivisione in frammenti, ricerca semantica e testuale, riclassificazione, generazione con citazioni; come si misurano separatamente retrieva…

    Lettura · 55 minuti
  11. 11

    Memoria e conversazioni lunghe: cronologia, riassunti, memoria a lungo termine e privacy

    Come si gestisce la continuità di una conversazione: crescita della cronologia e dei costi, riassunti progressivi, memoria a lungo termine con recupero, diritti dell'utente su ciò che viene ricordato e valutazione della…

    Lettura · 55 minuti
  12. 12

    Documenti lunghi, dati tabellari e input multimodali: strategie di elaborazione e verifica

    Come si lavora con documenti oltre la finestra, tabelle e dati numerici, immagini, audio e PDF scansionati: suddivisione e sintesi gerarchica, strumenti di calcolo al posto della lettura, estrazione verificabile e contr…

    Lettura · 55 minuti
  13. 13

    Chiamata di strumenti: progettare funzioni che il modello usa bene e in sicurezza

    Come un modello usa funzioni esterne: ciclo di richiesta e risultato, progettazione di nomi, descrizioni e parametri, messaggi d'errore utili, permessi, conferme e idempotenza; come il numero di strumenti influenza la s…

    Lettura · 55 minuti
  14. 14

    Agenti: ciclo di azione, pianificazione, stato e affidabilità dei compiti a più passi

    Che cosa distingue un agente da un singolo prompt o da un workflow; come si progettano ciclo, condizioni di arresto, stato e budget; perché l'affidabilità cala con il numero di passi (calcolo con probabilità composte) e…

    Lettura · 55 minuti
  15. 15

    Workflow a più passi: concatenamento, instradamento, parallelizzazione e valutazione

    I modelli di workflow più utili: catena di prompt, instradamento, parallelizzazione (sezioni e voto), orchestratore con esecutori e ciclo valutatore-ottimizzatore; come si scelgono, come si calcolano latenza e costi e c…

    Lettura · 55 minuti
  16. 16

    Affidabilità e supervisione umana: guasti, riprove, soglie di fiducia e revisione

    Come si rendono affidabili i sistemi con modelli: guasti tipici, timeout, riprove e percorsi di ripiego; instradamento per fiducia verso la revisione umana con calcolo dell'accuratezza complessiva; rilascio graduale, re…

    Lettura · 55 minuti
  17. 17

    Progettare le valutazioni: dataset di riferimento, metriche e significatività

    Come si misura la qualità di un prompt: costruzione del dataset di riferimento (golden set), scelta delle metriche (accuratezza, precisione, richiamo, F1), intervalli di confidenza e dimensione del campione, separazione…

    Lettura · 55 minuti
  18. 18

    Giudice automatico e valutazione umana: rubriche, concordanza e bias

    Come valutare risposte aperte: rubriche con criteri osservabili, uso di un modello come giudice, calibrazione con valutatori umani, concordanza (accordo osservato e kappa di Cohen), bias del giudice e confronti a coppie.

    Lettura · 55 minuti
  19. 19

    Iterazione, versioni e regressioni: PromptOps

    Come si gestiscono i prompt come software: versionamento, esperimenti controllati, test di regressione, confronto fra versioni, cambi di modello, registri delle modifiche e rilascio con approvazione.

    Lettura · 55 minuti
  20. 20

    Costi, latenza, memorizzazione e osservabilità in produzione

    Come si controllano costi e tempi di un sistema in produzione: modello dei costi per richiesta, memorizzazione del prefisso, instradamento, elaborazione a lotti, flusso progressivo, osservabilità (tracce, indicatori, al…

    Lettura · 55 minuti
  21. 21

    Sicurezza: prompt injection, fuga di dati e minimo privilegio

    Le minacce specifiche dei sistemi con modelli: iniezione diretta e indiretta, fuga di istruzioni e dati, abuso degli strumenti; difese a strati (separazione, permessi, validazione, conferme), test avversari e risposta a…

    Lettura · 55 minuti
  22. 22

    Privacy, diritto d'autore, bias e conformità: AI Act e GDPR in pratica

    I requisiti con cui un prompt engineer si confronta: dati personali e base giuridica, minimizzazione, trasferimenti, diritto d'autore e licenze, bias ed equità, trasparenza e supervisione umana secondo il regolamento eu…

    Lettura · 55 minuti
  23. 23

    La professione: casi d'uso, portfolio, collaborazione e crescita

    Come lavora un prompt engineer: selezione dei casi d'uso con stima di valore, collaborazione con esperti di dominio, sviluppo e legale, documentazione, comunicazione dei limiti, costruzione di un portfolio e crescita co…

    Lettura · 55 minuti
  24. 24

    Progetto finale: progettare, valutare e mettere in sicurezza un assistente

    Un caso integrato con numeri: dal requisito alla progettazione del prompt, alla valutazione con intervallo di confidenza, ai costi, alla sicurezza e al rilascio; con una rubrica di autovalutazione e una soluzione commen…

    Lettura · 55 minuti
  25. 25

    Appendice · Trucchi del mestiere

    Gli accorgimenti di chi mette in produzione i prompt: come scrivere un requisito che il modello non può fraintendere, come scegliere gli esempi giusti, come far restituire un JSON sempre valido, come costruire un datase…

    Lettura · 30 minuti
  26. Test finale

    40 domande, si supera con il 85%, 56 minuti, fino a 3 tentativi.

    Verifica

A chi è rivolto

Prompt engineer e sviluppatori che integrano modelli linguistici, product manager e analisti di prodotto, data e automation specialist, consulenti, responsabili IT e professionisti che vogliono usare l'IA in modo affidabile e controllabile nel lavoro.