LLM 02 - Positional Encoding

Guarda su YouTube → 25:54 2 luglio 2026

Intelligenza ArtificialeLarge Language Model

Descrizione

Oggi si continua la serie sui Large Language Models andando a discutere del ruolo del positional encoding, del perché viene utilizzato e di come si implementa a livello computazionale. Questa serie di video è basata su un corso che sto creando in queste settimane nella piattaforma Esadecimale, il cui obiettivo è lo sviluppo delle basi computazionali per comprendere il funzionamento di un LLM. Il corso è disponibile qui: - https://learn.esadecimale.it/courses/ai-llm-from-scratch/learn Per accedere al corso bisogna effettuare l'iscrizione in piattaforma tramite il form nella seguente pagina: - https://esadecimale.it Nel video menziono che il positional encoding è stato introdotto dal paper "Attention is all you need", ma in realtà non è questo vero. Il paper ha utilizzato nal tecnica nel contesto della architettura Transformer. Il paper non ha neanche introdotto il concetto di "Attention". Il vero risultato del paper è stato mettere assieme i pezzi e definire l'architettura Transformer, che poi è stata utilizzata per lo sviluppo dei modelli di linguaggio. Il progetto Esadecimale nasce per offrire il migliore contenitore di didattica informatica presente in tutto il territorio Italiano. Se vuoi supportare la mia missione puoi approfondire il mio progetti tramite i seguenti link: - https://esadecimale.it - https://learn.esadecimale.it - https://cyber.esadecimale.it - https://forum.esadecimale.it

Commenti 14

I commenti vengono da YouTube e sono aggiornati periodicamente.

@cap1tanfutur0 3 luglio 2026 2

Grazie Leonardo per questi contenuti preziosi. Per chi come me, a ventanni dalla laurea in ingegneria non ha tempo di leggere e approfondire paper come questo che ha rivoluzionato la nostra vita e carriera è un dono. Grazie
1 risposta
1. @esadecimale Autore 3 luglio 2026 1
  
  Nel prossimo modulo sull'attention si ritorna al paper Attetion is all you need :)
@511break 5 luglio 2026

Appena finisco un corso di deep learning mi iscrivo ✌️
@gianluca-e7i 2 luglio 2026 4

Continua così
@ChristianCabizza 4 luglio 2026

Carissimo Leonardo, fai dei contenuti pazzeschi, complimenti. Mi veniva in mente, banalmente, un suggerimento: raccoglieresti sia questa serie di video che quella sulla cybersecurity in delle apposite playlists? A meno che non ci sia una ragione specifica per cui non intendi farlo! Grazie di cuore, davvero.
1 risposta
1. @esadecimale Autore 4 luglio 2026
  
  Si assolutamente, devo sistemare thumbnail e metterli in una playlist apposita!
@matteo679 3 luglio 2026

Ottimo video, come sempre! Sarebbe bello, dopo aver introdotto il concetto dell'attenzione, se potessi ampliare il corso (magari anche in futuro) con un video dedicato a RoPE
1 risposta
1. @esadecimale Autore 3 luglio 2026 2
  
  Prossimo step è focus su self-attention e multi-head self-attention (ritorneremo al paper Attention is all you need), ma una volta fatto quello e capito come funziona si ritorna anche al RoPE!
@gab-o5y2h 8 luglio 2026

A breve approveranno la nuova legge sul chat control. Quando puoi magari ci potresti fare un video
1 risposta
1. @esadecimale Autore 8 luglio 2026 1
  
  Si sto vedendo. C'è anche da dire che questa volta l'Italia è uno dei pochi paesi che si è effettivamente opposto, quindi noi italiani abbiamo fatto il nostro a questo round. Ma onestamente la speranza scende sempre di più. Mi sembra che ci sia una lobby che sia indirizzata in questa occasione, e l'illusione della democrazia indiretta è appunto una illusione. Non siamo noi a scegliere, è il potere e chi lo controlla in quel momento. In questo momento sto in treno ritornando a casa, appena riesco ne parlo, grazie per il pensiero!
@Hyons79 2 luglio 2026

Senza offesa, ma mezz’ora di video davvero incasinato… Per spiegare una cosa molto elementare: il Transformer non legge come noi da sinistra a destra, ma guarda tutto contemporaneamente quindi gli serve una posizione… Cane mangia gatto senza quella formula: chi mangia chi…. Quello, infatti, avviene prima di QKV…
3 risposte
1. @esadecimale Autore 2 luglio 2026 6
  
  Sarà elementare per te, non è detto che lo sia per altri, ed inoltre quello che hai scritto qui è solo l'intuizione, non il modo in cui è formalizzato matematicamente. Hai utilizzato una parola "incasinato" molto particolare, considerando che ho letto il paper del transformer e l'ho semplicemente spiegato. Cosa c'è di incasinato in questo, scusami? Niente offesa ma dal tuo commento non percepisco una chiarezza che sarebbe utile ad uno studente universitario per capire, ok, ma computazionalmente cosa faccio? Tra l'altro il fatto che abbiamo bisogno di codificare informazioni sulle posizioni non c'entra con il fatto che il transformer legge tutto contemporaneamente, perché il positional encoding si utilizza anche per gli LLM che invece sono sequenziali esattamente come noi. È necessario perché l'embedding da lo stesso valore (vettore) ad un token a prescindere da dove si trova e a prescindere da come viene poi letto. Accetto tutte le critiche, ma ti consiglio di analizzare meglio ciò che hai scritto perché così come lo hai scritto non è una argomentazione sensata. (Ed anzi mostra che non hai capito il punto del positional encoding)
2. @TheMartinAudio 4 luglio 2026 4
  
  scusa ma questi contenuti sono tutto tranne che elementari...infatti si vede il livelllo delle AI inesistenti italiane...umiltà ragazzo, umiltà.
3. @michelecampus9801 31 agosto 2026
  
  Elementare forse per te. Per altri invece è un video che spiega con semplicità i concetti di base. Non siamo tutti "nati imparati". Un po' più di umiltà non sarebbe male al giorno d'oggi.