Large Language Models (LLMs) da zero in Python
5 Moduli
29 Lezioni
6 Ore

Large Language Models (LLMs) da zero in Python

Intermedio Programmazione Python Intelligenza Artificiale Large Language Model
Effettua il login per accedere

Questo corso è consigliato a chi vuole sviluppare una profonda conoscenza computazionale sul funzionamento dei Large Language Models (LLMs).


Durante il corso infatti saranno analizzati tutti i componenti che, assieme, formano l'architettura di un tipico LLM. A tale fine sarà utilizzato il linguaggio Python per mostrare come implementare a mano i vari componenti di interesse.

Contenuti del corso

1 Tokenization
  • Perché la tokenizzazione?
  • Tiktoken, il tokenizzatore di OpenAI
  • Byte-Pair Encoding (BPE)
  • Review finale del tokenizzatore BPE
2 Embeddings
  • I token non hanno semantica
  • Spazi vettoriali
  • Embedding come look-up table
  • One-hot Encoding
  • La geometria degli embedding
  • Esploriamo l'embedding di GPT-2
  • Gli embeddings si imparano
3 Positional Encoding
  • La posizione è importante
  • Aggiungere informazioni sulla posizione
  • Fixed positional encoding
  • Learned positional encoding
  • Approcci moderni
4 Attention
  • Introduzione al modulo
  • Il ruolo dell'attenzione
  • L'attenzione come somma pesata
  • Queries, Keys e Values (QKV)
  • Self-Attention
  • Self-Attention in Python
  • Self-Attention con le Matrici
  • Masked Self-Attention
  • Multi-Head Self-Attention
5 Residual Stream
  • Deep Neural Networks and Parameters
  • Residual Stream
  • Normalization Layer
  • Normalization Layer in Python

Insegnanti

Leonardo Tamiano Leonardo Tamiano Fondatore di Esadecimale