Cómo predicen los LLMs

Los LLMs predicen la siguiente palabra basándose en el contexto y lo aprendido en su entrenamiento.

CONTEXTO
?
¿Por qué un LLM es diferente al autocomplete del celular?
Entrenamiento
Tus mensajes Billones de documentos
Contexto
~5 palabras 500,000+ palabras
Generación
1 palabra Documentos completos