Inteligencia Artificial Aplicada · IA-160

Fine-tuning de LLM con Unsloth

Cuándo compensa afinar un modelo, cómo preparar el dataset y cómo entrenar con LoRA sin desperdiciar GPU.

Disponible Especialización 6 módulos · 26 clases

Formato asíncrono Desarrollo, Ingeniería / Industria Unsloth, Hugging Face

IA DESARROLLO

Lo que aprenderás

Decidir entre prompting, RAG y fine-tuning a partir del problema y de los datos disponibles.
Construir un dataset de instrucciones limpio, deduplicado y con partición de validación separada.
Configurar LoRA eligiendo rango, alfa y módulos objetivo, y justificar cada valor elegido.
Entrenar con Unsloth aprovechando la cuantización de cuatro bits para reducir memoria.
Leer las curvas de pérdida y detectar sobreajuste antes de agotar el presupuesto de cómputo.
Publicar los adaptadores en Hugging Face con su model card, su licencia y su evaluación.

Contenido del curso

6 módulos · 26 clases en vídeo · práctica guiada en cada módulo

Módulo 1 · Decidir antes de entrenar 4 clases

Prompting, RAG y fine-tuning: qué resuelve cada uno
Señales de que el afinado sí es la vía
Coste real de un entrenamiento y de sus repeticiones
Preparación del entorno con Unsloth

Módulo 2 · El dataset 5 clases

Formato de instrucción, entrada y respuesta
Fuentes de datos y derechos de uso
Limpieza, deduplicación y equilibrio de categorías
Partición de validación sin fugas
Cuántos ejemplos hacen falta y de qué calidad

Módulo 3 · LoRA en detalle 4 clases

Qué modifica un adaptador y qué deja intacto
Rango y alfa: efecto práctico de cada valor
Módulos objetivo dentro del modelo
Comparación con el entrenamiento completo

Módulo 4 · Entrenar con Unsloth 5 clases

Carga del modelo base cuantizado
Configuración del entrenamiento y del tamaño de lote
Tasa de aprendizaje y calentamiento
Puntos de guardado y reanudación
Uso de memoria y ajustes cuando no cabe

Módulo 5 · Leer el entrenamiento 4 clases

Curvas de pérdida de entrenamiento y validación
Reconocer sobreajuste y subajuste
Cuándo parar y cuándo reiniciar con otro dataset
Olvido de capacidades del modelo base

Módulo 6 · Evaluación y publicación 4 clases

Batería de evaluación con casos propios
Comparar modelo afinado contra modelo base
Model card honesta: qué mejora y qué empeora
Publicación de adaptadores y licencia aplicable

Requisitos

Python avanzado y manejo habitual de cuadernos con librerías de aprendizaje automático.
Conocer el ciclo de entrenamiento: épocas, tasa de aprendizaje, validación y sobreajuste.
Experiencia previa con modelos de lenguaje y con el ecosistema de Hugging Face.
Acceso a una GPU, propia o en la nube, para ejecutar los entrenamientos del curso.

Descripción

El fine-tuning es la respuesta que primero se propone y casi nunca la que hacía falta. Muchos problemas que se plantean como afinado se resuelven con una plantilla mejor escrita o con recuperación documental, a un coste incomparablemente menor. Distinguir los casos antes de reservar tiempo de GPU es la primera competencia que enseña este curso.

Cuando el afinado sí procede, casi todo el resultado depende del dataset. Se trabaja su construcción con detalle: formato de instrucciones, limpieza, deduplicación, equilibrio de categorías y separación honesta de validación. Después se entrena con Unsloth y LoRA sobre cuantización de cuatro bits, justificando cada hiperparámetro y leyendo las curvas para parar a tiempo.

El cierre es la evaluación y la publicación: comparar el modelo afinado contra el base sobre casos propios, documentar qué mejora y qué empeora, y publicar los adaptadores con su tarjeta y su licencia. Continúa en el curso de despliegue en local, donde el adaptador se fusiona, se cuantiza y se pone en servicio.

¿Para quién es este curso?

Perfiles de desarrollo que necesitan un modelo que responda en el formato y la jerga de su dominio.
Ingeniería de datos que dispone de histórico propio y quiere convertirlo en capacidad del modelo.
Equipos técnicos que ya usan RAG y han llegado al límite de lo que la recuperación puede resolver.