Inteligencia Artificial Aplicada · IA-161

Fine-tuning en local: hardware y despliegue

Dimensionar la GPU, cuantizar el modelo afinado y ponerlo en servicio sobre infraestructura propia.

Disponible Especialización 6 módulos · 24 clases

Formato asíncrono Desarrollo, Ingeniería / Industria Unsloth, Ollama

IA OPENSOURCE

Lo que aprenderás

Dimensionar GPU y memoria para entrenamiento y para inferencia del modelo elegido.
Fusionar los adaptadores LoRA con el modelo base y exportar el resultado a formato GGUF.
Cuantizar el modelo resultante y medir la pérdida de calidad frente a la versión original.
Servir el modelo con Ollama y exponerlo a las aplicaciones internas de la organización.
Diseñar una evaluación con casos propios que decida si el modelo afinado entra en producción.
Planificar actualizaciones y vuelta atrás cuando una versión nueva empeora el servicio.

Contenido del curso

6 módulos · 24 clases en vídeo · práctica guiada en cada módulo

Módulo 1 · Dimensionar el hardware 4 clases

Requisitos de memoria para entrenar y para inferir
GPU propia, servidor compartido o alquiler por uso
Cálculo de capacidad para peticiones simultáneas
Preparación del entorno de despliegue

Módulo 2 · De adaptador a modelo servible 4 clases

Fusionar los adaptadores con el modelo base
Exportación a GGUF
Verificar que el modelo fusionado conserva el comportamiento
Organización y versionado de artefactos

Módulo 3 · Cuantización 4 clases

Niveles de cuantización disponibles
Medir la degradación en tareas propias
Compromiso entre memoria, velocidad y calidad
Elegir el nivel para cada escenario de uso

Módulo 4 · Puesta en servicio con Ollama 4 clases

Registrar el modelo propio y su Modelfile
Parámetros de contexto y de generación en servicio
Exponer la API a las aplicaciones internas
Concurrencia, colas y tiempos de espera

Módulo 5 · Evaluación de entrada a producción 4 clases

Batería de casos propios como criterio de aceptación
Comparación contra el modelo en uso
Pruebas de carga y medición de latencia
Decisión documentada de despliegue

Módulo 6 · Operación y caso práctico 4 clases

Versionado y convivencia de dos modelos
Despliegue progresivo y vuelta atrás
Monitorización de uso y de errores
Caso práctico: modelo afinado en servicio interno

Requisitos

Haber entrenado adaptadores LoRA o seguido previamente el curso de fine-tuning con Unsloth.
Administración de sistemas Linux: servicios, contenedores y monitorización básica.
Acceso a una máquina con GPU sobre la que desplegar y medir.
Conocer Ollama a nivel de gestión de modelos y de su API local.

Descripción

Un modelo afinado que solo funciona en el cuaderno donde se entrenó no sirve de nada. El salto a producción concentra los problemas: el adaptador hay que fusionarlo, el fichero resultante hay que convertirlo y cuantizarlo, el servicio hay que dimensionarlo para varias peticiones simultáneas y alguien tiene que decidir si de verdad mejora al modelo anterior.

El curso recorre ese camino completo. Se dimensiona el hardware con criterios verificables, se fusionan los adaptadores y se exporta a GGUF, se cuantiza midiendo qué se pierde en cada nivel y se sirve el modelo con Ollama detrás de las aplicaciones internas. Cada paso se acompaña de la medición correspondiente en latencia, memoria y rendimiento bajo carga.

La última parte es de operación: evaluación con casos propios como puerta de entrada a producción, versionado de modelos, procedimiento de actualización y vuelta atrás cuando la versión nueva empeora. Cierra el itinerario de afinado y enlaza con la evaluación y observabilidad de sistemas basados en modelos de lenguaje.

¿Para quién es este curso?

Administradores de sistemas responsables de la infraestructura de inferencia de la organización.
Perfiles de ingeniería que han afinado un modelo y deben integrarlo en aplicaciones internas.
Equipos técnicos que operan modelos en entornos aislados y necesitan un procedimiento de actualización.