Electrónica y Sistemas Embebidos · EMB-116

LLM y RAG en sistemas embebidos: límites

Qué cabe hoy en un ESP32, qué exige un SBC y dónde está la frontera real.

Disponible Especialización 7 módulos · 31 clases

Formato asíncrono Ingeniería / Industria, Desarrollo ESP32, Ollama

IA HARDWARE

Lo que aprenderás

Delimitar qué tareas de lenguaje puede resolver un ESP32 por sí solo y cuáles necesitan otro equipo.
Estimar memoria, ancho de banda y latencia de un modelo de lenguaje según su tamaño y su cuantización.
Levantar un modelo local con Ollama en un SBC y medir su rendimiento con peticiones realistas.
Construir una canalización RAG con troceado, embeddings y búsqueda vectorial sobre documentación técnica.
Diseñar una arquitectura en la que el ESP32 actúe como cliente y el SBC concentre la inferencia.
Evaluar la calidad de las respuestas con un conjunto de preguntas de referencia en lugar de por impresión.

Contenido del curso

7 módulos · 31 clases en vídeo · práctica guiada en cada módulo

Módulo 1 · Situar la pregunta 4 clases

Qué se pide realmente cuando se pide un LLM en un dispositivo
Recursos de un ESP32 frente a los de un modelo de lenguaje
Tareas de lenguaje por orden de exigencia
Entorno y hardware del curso

Módulo 2 · Coste real de un modelo 4 clases

Parámetros, cuantización y memoria necesaria
Velocidad de generación y ancho de banda de memoria
Modelos pequeños disponibles y sus límites
Metodología de medida comparable

Módulo 3 · Inferencia local con Ollama 5 clases

Instalación y puesta en marcha en el SBC
Descarga y ejecución de modelos
API local y consumo desde Python
Medida de latencia y de generación por segundo
Comportamiento térmico en uso sostenido

Módulo 4 · RAG sobre documentación técnica 5 clases

Por qué recuperar en lugar de reentrenar
Troceado de manuales y de fichas técnicas
Embeddings y almacén vectorial
Recuperación y construcción del contexto
Citas y trazabilidad de la respuesta

Módulo 5 · El papel del ESP32 5 clases

Captura, filtrado y envío de la consulta
Comandos por voz o por texto desde el dispositivo
Respuesta reducida y presentación en pantalla o audio
Funcionamiento sin conexión con el servidor
Qué tareas de lenguaje sí caben en el microcontrolador

Módulo 6 · Arquitectura y despliegue 4 clases

Reparto entre dispositivo, SBC y servidor
Privacidad de los datos y proceso local
Coste de energía y de hardware
Actualización de modelos y de documentación indexada

Módulo 7 · Evaluación y cierre 4 clases

Conjunto de preguntas de referencia
Medida de exactitud y de respuestas inventadas
Comparación entre modelos y configuraciones
Informe de viabilidad para un caso propio

Requisitos

Experiencia programando ESP32 y manejo de Linux en un ordenador de placa única.
Programación en Python y nociones de servicios HTTP y de API.
Conocimientos generales de modelos de lenguaje, sin necesidad de haber entrenado ninguno.
Un ESP32 y un ordenador de placa única con memoria suficiente para ejecutar un modelo pequeño.

Descripción

Los modelos de lenguaje han llegado a las conversaciones sobre producto embebido con expectativas que el hardware no sostiene. Se pregunta si un ESP32 puede responder consultas sobre el manual de una máquina, y la respuesta honesta exige distinguir entre lo que el microcontrolador puede hacer como cliente y lo que solo se puede ejecutar en un equipo con varios gigabytes de memoria.

El curso mide en lugar de opinar. Se establecen los requisitos reales de memoria y de cómputo de modelos de distinto tamaño y cuantización, se levanta uno local con Ollama sobre un ordenador de placa única y se registra su rendimiento con peticiones realistas. Sobre esa base se monta una canalización RAG con documentación técnica propia, troceado, embeddings y búsqueda vectorial.

La parte final define el reparto: el ESP32 captura, filtra y consulta, y el SBC concentra la inferencia, con criterios de latencia, privacidad y coste. Se evalúa la calidad con un conjunto de preguntas de referencia. Es un cierre de itinerario que sitúa con datos dónde está hoy la frontera entre lo embebido y lo que exige un servidor.

¿Para quién es este curso?

Ingeniería de producto que recibe la petición de integrar asistentes de lenguaje en un equipo embebido.
Perfiles de desarrollo que dan soporte técnico y valoran un asistente sobre documentación propia.
Equipos de I+D que necesitan cifras propias antes de comprometer una funcionalidad en un dispositivo.