Electrónica y Sistemas Embebidos · EMB-115

Redes neuronales en ESP32

Entrenar fuera, inferir dentro: el flujo completo desde el conjunto de datos hasta el modelo corriendo en ESP32.

Disponible Especialización 7 módulos · 31 clases

Formato asíncrono Ingeniería / Industria, Desarrollo ESP32, Python

IA HARDWARE

Lo que aprenderás

Capturar y etiquetar un conjunto de datos propio desde los sensores conectados al ESP32.
Entrenar en el ordenador un modelo dimensionado desde el principio para el tamaño de memoria disponible.
Convertir el modelo a TensorFlow Lite para microcontroladores y cuantizarlo a entero de 8 bits.
Integrar el intérprete en el firmware reservando el área de tensores y comprobando su ocupación real.
Medir el tiempo de inferencia y el uso de RAM en la placa y ajustar la arquitectura si no encajan.
Encadenar adquisición, preprocesado e inferencia en un bucle con cadencia estable y consumo controlado.

Contenido del curso

7 módulos · 31 clases en vídeo · práctica guiada en cada módulo

Módulo 1 · Alcance y restricciones 4 clases

Qué modelo cabe realmente en un ESP32
Memoria, flash y velocidad disponibles
Casos que funcionan y casos que no
Entorno de desarrollo y cadena de herramientas

Módulo 2 · Conjunto de datos propio 5 clases

Elección del sensor y de la frecuencia de muestreo
Captura de datos con la placa y volcado al ordenador
Etiquetado y organización de las clases
Ventanas, solapamiento y balance de clases
Datos de prueba independientes

Módulo 3 · Preprocesado 4 clases

Normalización y escalado compatibles con el firmware
Características en tiempo y en frecuencia
El mismo preprocesado en entrenamiento y en dispositivo
Coste de cálculo del preprocesado en la placa

Módulo 4 · Entrenamiento con presupuesto de memoria 4 clases

Arquitecturas pequeñas y su capacidad
Entrenamiento y validación en el ordenador
Estimación del tamaño del modelo antes de convertirlo
Ajuste de la arquitectura al presupuesto disponible

Módulo 5 · Conversión y cuantización 5 clases

Conversión a TensorFlow Lite
Cuantización a entero de 8 bits
Conjunto representativo para la calibración
Pérdida de calidad y cómo medirla
Modelo como vector en el firmware

Módulo 6 · Integración en el firmware 5 clases

Intérprete para microcontroladores en el proyecto
Área de tensores y resolución de operadores
Errores frecuentes de arranque del intérprete
Lectura de la salida y umbral de decisión
Medida de tiempo de inferencia y de RAM libre

Módulo 7 · Proyecto de cierre 4 clases

Clasificador completo sobre señal de sensor
Bucle de adquisición e inferencia con cadencia estable
Consumo del dispositivo en funcionamiento continuo
Evaluación en condiciones reales y límites encontrados

Requisitos

Experiencia sólida programando ESP32, incluyendo lectura de sensores y gestión de memoria.
Haber entrenado modelos previamente con TensorFlow o con Keras.
Programación en C o C++ para la parte de firmware y en Python para la de entrenamiento.
Placa ESP32 con memoria suficiente y algún sensor, por ejemplo un acelerómetro o un micrófono.

Descripción

Llevar una red neuronal a un microcontrolador no es reducir un modelo grande: es diseñar desde el principio para unos cientos de kilobytes de memoria y para un procesador sin unidad de coma flotante potente. Quien lo intenta al revés se encuentra con un modelo que no cabe, con un intérprete que no arranca o con una inferencia que rompe la cadencia de muestreo.

El curso recorre el flujo entero en el orden correcto. Captura y etiquetado de datos reales con la propia placa, entrenamiento en el ordenador con una arquitectura acotada, conversión a TensorFlow Lite para microcontroladores y cuantización a entero. Después la parte de firmware: integración del intérprete, dimensionado del área de tensores y comprobación de lo que ocupa realmente.

El cierre es la medida en la placa: tiempo de inferencia, RAM libre, consumo y estabilidad del bucle de adquisición. Con eso se decide si la arquitectura es viable o si hay que reducirla. Complementa los cursos de inferencia en dispositivos con más recursos y el de arquitectura de inteligencia artificial en sistemas embebidos.

¿Para quién es este curso?

Ingeniería de producto que quiere clasificar señal en el propio dispositivo sin depender de conexión.
Perfiles de desarrollo de firmware que deben integrar un modelo entrenado por otro equipo.
Equipos de I+D que evalúan si un ESP32 basta para su caso o si necesitan una plataforma mayor.