Machine Learning y Visión Artificial · ML-113

Edge AI: inferencia en Raspberry Pi y aceleradores

Ejecutar modelos donde está el sensor: cuantización, latencia y consumo en Raspberry Pi y aceleradores.

Próximamente Especialización 7 módulos · 28 clases

Formato asíncrono Ingeniería / Industria, Desarrollo Raspberry Pi, Python

IA INDUSTRIA40 HARDWARE

Lo que aprenderás

Medir latencia, uso de memoria y consumo de un modelo sobre la placa de destino con carga realista.
Cuantizar un modelo a entero de 8 bits y cuantificar la pérdida de calidad frente al original.
Convertir modelos a TensorFlow Lite y a ONNX Runtime eligiendo el proveedor de ejecución adecuado.
Configurar un acelerador USB o una unidad de procesamiento neuronal y comparar su ganancia real.
Diseñar la captura y el preprocesado en el dispositivo para no convertirlos en el cuello de botella.
Decidir qué se infiere en el borde y qué se envía al servidor según latencia, ancho de banda y privacidad.

Contenido del curso

7 módulos · 28 clases en vídeo · práctica guiada en cada módulo

Módulo 1 · Por qué inferir en el borde 4 clases

Latencia, ancho de banda, privacidad y coste
Qué placas y aceleradores hay disponibles
Preparación de la Raspberry Pi para el curso
Metodología de medida honesta

Módulo 2 · Línea base de rendimiento 4 clases

Medir latencia por inferencia y variabilidad
Uso de memoria y limitaciones de la placa
Consumo eléctrico y temperatura
Efecto de la limitación térmica en sesiones largas

Módulo 3 · Reducción del modelo 4 clases

Poda y reducción de arquitectura
Cuantización posterior al entrenamiento
Entrenamiento consciente de la cuantización
Medir la pérdida de calidad con el conjunto de prueba

Módulo 4 · Formatos y motores de inferencia 4 clases

Exportación a TensorFlow Lite
ONNX y proveedores de ejecución
Delegados y aceleración por hardware
Comparativa reproducible entre motores

Módulo 5 · Aceleradores 4 clases

Aceleradores USB y unidades de procesamiento neuronal
Compilación del modelo para el acelerador
Operaciones no soportadas y repliegue a CPU
Ganancia real frente a coste añadido

Módulo 6 · Captura y canalización en el dispositivo 4 clases

Cámara y adquisición sin copias innecesarias
Preprocesado eficiente y formatos de imagen
Hilos, colas y cadencia sostenida
Detección del cuello de botella real

Módulo 7 · Operación en campo 4 clases

Servicio en arranque y recuperación ante fallo
Actualización del modelo en dispositivos desplegados
Telemetría del dispositivo y supervisión del parque
Proyecto final: detección en dispositivo con presupuesto de latencia

Requisitos

Experiencia entrenando modelos con PyTorch o TensorFlow y exportándolos a un formato de inferencia.
Manejo de Linux en línea de comandos: paquetes, servicios y permisos de dispositivo.
Disponer de una Raspberry Pi u otra placa similar para reproducir las prácticas de medida.
Nociones de electrónica básica para conectar cámara o sensores a la placa.

Descripción

Un modelo que responde en unos milisegundos sobre una GPU de escritorio puede tardar segundos en una placa que consume unos pocos vatios, y en muchas instalaciones no hay alternativa: la conexión es mala, los datos no pueden salir del recinto o la decisión tiene que tomarse antes de que la pieza avance. Ahí el diseño se hace con restricciones de latencia y de energía.

El curso trabaja sobre Raspberry Pi y sobre aceleradores accesibles, midiendo en lugar de suponer. Se establece una línea base de latencia y consumo, se aplica cuantización a entero, se convierte a TensorFlow Lite o a ONNX Runtime y se compara cada variante con la misma metodología. También se optimiza la captura y el preprocesado, que a menudo pesan más que la propia inferencia.

El bloque final aborda la arquitectura del sistema: qué corre en el dispositivo, qué se envía al servidor, cómo se actualiza el modelo en campo y cómo se supervisa un parque de dispositivos. Encaja con la puesta de modelos en servicio y con los proyectos de sistemas embebidos que integran inferencia junto al sensor.

¿Para quién es este curso?

Ingeniería de sistemas que instala visión o análisis de señal en ubicaciones sin buena conexión.
Perfiles de desarrollo que deben llevar un modelo ya entrenado a una placa con recursos limitados.
Equipos de producto que valoran si un dispositivo puede llevar inferencia integrada y a qué coste.