Machine Learning y Visión Artificial · VA-103

Visión por computador avanzada

Segmentación de instancias, semántica y panóptica, transferencia de estilo y unión de imágenes con PyTorch.

Disponible Especialización 8 módulos · 39 clases

Formato asíncrono Desarrollo, Ingeniería / Industria Python, PyTorch, OpenCV

INDUSTRIA40 IA

Lo que aprenderás

Distinguir segmentación semántica, de instancias y panóptica, y elegir la adecuada para cada requisito
Entrenar y ajustar un modelo de segmentación semántica con PyTorch sobre un conjunto propio
Aplicar arquitecturas de instancias tipo Mask R-CNN y evaluar con métricas de intersección sobre unión
Preparar y anotar un conjunto de datos de máscaras con aumentos coherentes con la anotación
Implementar transferencia de estilo neuronal separando representación de contenido y de estilo
Construir panorámicas uniendo imágenes con estimación de homografía, fusión y corrección de exposición
Optimizar la inferencia para ejecutar el modelo en el hardware disponible con la latencia requerida

Contenido del curso

8 módulos · 39 clases en vídeo · práctica guiada en cada módulo

Módulo 1 · Marco y entorno 5 clases

Semántica, instancias y panóptica: qué resuelve cada una
Requisitos del problema y elección de enfoque
Entorno con PyTorch y GPU
Conjuntos de referencia y conjunto propio del curso
Métricas: IoU, Dice y precisión media

Módulo 2 · Datos y anotación 5 clases

Criterios de anotación de máscaras
Herramientas de etiquetado y formatos
Aumentos que respetan la máscara
Desequilibrio de clases y muestreo
División en entrenamiento, validación y prueba

Módulo 3 · Segmentación semántica 5 clases

Arquitecturas codificador-decodificador y U-Net
Redes totalmente convolucionales y DeepLab
Funciones de pérdida para segmentación
Entrenamiento y curvas de aprendizaje
Ajuste fino de un modelo preentrenado

Módulo 4 · Segmentación de instancias y panóptica 5 clases

Mask R-CNN: detección y máscara
Supresión de no máximos y solapamientos
Instancias que se tocan y se ocluyen
Fusión semántica e instancias en salida panóptica
Evaluación y análisis de errores

Módulo 5 · Transferencia de estilo 5 clases

Representación de contenido y de estilo en una red
Matriz de Gram y función de pérdida
Optimización sobre la imagen frente a red de estilo
Control de la intensidad del efecto
Aplicación a aumento de datos

Módulo 6 · Unión de imágenes 5 clases

Correspondencias y homografía entre tomas
Proyección cilíndrica y esférica
Búsqueda de costura óptima
Fusión multibanda y corrección de exposición
Panorámica completa evaluada

Módulo 7 · Inferencia y despliegue 5 clases

Exportación a TorchScript y a ONNX
Cuantización y reducción del modelo
Medición de latencia y de memoria
Inferencia por lotes y en flujo de vídeo
Comprobaciones antes de poner en servicio

Módulo 8 · Proyecto de cierre 4 clases

Sistema de segmentación sobre un dominio propio
Anotación, entrenamiento y evaluación completos
Análisis de errores y segunda iteración
Modelo optimizado y documentado para su integración

Requisitos

Dominio de OpenCV y de visión clásica: características, homografías y segmentación por regiones
Experiencia previa con redes neuronales y con PyTorch a nivel de entrenamiento y evaluación
Acceso a una GPU propia o en la nube para los entrenamientos del curso

Descripción

Detectar una caja alrededor de un objeto ya no basta en muchos problemas: hace falta saber qué píxeles pertenecen a cada instancia para medir superficie, separar piezas que se tocan o recortar un objeto con precisión. La segmentación resuelve eso, pero exige decisiones finas sobre arquitectura, anotación, aumentos y métricas que no se improvisan.

Este curso de especialización trabaja las tres familias de segmentación con PyTorch, desde la preparación y anotación del conjunto hasta la evaluación con métricas adecuadas y el ajuste de un modelo preentrenado a un dominio propio. Incluye además dos aplicaciones exigentes: transferencia de estilo neuronal y unión de imágenes en panorámicas con corrección fotométrica.

El resultado es capacidad para llevar un problema de segmentación desde la definición del criterio de anotación hasta un modelo evaluado y optimizado para ejecutarse en el hardware disponible. Es el nivel que se pide en proyectos de inspección fina, análisis de imagen científica y sistemas de percepción.

¿Para quién es este curso?

Ingenieros de visión que necesitan medir superficies o separar instancias con precisión de píxel
Desarrolladores de aprendizaje profundo que pasan de clasificación y detección a segmentación
Perfiles de I+D que trabajan con imagen científica o industrial y preparan modelos para producción