Big Data e Ingeniería de Datos · BIG-195

Arquitecturas de datos en tiempo real para industria

De la señal de máquina al indicador de dirección con latencia de segundos y trazabilidad completa.

Bajo demanda Especialización 8 módulos · 37 clases

Formato asíncrono Ingeniería / Industria, Desarrollo Kafka, Spark, InfluxDB, Grafana

INDUSTRIA40 DATOS IOT

Lo que aprenderás

Diseñar la arquitectura de un flujo industrial desde el PLC o la pasarela hasta el panel de dirección.
Modelar temas, particiones y claves en Kafka para conservar el orden por máquina y permitir escalado.
Procesar la corriente con Spark Structured Streaming aplicando ventanas, marcas de agua y datos tardíos.
Almacenar series temporales en InfluxDB con política de retención, agregación continua y submuestreo.
Construir paneles operativos en Grafana con alertas por umbral y por desviación sobre la señal.
Garantizar trazabilidad de extremo a extremo con identificadores, marcas de tiempo y control de reproceso.

Contenido del curso

8 módulos · 37 clases en vídeo · práctica guiada en cada módulo

Módulo 1 · El hueco entre planta y dirección 4 clases

Qué se pierde entre el control y el informe
Latencia, orden y trazabilidad como requisitos
Arquitectura de referencia del curso
Entorno de prácticas con Docker

Módulo 2 · Ingesta desde planta 5 clases

MQTT y estructura de temas en planta
OPC UA y su pasarela hacia el mundo de datos
Marcas de tiempo de origen frente a de llegada
Contexto de máquina, línea y turno
Pérdida de conexión y almacenamiento local

Módulo 3 · Kafka como columna vertebral 5 clases

Temas, particiones y claves por máquina
Orden garantizado y sus límites reales
Retención, compactación y reproceso
Esquemas y registro de esquemas
Productores y consumidores con garantías

Módulo 4 · Procesamiento en corriente 5 clases

Spark Structured Streaming: modelo y puntos de control
Ventanas de tiempo y agregaciones móviles
Marcas de agua y datos que llegan tarde
Uniones entre corriente y datos maestros
Cálculo de indicadores de disponibilidad y rendimiento

Módulo 5 · Almacenamiento de series 5 clases

Modelo de InfluxDB: medidas, etiquetas y campos
Escritura por lotes y precisión temporal
Retención y agregaciones continuas
Submuestreo para histórico largo
Consultas para paneles y para análisis

Módulo 6 · Visualización y alertas 5 clases

Paneles de operación frente a paneles de dirección
Variables, plantillas y vistas por línea
Alertas por umbral y por desviación
Evitar la fatiga de alertas
Anotaciones de parada y de incidencia

Módulo 7 · Trazabilidad y operación 4 clases

Identificadores que atraviesan todo el flujo
Reproceso sin duplicar indicadores
Vigilancia del propio sistema de datos
Coste de infraestructura y dimensionado

Módulo 8 · Proyecto industrial completo 4 clases

Definición de indicadores con producción
Implantación de extremo a extremo
Ensayo de fallo de red y recuperación
Validación con planta y entrega documentada

Requisitos

Experiencia previa con Kafka o con otro sistema de mensajería, y con Spark.
Conocimiento del entorno industrial: señales de máquina, OPC UA o MQTT.
Manejo de Docker y de línea de comandos en Linux.

Descripción

En planta conviven dos mundos: el sistema de control, que ve la señal al instante pero no la conserva ni la contextualiza, y el informe de dirección, que llega al día siguiente con datos agregados que ya no permiten actuar. Entre ambos se pierden las paradas breves, las derivas de calidad y las causas de una merma.

Este curso construye el puente completo. Se ingiere la señal desde MQTT y OPC UA hacia Kafka con un modelo de temas y claves pensado para el orden por máquina, se procesa con Spark Structured Streaming aplicando ventanas y marcas de agua para los datos que llegan tarde, se almacenan las series en InfluxDB con retención y submuestreo, y se presenta en Grafana con alertas accionables.

El resultado es un sistema donde el indicador que ve dirección se puede rastrear hasta la lectura concreta que lo originó, con latencia de segundos y sin depender de exportaciones manuales. Como curso de especialización, cierra el itinerario de datos industriales y da la base para trabajos de mantenimiento predictivo y de eficiencia energética.

¿Para quién es este curso?

Ingeniería de automatización e industrial que quiere llevar la señal de máquina más allá del SCADA.
Perfiles de desarrollo que construyen la plataforma de datos de una empresa manufacturera.
Responsables de mejora continua que necesitan indicadores fiables y trazables para decidir en planta.