Lenguajes y Fundamentos de Programación · PY-142

Del cuaderno a producción

Parametrizar, programar y ejecutar cuadernos como procesos fiables en servidor, con registro y avisos.

Próximamente Avanzado 7 módulos · 33 clases

Formato asíncrono Desarrollo, Ingeniería / Industria JupyterLab, Python, Docker

DATOS DESARROLLO JUPYTER

Lo que aprenderás

Parametrizar un cuaderno y ejecutarlo con distintos valores de entrada usando papermill
Ejecutar cuadernos sin interfaz desde la línea de órdenes y capturar su salida como artefacto
Empaquetar el análisis y sus dependencias en una imagen Docker que se ejecuta igual en cualquier servidor
Programar ejecuciones periódicas y encadenar cuadernos con dependencias entre pasos
Registrar cada ejecución con sus parámetros, su duración y su resultado para poder auditarla
Detectar y notificar fallos de ejecución sin depender de que alguien mire el resultado
Decidir qué parte del cuaderno debe salir a un módulo o a un servicio y cuál puede quedarse

Contenido del curso

7 módulos · 33 clases en vídeo · práctica guiada en cada módulo

Módulo 1 · Del cuaderno al proceso 4 clases

Qué falla cuando el análisis depende de una persona
Criterios para decidir si un cuaderno debe automatizarse
Estado de partida: cuaderno del proyecto
Entorno, Docker y servidor de trabajo

Módulo 2 · Parametrización 5 clases

Celda de parámetros y valores por defecto
Ejecución con papermill y paso de parámetros
Barrido sobre un conjunto de configuraciones
Cuaderno de salida como artefacto de la ejecución
Errores de ejecución y su captura

Módulo 3 · Código que sale del cuaderno 5 clases

Qué extraer a un módulo importable
Pruebas del código extraído
Configuración externa en fichero o en variables de entorno
El cuaderno como capa de presentación del análisis
Revisión del proyecto tras la extracción

Módulo 4 · Empaquetado con Docker 5 clases

Imagen con Python, dependencias y cuadernos
Datos y credenciales fuera de la imagen
Volúmenes para entrada y salida
Construcción reproducible y etiquetado de versiones
Ejecución de la imagen en el servidor

Módulo 5 · Programación y encadenado 5 clases

Ejecución periódica programada
Dependencias entre pasos del proceso
Reintentos y ejecución idempotente
Ventanas de ejecución y solapamientos
Alternativas con orquestador cuando el proceso crece

Módulo 6 · Observabilidad 5 clases

Registro estructurado de cada ejecución
Almacenamiento de parámetros, duración y resultado
Avisos por correo o por canal de mensajería ante fallo
Comprobaciones de calidad sobre la salida
Panel de estado de las últimas ejecuciones

Módulo 7 · Proyecto de cierre 4 clases

Informe periódico completo ejecutado en servidor
Parametrización por periodo y por unidad
Programación, registro y avisos activos
Documentación de operación y traspaso al equipo

Requisitos

Trabajar con JupyterLab y con proyectos de análisis en Python
Conocer Docker a nivel de imagen, contenedor y volumen
Manejo de terminal Linux y acceso a un servidor donde desplegar

Descripción

Un análisis que funciona en el portátil de quien lo escribió no es un proceso: es una demostración. Cuando el informe hay que producirlo cada semana, cuando otro departamento depende de él o cuando hay que ejecutarlo sobre veinte conjuntos de parámetros, el cuaderno manual se convierte en un punto único de fallo con nombre y apellidos.

El curso lleva el cuaderno a ejecución automatizada: parametrización con papermill, ejecución sin interfaz, empaquetado en Docker con dependencias fijadas, programación periódica, encadenado de pasos, registro de cada ejecución y aviso ante fallo. También marca el límite: qué código debe abandonar el cuaderno y convertirse en módulo probado, y qué puede permanecer.

Al terminar, el análisis se ejecuta solo, deja rastro de lo que hizo y avisa cuando algo falla. Ese es el punto donde un trabajo de análisis pasa a ser un servicio del que otros pueden depender, y la base para integrarlo con procesos de datos mayores.

¿Para quién es este curso?

Analistas cuyo informe periódico depende de que ellos ejecuten un cuaderno a mano
Ingenieros de datos que deben llevar análisis exploratorios a ejecución programada y auditable
Equipos técnicos que necesitan que un proceso de análisis funcione igual en el servidor y en local