La tarea más compleja en cualquier proyecto de administración de datos.
¿Qué tanto sabes acerca de tus datos? ¿Sabes de dónde provienen? ¿Cómo se mueven a través de los sistemas y cómo cambian? Si ese proceso conocido como “seguimiento del linaje de datos” no se ejecuta correctamente, es imposible tener confianza en la autenticidad de los datos que respaldan las operaciones y la administración del negocio.
El linaje de datos parece simple: “Estoy viendo un número en un reporte. ¿De dónde vino?” Sin embargo, dado que los usuarios de negocios identificaron primero la necesidad de saber de dónde vienen sus datos, tanto ellos como los usuarios técnicos han reconocido requerimientos que son aún más desafiantes.
La cantidad y variedad de fuentes de información hace que sea difícil satisfacer esta necesidad. No siempre es fácil localizar todas esas fuentes, incluso cuando se ha encontrado el problema puede ser abrumador.
Muchas empresas tienen miles, o incluso decenas de miles de elementos de datos únicos. Refinar el desafío y comprender el linaje de los datos en un nivel macro entre los almacenes de datos y en un nivel micro dentro de las aplicaciones hechas a la medida, agrega otra capa adicional de complejidad.
Lo más importante para mapear el linaje de datos en un sistema de información, es detectar el movimiento de información de un almacén de datos a otro. Lo segundo es comprender cómo los elementos de datos de origen se modifican y combinan para crear elementos destino.
Para soportar esta detección, construimos una base de conocimientos escaneando los metadatos y reconciliándolos en un modelo de información integrado que soporta navegación hacia adelante y hacia atrás.
El proceso de transformación utiliza un esquema de mapeo para controlar la agregación de metadatos “crudos” del área de la fuente en elementos racionalizados, utilizados por el análisis de linaje de datos.
Por: Eduardo Molinar
Enterprise Solutions Engineer.
