Constant Evolution: New Tools for Data Lineage Analysis
August 21, 2025
Constant Evolution: New Tools for Data Lineage Analysis
Since the last update, work on Data Flow Visualizer has not stopped. Thanks to your initial feedback, I've focused on a new wave of improvements designed to enhance data lineage analysis. This update introduces new ways to understand our data flows and significantly refines the visual experience.
Furthermore, this intense development cycle has made me reflect a lot on the process of creating a tool like this with the help of Artificial Intelligence, and I want to share some of those thoughts with you.
What's New: Beyond the Individual Graph
The last few weeks have focused on three major areas:
- New "Chain Flow" View: Now, when you upload multiple scripts, the application generates a high-level view of the entire execution sequence. Perfect for understanding your complete ETL data lineage at a glance!
- Refined Visual Interface: We've said goodbye to generic shapes. Each element in the diagrams now has its own custom icon, providing a more professional and intuitive interface.
- The Power of Metadata: This is a major step forward for analysis. Now, clicking on a script in the chain view reveals key metadata, including input and output tables.
AI as a Copilot, Not an Autopilot
This project was born as an experiment on the capabilities of AI in software development. While AI has been a powerful accelerator, this latest phase has reinforced a key idea: AI, today, still requires a director with a very clear vision.
"Developing with AI is not about sitting back and giving orders. It's a constant dialogue... The AI can write the code, but you have to write the story that code needs to tell."
It’s a tool that amplifies skill, not replaces it. As a BI analyst, I know that the most powerful tool is useless if you don't ask the right questions. The same is true for AI.
The journey continues, with many more features planned. As always, any suggestions are welcome. Thank you for following along!
21 de Agosto, 2025
Evolución Constante: Nuevas Herramientas para el Análisis de Linaje de Datos
Desde la última actualización, el trabajo en Data Flow Visualizer no ha cesado. Gracias a vuestros comentarios, me he centrado en una nueva ola de mejoras diseñadas para potenciar el análisis de linaje de datos. Esta actualización introduce nuevas formas de entender nuestros flujos y refina significativamente la experiencia visual.
Además, este intenso ciclo de desarrollo me ha hecho reflexionar mucho sobre el proceso de crear una herramienta así con la ayuda de la Inteligencia Artificial, y quiero compartir algunas de esas ideas con vosotros.
Novedades: Más Allá del Gráfico Individual
Las últimas semanas se han centrado en tres grandes áreas:
- Nueva Vista "Flujo de Cadena": Ahora, al subir varios scripts, la aplicación genera una vista de alto nivel de toda la secuencia de ejecución. ¡Perfecto para entender el linaje de datos de tu ETL de un vistazo!
- Interfaz Visual Refinada: Hemos dicho adiós a las formas genéricas. Cada elemento en los diagramas ahora tiene su propio icono personalizado, aportando un aspecto más profesional.
- El Poder de los Metadatos: Un gran paso adelante para el análisis. Ahora, al hacer clic en un script en la vista de cadena, se revelan metadatos clave, como las tablas de entrada y salida.
La IA como copiloto, no como piloto automático
Este proyecto nació como un experimento sobre las capacidades de la IA en el desarrollo de software. Y aunque ha sido un acelerador increíble, esta última fase ha reforzado una idea clave: la IA, a día de hoy, sigue necesitando un director con una visión muy clara.
"Desarrollar con IA no es sentarse y dar órdenes. Es un diálogo constante... La IA puede escribir el código, pero tú tienes que escribir la historia que ese código debe contar."
Es una herramienta que amplifica la habilidad, no que la reemplaza. Como analista de BI, sé que la herramienta más potente es inútil si no se hacen las preguntas correctas. Con la IA ocurre lo mismo.
El viaje continúa, con muchas más funcionalidades planeadas. Como siempre, cualquier sugerencia es bienvenida. ¡Gracias por seguir este proyecto!