La Ingeniería de Datos o Data Engineering es un enorme reto hoy en día, mas es un tema esencial en el planeta de la tecnología. Con el mercado medrando exponencialmente y la demanda de ingenieros de datos asimismo incrementando, ¿cuál va a ser el próximo capítulo de esta historia? Para discutir esto, el Directivo de Arquitectura de Datos, Advanced Analytics y Automatización de Keyrus, Luis Gustavo Scalise, comparte su perspectiva.
«La industria de datos está aún en su niñez y tratando de definirse a sí. No está claro qué caminos y tamaños alcanzará este mercado, mas podemos decir con certidumbre que está medrando a un ritmo veloz. Al tiempo que la ingeniería de datos con su conjunto de herramientas existe desde hace bastante tiempo (Talend e Informatica se están transformando ya en adultos, por poner un ejemplo), las arquitecturas «modernas» en la nube son aún parcialmente nuevas, lo que forma una de las fuentes de entusiasmo en el ámbito. Ciertas herramientas más populares que se emplean hoy en día se crearon hace menos de cinco años.
Un indicador de la juventud del campo es la proliferación de nueva terminología, como la complejidad para acotar términos que se han hecho comunes en los últimos un par de años. Aun el propio ‘Data Stack moderno’ carece de definición en todo el ámbito, y términos como ‘Data Fabric’ y ‘Data Mesh’ se han empleado para describir nuevas arquitecturas».
Conociendo estos hechos, Luis Gustavo Scalise identifica 3 cambios en las responsabilidades de un ingeniero de datos:
• Los ingenieros de datos emplearán aún más tecnologías dueñas en la nube y productos Software as a Service
• Los ingenieros de datos van a pasar menos tiempo codificando y más tiempo inspeccionando (el código bajo está volviendo)
• Los ingenieros de datos van a pasar de «equipos de características» a «equipos centrales» o Core teams.
Explica que los papeles de datos y la estructura de los equipos se están transformando en ventajas competitivas: «Detrás de todas y cada una estas tendencias en Data Stacks y herramientas está el enorme movimiento que hacen las compañías para organizarse en torno a los datos». Un KPI que confirma esta aseveración es que las plazas libres para ingenieros de datos han aumentado un cincuenta por ciento en los últimos un par de años. A mi juicio, ya no se trata de tener el equipo conveniente, el conjunto de habilidades conveniente o la pila de datos conveniente, cuando menos ya no, sino más bien de de qué manera se organizan los equipos de datos inteligentes en torno a esos puntos.»
En lo que se refiere a las tendencias del mercado, pese a tantas nuevas herramientas y técnicas libres, el Directivo de Keyrus asimismo identifica 3 a fin de que las compañías tengan éxito: ML for Advanced Analytics, Reverse ETL (ET inverso) y Data Observability.
Le puede interesar: De manual a digital: De qué forma el eProcurement está convirtiendo la eficacia de medianas empresas