Perspectiva de Big Data en México y …¿Latinoamérica?

Ha pasado algún tiempo que no escribo en mi blog , creo que desde que me motive a hacer un salto cuántico al área de Big Data y Ciencia de Datos. Bueno dicen que más vale tarde que nunca.Desde hace 3 años, casi 4 me empecé a envolver en todos estos temas de Big Data desde Hadoop , la herramienta que sigue siendo “de facto” para almacenar y procesar grandes volúmenes de datos hasta las últimas tecnologías NoSQL (Cassandra) hasta Apache Spark (Procesamiento en memoria) y  que más adelante empezaré a compartir por aquí. He de decir y tengo que confesar que yo venía del mundo de la Arquitectura de Software para aplicaciones críticas y de escritorio y el salto no fue nada fácil, sobre todo viniendo de ambientes .NET. Aprender Hadoop y todo su ecosistema fue una curva bastante lenta (Hive, Pig, Sqoop, Zookeeper, Ozzie, Flume), incluso tomando cursos en el extranjero (EUA).  Pero olvide el título del Post y es acerca de Big Data en México y Latinoamérica.

Creo que es conveniente mencionar y es una frase que esta siendo utilizada frecuentemente que “Los datos son el nuevo petróleo”. Y en efecto así los son. Son el nuevo petróleo por que le permite a las compañías saber mucho más de lo que hoy saben acerca de su negocio y les permite tomar decisiones acertadas y no por instinto, esto en consecuencia es una ventaja competitiva dentro y fuera de la compañía. Quizás se les venga a la mente , “nosotros usamos reportes y tenemos BI. Sabemos acerca de nuestro negocio”. Sí, esto puede ser completamente cierto, pero ¿Qué pasa cuando los datos son demasiados? ¿Qué pasa cuando sus Enterprise Data Ware Houses tardan horas en procesar sus datos , si no es que días o semanas?. ¿Qué tan rápido pueden tomar decisiones que agreguen valor rápidamente?. ¿Pueden hacer predicciones con sus datos? ¿ Y que pasa cuando ese volúmen de datos es en tiempo real? Hoy en día todo esto puede ser resuelto con una capa de procesamiento en paralelo mucho más efectiva para tareas ETL, Limpieza de Datos, Streaming etc. Pero hablemos del negocio. Estrictamente del negocio. ¿Qué están haciendo las compañías en México para agregar una estrategia de Big Data y Ciencia de datos?. El asunto es que hay muy poco o nulo conocimiento de estrategias de una fase de adopción de Big Data. Existe la famosa palabra “Big Data” y todos hablan de ella pero muy pocos han podido implementar exitosamente y una de las reglas para que un proyecto de Big Data funcione es que un proyecto de Big Data o Ciencia de datos no es un proyecto de tecnología si no estrictamente de negocio. Me he topado con algunos colegas y empresas que tienen el mismo sentir. Existen soluciones en el mercado (no voy a mencionar ninguna marca)que ciertamente pueden coadyuvar a el objetivo de la compañía. Pero..¿Que realmente necesito para adoptar una estrategia de Big Data y Ciencia de datos?.Lo primero creo que es hacerse las preguntas adecuadas dentro del negocio independientemente de las soluciones tecnológicas acerca de los retos o problemas que quiero resolver.

En México me parece que las distintas verticales de negocio como Telecomunicaciones, Energía, Autoservicio, Marketing etc deben ya adoptar una estrategia para que su compañía sea conducida por datos y la buena noticia es que ya empiezan a salir los visionarios. Antes de comprar o adquirir una solución con alguna marca , es importante entender el negocio, que problemas y retos quiere resolver y con la misma estrategia, plantear las soluciones a corto , mediano y largo plazo. En México el asunto va lento pero empieza a ver interés de muchas compañías. El problema es la falta de talento y también el desconocimiento de muchas empresas para que compañías los ayuden a adoptar una estrategia que pueda generar valor al negocio y tomar mejores decisiones. Brasil ya dio varios pasos importantes y existen proyectos exitosos de Big Data. También empiezan a ver esfuerzos en Colombia y Venezuela. Necesitamos hacer una buena comunidad y empezar a compartir conocimiento (Hay dos meetups organizados por su servidor para integrar empresas y entusiastas en el área de Big Data y en específico de una tecnología como Apache Spark). Existen varios roles como Ingeniero de Datos, Científico en Datos que son importantes para una estrategia de este tipo e indudablemente la gente de negocio.

En mi siguiente Post, explicare las diferentes roles y responsabilidades de el Ingeniero de Datos y Científico de Datos.

Bienvenido a mi de nuevo y bienvenidos al mundo de Big Data y Ciencia de Datos