Curso Apache Spark 13 y 14 de Octubre 2016

Hola, estaré impartiendo un curso de Apache Spark los días 13 y 14 de Octubre en el D.F. La duración es 16 horas y el cupo es limitado.

 

Aquí les dejo el temario

Objetivo del Curso

El participante adquirirá los principios básico del ecosistema BigData como Hadoop, Spark y entornos Cloud. Además de principios básicos de los sistemas distribuidos y sistemas a gran escala. Se familiarizará con el entorno de trabajo de Apache Spark con Python y además explorara la abstracción de los datos como son los RDD Datasets y DataFrames. Hará un proyecto de análisis y podrá hacer deploy de la solución de manera local o en un clúster. Adquirirá los conocimientos necesarios para monitoreo y desempeño del clúster.

Introducción

1. Introducción a Big data y su ecosistema
2. Herramientas y workflows
3. Introducción al Ambiente Spark
4. Historia y orígenes
5. La necesidad de Spark
6. Set up Spark and Scala
7. Set up Spark y Python
8. Tu primer PySpark Job
9. Introducción a los RDDs
10. Funciones, transformaciones y acciones
11. Map Reduce en Spark

Spark APIS

1. Introducción a la APIS
2. Importar y exportar datos
3. Parsing y transformación de datos
4. Introducción a los DataFrames
5. Agregaciones y Análisis
6. Introducción a Spark SQL
7. Agregando estructura a tus datos
8. Spark SQL y su integración con data flows y workflows
9. Proyecto 1, Análisis de retrasos de vuelo
Spark y Ciencia de Datos

1. ¿Qué es la ciencia en Datos?
2. ¿Dónde encaja Spark en un proyecto de ciencia de datos?
3. Introducción al análisis exploratorio
4. Calidad de los Datos con Accumulators
5. Darles sentido a los datos (Estadística y Distribuciones)
6. Trabajando con Texto (Natural Language Processing)
7. Tokenization y Vectorization con Spark
8. Sumarización con tf-idf
9. Introduccion a Machine Learning
10. Aprendizaje no supervisado – clusterización imlementando K-means

Consideraciones Finales

1. Deployment – Local
2. Deployment – Cluster
3. Performance – Monitoreo y Optimización
4. ¿Qué es lo que sigue?

Costo 12,500 por persona + IVA
Duración 16 horas
Fecha 13 y 14 de Octubre
Lugar

KMMX Campeche 300 Piso 1 Col. Hipódromo Condesa

Para mayor información en isragaytan@gmail.com

Perspectiva de Big Data en México y …¿Latinoamérica?

Ha pasado algún tiempo que no escribo en mi blog , creo que desde que me motive a hacer un salto cuántico al área de Big Data y Ciencia de Datos. Bueno dicen que más vale tarde que nunca.Desde hace 3 años, casi 4 me empecé a envolver en todos estos temas de Big Data desde Hadoop , la herramienta que sigue siendo “de facto” para almacenar y procesar grandes volúmenes de datos hasta las últimas tecnologías NoSQL (Cassandra) hasta Apache Spark (Procesamiento en memoria) y  que más adelante empezaré a compartir por aquí. He de decir y tengo que confesar que yo venía del mundo de la Arquitectura de Software para aplicaciones críticas y de escritorio y el salto no fue nada fácil, sobre todo viniendo de ambientes .NET. Aprender Hadoop y todo su ecosistema fue una curva bastante lenta (Hive, Pig, Sqoop, Zookeeper, Ozzie, Flume), incluso tomando cursos en el extranjero (EUA).  Pero olvide el título del Post y es acerca de Big Data en México y Latinoamérica.

Creo que es conveniente mencionar y es una frase que esta siendo utilizada frecuentemente que “Los datos son el nuevo petróleo”. Y en efecto así los son. Son el nuevo petróleo por que le permite a las compañías saber mucho más de lo que hoy saben acerca de su negocio y les permite tomar decisiones acertadas y no por instinto, esto en consecuencia es una ventaja competitiva dentro y fuera de la compañía. Quizás se les venga a la mente , “nosotros usamos reportes y tenemos BI. Sabemos acerca de nuestro negocio”. Sí, esto puede ser completamente cierto, pero ¿Qué pasa cuando los datos son demasiados? ¿Qué pasa cuando sus Enterprise Data Ware Houses tardan horas en procesar sus datos , si no es que días o semanas?. ¿Qué tan rápido pueden tomar decisiones que agreguen valor rápidamente?. ¿Pueden hacer predicciones con sus datos? ¿ Y que pasa cuando ese volúmen de datos es en tiempo real? Hoy en día todo esto puede ser resuelto con una capa de procesamiento en paralelo mucho más efectiva para tareas ETL, Limpieza de Datos, Streaming etc. Pero hablemos del negocio. Estrictamente del negocio. ¿Qué están haciendo las compañías en México para agregar una estrategia de Big Data y Ciencia de datos?. El asunto es que hay muy poco o nulo conocimiento de estrategias de una fase de adopción de Big Data. Existe la famosa palabra “Big Data” y todos hablan de ella pero muy pocos han podido implementar exitosamente y una de las reglas para que un proyecto de Big Data funcione es que un proyecto de Big Data o Ciencia de datos no es un proyecto de tecnología si no estrictamente de negocio. Me he topado con algunos colegas y empresas que tienen el mismo sentir. Existen soluciones en el mercado (no voy a mencionar ninguna marca)que ciertamente pueden coadyuvar a el objetivo de la compañía. Pero..¿Que realmente necesito para adoptar una estrategia de Big Data y Ciencia de datos?.Lo primero creo que es hacerse las preguntas adecuadas dentro del negocio independientemente de las soluciones tecnológicas acerca de los retos o problemas que quiero resolver.

En México me parece que las distintas verticales de negocio como Telecomunicaciones, Energía, Autoservicio, Marketing etc deben ya adoptar una estrategia para que su compañía sea conducida por datos y la buena noticia es que ya empiezan a salir los visionarios. Antes de comprar o adquirir una solución con alguna marca , es importante entender el negocio, que problemas y retos quiere resolver y con la misma estrategia, plantear las soluciones a corto , mediano y largo plazo. En México el asunto va lento pero empieza a ver interés de muchas compañías. El problema es la falta de talento y también el desconocimiento de muchas empresas para que compañías los ayuden a adoptar una estrategia que pueda generar valor al negocio y tomar mejores decisiones. Brasil ya dio varios pasos importantes y existen proyectos exitosos de Big Data. También empiezan a ver esfuerzos en Colombia y Venezuela. Necesitamos hacer una buena comunidad y empezar a compartir conocimiento (Hay dos meetups organizados por su servidor para integrar empresas y entusiastas en el área de Big Data y en específico de una tecnología como Apache Spark). Existen varios roles como Ingeniero de Datos, Científico en Datos que son importantes para una estrategia de este tipo e indudablemente la gente de negocio.

En mi siguiente Post, explicare las diferentes roles y responsabilidades de el Ingeniero de Datos y Científico de Datos.

Bienvenido a mi de nuevo y bienvenidos al mundo de Big Data y Ciencia de Datos

Talk about Mining Social Data in Centro San Agustin DGTIC UNAM México

Hi, The next Monday (18 Junio 2012) I will give a short talk about development techniques (Node JS, Python, MongoDB) about Mining Social Data (Twitter, Facebook and others) and a gentle introduction to Collective Intelligence. The place is in Centro San Agustín.
República de El Salvador 70,Centro Histórico. México D.F. at 4:00 to 5:30 pm. More info on http://centro.sanagustin.unam.mx/talleres/talleres.php

Hola , el próximo Lunes estaré dando una charla de técnicas de desarrollo ((NodeJS, Python, MongoDB) para de Mineria de Datos de Redes Sociales (Twitter, Facebook y otros) y una pequeña introduccion a la Inteligencia Colectiva. El lugar es en Centro San Agustín. República de El Salvador 70,Centro Histórico. México D.F. at 4:00 to 5:30 pm. Más información en http://centro.sanagustin.unam.mx/talleres/talleres.php

Moving on….to Data Science!

Yep. Thats true. We are moving on. The reason is because i want to share my little knowledge on Data Science, Emerging technologies (Python,MongoDB,Erlang,Collective Intelligence,Natural Language Processing,Hadoop,Redis,Node.JS,Machine Learning and all related stuff), and off course how you can integrate with your own data or Social APIS for get this data and analyze, visualize, put to work some algorithms … and build your own products…sounds good isn`t it? . I want to be (and the way is long and hard) a Data Scientist. May be you are asking the question?..And whats about all Adobe Stuff? and why Data Science..Well Tecnhology is great. Life is good, but i use technology for get a result (what ever it is). I discovered almost 9 months ago when i bought a book about Collective Intelligence. Then i felt like the princess when she was kissed by the prince. I was charmed. I was charmed about what you can do with big data for store, analyze, visualize, predict, etc.. . I lost the “spark” a long time ago for write things that i dont feel passionate (traditional web). I want to share with you what am i learning about this fascinanting field , and off course , what you can do with this things. Off course i have to live. So i will still develop appilcations (traditional applications and mobile stuff) So do u want to join me?..It will be fun. By the way i just remember my friend Alberto Gonzalez when decided to move on Security. I was like no way is not possible. Everything its possible… I am moving on to…Data Science. Do you want to know what it is and what its possible?. See this article http://radar.oreilly.com/2010/06/what-is-data-science.html

Curso de Social Media Applications con Flash /Flex Facebook

Hola a todos. ¿Que frío es el que hace no?. Para todos los que quieran aprender o mejorar sus técnicas y  desarrollar aplicaciones con Flash / Flex e integración con Facebook estoy planeando un curso que estoy seguro les será de mucha utilidad

El temario tentativo es el siguiente:

• Introducción a Facebook
• Creacíón de Aplicaciones Social Media con Facebook
• Facebook ActionScript 3 SDK en Flash Builder
• Plantilla HTML para integración con Flash y Facebook
• Autenticación con Facebook
• Información de sesión de Facebook y el usuario activo
• Permisos en Facebook
• Leyendo y escribiendo datos con el Graph API
• Breve introducción a FQL
• Feeds y Status Updates (postear un link en Facebook)
• Comments y Like This
• Fotos Albumes y Tags (subir fotos y tomar fotos)
• Ventanas de diálogo en Facebook.

Consideraciones Finales (https (SSL), espacios de nombres, página de inicio)

Todo esto va enfocado a Flash y Flex e incluso puede aplicarse en desarrollos en AIR.

Las sede y las fechas aún estan por confirmarse. El temario aproximádamente será de 16 a 20 hrs en modo intensivo (dos días) y al final realizaran una aplicación completa con la integración de estas tecnologías.Si hay algo que quisieran ver también me pueden dejar escrito algo aquí para ver si nos da tiempo de abordarlo en el temario.

Saludos!

LatinFlash Tour 2011

El LatinFlashTour 2011 ya está a la vuelta de la esquina. El evento está enfocado a todos los entusiastas de la Plataforma Flash en México. Entre los temas incluídos: Flash Games, Flash y HTML5, Proyectos Extremos con Flash, Animación HTML5 con Adobe Edge, Técnicas de Ilustración con Flash, Photoshop CS5, Flash Catalyst y más. Los expositores son de lo más destacado en el desarrollo como lo Lee Brimelow (The Flash Blog & GotoAndLearn) Paul Trani (PaulTrani.com)

Yo estaré dando una charla de Flash Killer Tips el día 23 de Septiembre. Si quieren registrarse la liga es http://latinflashtour2011.eventbrite.com/ para más información de registro y lugar.

Allá nos vemos. Happy Flashing.

The Flash Player.

El reproductor de Adobe Flash. La manzana de la discordia. Y creanme que cuando hablo de manzana no hablo de la manzana que todos conocemos. El flash player ha dado  mucho de que hablar en estos últimos meses. Con la aparición de HTML5 que esta siendo el lenguaje defacto para desarrollo en dispositivos móviles.Quisiera ser breve en este post ya que hay muchas cosas que tocar acerca de este tema y de lo que ha venido sucediendo en torno a flash player.

Video: Adobe Max 2011

El Adobe Max ha llegado a su fin y con ello me deja muchas experiencias, relaciones, amistades y también oportunidades de negocio además de expandir mi visión. Para los que no han podido ir al Adobe Max les dejo un video de como es un día en un Max. Perdonen las fallas técnicas pero estaba grabado con mi dispositivo (Samsung Galaxy Tab)

Tambien no dejen de visitar las conferencias de las diferentes áreas(Design,Envision,KeyNotes) y descargar los materiales en https://max.adobe.com/schedule/by-day/

¡ Adobe Express aquí en México !

Es un placer comunicarles que algunos de los mejores exponentes latinoamericanos de desarrollo en la plataforma flash estarán dando charlas en México del 23 al 29 de Septiembre y el día de hoy comenzo por la Ciudad de Morelia Michoacán.

Apple Vs Adobe a 2 de 3 caídas sin límite de tiempo….

Estimados todos:

Tengo rato de no escribir en el blog, por mis múltiples ocupaciones (honestamente siempre hay pretextos). Les comento que estoy como Arquitecto RIA en una empresa de Poza Rica de Hidalgo Veracruz haciendo aplicaciones para la Industria Petrolera, esto solo para que tenga un ligero update de mi. Señoras y señores, lucharaaaaaaaaan a 2 de 3 caídas sin límite de tiempo, por el bando de los RUDOS, APPLE y de second Steve Jobs, por el bando de los técnicos ADOBE FLASH PLATFORM y de second todos los desarrolldores de la plataforma.

Este post debo decirlo, es a petición de mi gran amigo Edgar Parada, gracias amigo por despertarme de este largo letargo.Como ustedes saben APPLE hizo un movimiento en el que excluye los desarrollos de contenido hecho en Flash y otras plataformas incluyendo una de microsoft que no recuerdo el nombre hacia el IPHONE, pero no solo eso, comentarios acerca de que el Flash Player es muy “buggy” y que las mayoria de las fallas del MAC OSX se deben a Flash. Si bien es cierto que APPLE siempre ha sido un mercado cerrado desde sus inicios y que ha tenido mucho éxito debido a sus estrategias, a mi juicio creo que esta vez si se pasaron de la línea. Es de su conocimiento de igual manera, que una de las características más padres que traera, o iba a traer el cs5 , es el packager para las aplicaciones hacia iphone. Pero con el cambio de desición de excluir desarrollos a unos días del lanzamiento de CS5 fue una marrulleria (término de lucha libre del bando de los rudos que hacen trampa y juegan sucio). Voy a tratar de poner las cosas en una justa balanza y ustedes emitiran su opinión. En mi corta o larga carrera dentro de la plataforma flash he visto muchas cosas, cosas increíbles muchas mejoras en cuanto al flash player, los IDES, integración con otras herramientas, video , móviles etc. Pero a veces ADOBE no hace mucho caso en cosas importantes, como corregir BUGS de primera mano que nos dan dolor de cabeza a los desarrolladores.Juan Ramón Gomez @Xquizo, que es un muy buen amigo mío, sin duda de los mejores desarrolladores de Interactive que conozco, alguna vez platicabamos los errores fatales del flash player y que deberían de ser corregidos. No me metere en cuestiones técnicas de poner código AS3 por que perdería la línea del post pero he de decir que aquí APPLE tiene razón. No toda pero tiene parte. Otro desarrollador de los mejores Enrique Chavez @tmeister decia en un tweet que era en parte por los malos desarrolladores Flash. Quizás sí , quizás no.Yo no concuerdo completamente con eso. Ahora Adobe flash , tiene la mayor ubicuidad de un software a nivel mundial. Tiene el 98% del flash player instalado en una pc y un lenguaje bastante decente (para muchos sigue siendo muy malo por que le faltan muchas cosas) y se pueden desarrollar cosas íncreibles. Aquí la cosa es económica. Si APPLE no logra controlar lo que ellos hacen, pierden el control de un producto que honestamente a mi en lo particular no me gusta. Así le ha funcionado a Jobs a través de los años. Quizás le vuelva a funcionar , quizás no. Quizás le esta haciendo caso a la historia, pero a veces la historia tiene que cambiar y ser propositivos y visionarios. Les comparto algo, tengo una mac book pro que se la voy a regalar a mi novia (prometida ahora). De hecha con ella trabajo y estaba esperando que en el trabajo de dieran una nueva. No más apple para mí. Esto es un gesto de descontento total con APPLE y su medida extrema. Amo APPLE , amo en verdad la mac. Pero si me preguntan ¿Por qué lo hago?, es por el simple hecho de ser solidario con la herramienta o las herramientas que me dan de comer. En verdad se los digo se acabo la MAC para mi, a menos que Jobs lea este post y diga ok ok Isra, me retracto. ADOBE tienes en verdad mucho que corregir para los developers, quieres meterte en el mercado ENTERPISE, tienes livecycle, pero se te olvida que tu “manera de presentarte” es el Flash Player. Auch ADOBE porque no incluyes una versión de LIVECYCLE para .NET?,y no es que seas la víctima pero quiero poner o al menos trato de poner todo en una justa balanza y conste que no estoy hablando de WebORB que es muy bueno pero le faltan muchas cosas para llegar al nivel de LIVECYCLE. Pero bueno esto es harina de otro costal. Yo estoy con ADOBE y así lo hare. ¿Y ustedes que opinan?