Especialista en Big Data con Apache Hadoop
Conoce las funciones del marco de trabajo Apache Haddop en JAVA para aplicar las técnicas y herramientas del Big Data cuando lo requieras
Se estima que en 2014 cada día fueron creados cerca de 3 trillones de bytes de datos y se espera que para el año 2020 haya 35 zettabytes de información.
La disciplina dedicada a los datos masivos y que se ocupa de todas las actividades relacionadas con los sistemas que manipulan grandes conjuntos de datos es Big Data. Las dificultades más habituales vinculadas a la gestión de estas cantidades de datos se centran en la captura, el almacenamiento, búsqueda, distribución (compartir), análisis y visualización de los datos.
Dentro de las herramientas para trabajar con Big Data Apache Software Foundation creó Hadoop.
Haddop es un marco de trabajo de software basado en Java y que soporta aplicaciones distribuidas bajo una licencia de software libre – freeware. Permite a las aplicaciones trabajar con miles de nodos y petabytes de datos.
La formación de Especialista en Big Data tiene como objetivo familiarizar a los participantes con el uso de las técnicas y herramientas más difundidas de Hadoop.
Se espera que los participantes incorporen criterios para saber cuándo emplear y cuando no emplear las técnicas y herramientas de Big Data.
Título
Especialista en Big Data con Apache Hadoop
Presentación
Big Data es el término que se utiliza para describir los grandes volúmenes de datos que componen Internet y la posibilidad de obtener información sobre ellos.
La información en Internet está formada por datos estructurados, y por desestructurados, que en cantidad superan tres veces a los primeros y que provienen mayormente de las herramientas de redes sociales.
Actualmente en menos de un minuto: se generan cerca de 100.000 tweets, se descargan 25.000 aplicaciones, 300.000 personas se loguean a Facebook y se ven 1,5 millones de videos en YouTube.
Se estima que en 2014 cada día fueron creados cerca de 3 trillones de bytes de datos y se espera que para el año 2020 haya 35 zettabytes de información.
La disciplina dedicada a los datos masivos y que se ocupa de todas las actividades relacionadas con los sistemas que manipulan grandes conjuntos de datos es Big Data. Las dificultades más habituales vinculadas a la gestión de estas cantidades de datos se centran en la captura, el almacenamiento, búsqueda, distribución (compartir), análisis y visualización de los datos.
Dentro de las herramientas para trabajar con Big Data Apache Software Foundation creó Hadoop.
Haddop es un marco de trabajo de software basado en Java y que soporta aplicaciones distribuidas bajo una licencia de software libre – freeware. Permite a las aplicaciones trabajar con miles de nodos y petabytes de datos.
La formación de Especialista en Big Data tiene como objetivo familiarizar a los participantes con el uso de las técnicas y herramientas más difundidas de Hadoop.
Se espera que los participantes incorporen criterios para saber cuándo emplear y cuando no emplear las técnicas y herramientas de Big Data.
Objetivo general
Formar a los asistentes en Big Data, para lo que se requiere que los participantes:
- Entiendan las ventajas y desventajas de las técnicas de Big Data
- Sepan distinguir los problemas que son susceptibles de emplear las técnicas de Big Data
- Comprendan los contextos en los cuales Big Data no tiene sentido desde el punto de vista de almacenamiento y explotación de la información
- Conozcan las herramientas disponibles identificando sus fortalezas y debilidades
- Sepan utilizar las funciones más difundidas de Apache Hadoop
- Puedan diseñar un flujo de trabajo con MapReduce, el modelo de programación utilizado por Google para dar soporte a la computación paralela
Objetivos específicos
Unidad 1:
Que los participantes conozcan las razones que llevan al desarrollo de las técnicas de Big Data y puedan distinguir con claridad Big Data.
Que los participantes comprendan las diferentes herramientas que conforman el ecosistema de Apache Hadoop y el lugar que ocupan en el mismo.
Unidad 2:
Que los participantes desarrollen un criterio propio para saber cuándo aplicar herramientas de Big Data y cuando no.
Que los participantes tengan como referencia aplicaciones útiles ya establecidas de las herramientas de Big Data para guiar su accionar.
Unidad 3:
Que los participantes puedan elegir apropiadamente la distribución de Apache Hadoop que mejor se adapta a su problemática.
Que los participantes puedan configurar adecuadamente los recursos de Apache Hadoop que van a utilizar.
Que los participantes conozcan el impacto de los principales parámetros de configuración en el comportamiento futuro de las herramientas Apache Hadoop
Unidad 4: HDFS y MAP REDUCE
Que los participantes utilicen las herramientas de HDFS para manipulación de archivos.
Que los participantes entiendan la arquitectura de HDFS y desde esa comprensión valoren el impacto de los comandos de manipulación de archivos.
Que los participantes descubran como paralelizar los problemas para sacar ventaja cabal del procesamiento distribuido.
Que los participantes manejen la escritura de código para la fase map y para la fase reduce.
Unidad 5: Otros Lenguajes para Hadoop y Pasos Siguientes
Que los participantes Entiendan las diferencias entre Hive y Pig
Que los participantes Conozcan proyectos relacionados de Apache con Hadoop
Que los participantes Conozcan las futuras tendencias sobre Hadoop
Destinatarios
Profesionales que quieran aplicar herramientas y técnicas de Big Data a problemas de negocios ya sea en forma general o dentro de las herramientas propuestas por Apache Hadoop.
Requisitos previos
Los alumnos se beneficiarán de conocimientos básicos de estadística, de nociones de manejo de bases de datos SQL y de programación estructurada. Carecer de toda esta información hará difícil aunque no imposible seguir ágilmente el curso.
Se incluirán materiales complementarios y se responderán las preguntas individuales necesarias para asegurar el éxito de todos los participantes.
Metodología de enseñanza-aprendizaje
Lectura crítica del material didáctico por parte de los alumnos. Consultas e intercambios en los foros, dirigidos y coordinados por el profesor-tutor. Clases en tiempo real. Ejercicios prácticos y evaluaciones sobre la base de análisis de situaciones y casos en contextos laborales y profesionales y, según el carácter de los temas y objetivos de la especialidad o curso, cuestionarios del tipo multiple choice.
MODALIDAD EDUCATIVA
La modalidad es totalmente mediada por tecnologías a través del Campus Virtual FRBA. Las actividades que se realizarán serán:
· Foros de discusión semanal propuestos por el docente (un foro por unidad).
· Consulta al docente a través de e-mail o chat.
· Dictado de una clase por módulo (estimativamente) en tiempo real mediante un Aula Virtual Sincrónica (AVS)
· Material de lectura semanal y por unidad temática
· Actividades individuales y/o grupales de aplicación práctica semanal y por unidad temática.
· Evaluaciones semanales y por unidad temática sobre la base de trabajos prácticos de aplicación de los conocimientos adquiridos.
Se trata de una modalidad básicamente asincrónica con el complemento del AVS, que supera la instancia de autoestudio por la implementación de foros proactivos coordinados por el profesor-tutor y dictado de clases en tiempo real. Los foros cumplen cuatro funciones pedagógico-didácticas fundamentales: 1) Son el lugar para la presentación de las dudas, consultas y opiniones críticas de los alumnos; 2) Son el principal espacio para la generación de retroalimentación (feed back) entre profesores-tutores y alumnos y alumnos entre sí; 3) Es el lugar específico para la discusión, coordinada por el profesor-tutor, de todos los temas tratados en los módulos de la especialidad o curso y 4) Es el lugar para el aprendizaje entre pares de los alumnos. A su vez, el AVS permite complementar todas aquellas instancias pedagógico-didácticas que le señalan límites a la modalidad puramente asincrónica.
Modalidad de evaluación y acreditación
Tratándose de una modalidad mediada por tecnologías, la participación activa en los foros por parte de los alumnos, será una condición necesaria para su aprobación.
Por lo tanto, para acreditar la aprobación de la especialidad o curso, los alumnos deberán rendir satisfactoriamente las evaluaciones que los profesores-tutores determinen como obligatorias y haber participado activamente en los foros.
Finalmente deberá aprobarse una Evaluación Final Integradora Obligatoria en la modalidad multiple choice.
Temario
El curso tendrá una duración de cinco semanas y se dividirá en cinco unidades.
Cada una de las unidades tendrá una duración de una semana:
Unidad 1: ¿Qué es Apache Hadoop?
Big Data y la necesidad de Apache Hadoop
La explosión de los volúmenes de datos
La variación de las estructuras de datos
El Origen y Diseño de Apache Hadoop
El procesamiento distribuido con MapReduce
El ecosistema de Apache Hadoop
Unidad 2: ¿Cuando usar Apache Hadoop?
Big data vs small data: ¿Cuando usar cada aproximación?
Casos de uso comunes para Big Data en Apache Hadoop (log clickstram, Detección de Fraude, Análisis de sentimientos, Clasificación de imágenes, etc)
Unidad 3: ¿Como configuramos un entorno Apache Hadoop?
La elección de una distribución de Apache Hadoop
La elección de una arquitectura de cluster Apache Hadoop (Modo Pseudo-distribuida vs Modalidad completamente distribuida (un clúster de nodos))
Instructivo para la configuración
Unidad 4: HDFS y MAP REDUCE
Almacenamiento de datos en un File System Tradicional vs Almacenamiento de datos en HDFS
Arquitectura HDFS
Gestión de archivos con los comandos del HDFS
Pensando en paralelo
Fase Map
Fase Reduce
Ejemplo ilustrativo
Escribiendo un Map Reduce
Unidad 5: Otros Lenguajes para Hadoop y Pasos Siguientes
Hive
Pig
Relación entre ambos lenguajes
Escribiendo un Map Reduce en Hive
Escribiendo un Map Reduce en Pig
Ejemplos comparativos entre MAP REDUCE, PIG y HIVE
Otros Lenguajes
Examen Final
Duración
5 semanas
Carga horaria
38 hs.
Certificación
A todos los participantes que hayan aprobado el curso cumpliendo con todos los requisitos establecidos, se les extenderá un certificado de la Secretaría de Cultura y Extensión Universitaria, FRBA, UTN. Aquellos que aun habiendo participado activamente en los foros y realizado las actividades prácticas no cumplimentaran los requisitos de evaluación, recibirán un certificado de participación en el curso.