GuilleSQL :: Microsoft SQL Server, SSIS, y más !!

Archivo de Febrero de 2018

Azure Data Factory (ADF)

Azure Data Factory (ADF) es el Orquestador nativo de Azure para entornos de Big Data, el equivalente a Oozie y Sqoop de Apache. Se trata de un servicio (PaaS) en modalidad de pago por uso (pay as you go), que permite encapsular Workflows ó Pipelines, las cuales pueden contener cualquier actividad necesaria para copiar y procesar/transformar datos (ej: U-SQL, Azure ML, MapReduce, Spark, Hive, etc.), y también nos permitirá planificar su ejecución desatendida y recurrente con hasta una Cadencia de Ingesta de Datos de 15 minutos (Time Slice ó Activity Window). Podremos redesplegarlos, pausarlos, pararlos, reanudarlos, reprocesarlos, etc.

Introducción a Oozie y Sqoop en Azure HDInsight

Oozie y Sqoop son dos de las principales tecnologías que podemos encontrar dentro de un Cluster de Hadoop, como es el caso de Azure HDInsight (Hortonworks). Oozie es un motor que permite ejecutar Workflows de acciones de diferentes tipos (ej: MapReduce, Hive, Pig, Sqoop, enviar emails, etc.) dentro de un Cluster de Hadoop, para que todas estas acciones se realicen en el orden correcto, permitiendo paralelizar, ejecución en ramas condicionadas, control de errores, etc. Sqoop es una tecnología que permite transferir datos a dentro y a fuera del almacenamiento compartido de nuestro Cluster de Hadoop HDInsight. Es un servicio para integrarse con bases de datos a través de JDBC, que traduce su esfuerzo a trabajos MapReduce.

Introducción a Pig en Azure HDInsight

Pig es una tegnología que nos permite realizar transformaciones de datos utilizando el lenguaje Pig Latin, para lo cual utiliza resultados intermedios que denomina relaciones (relations), y que podemos extender creando funciones definidas por el usuario (UDF) en lenguajes como Java, C# y Python. Podemos utilizar la interfaz de comandos Grunt desde una sesión SSH (a través del comando pig), para ejecutar sentencias Pig Latin de forma interactiva o como un bloque (batch). Pig es una de las tecnologías que tenemos disponibles al crear un nuevo Cluster Hadoop con Azure HDInsight (Hortonworks).

Introducción a Hive en Azure HDInsight

Hive proporciona un lenguaje con una sintaxis similar a SQL (HiveQL), que permite leer, escribir, y gestionar grandes DataSets. De este modo, podemos leer el contenido de una carpeta como si fuera una tabla, utilizando una sintaxis similar a SQL. Estas consultas son convertidas a trabajos (Jobs) que tienen asociadas operaciones Map and Reduce (habitualmente utilizando el motor Tez, en lugar del motor MapReduce). Hive lo tenemos disponible en Azure al montar un Cluster de Hadoop con HDInsight (que es Hortonworks). Una vez desplegado HDInsight, podremos consumir Hive desde la Hive Shell en una sesión SSH, la consola web para ejecutar consultas HiveQL (HUE), Visual Studio con Azure SDK, PowerShell, ODBC para Hive, etc.

Azure Data Lake

Como parte de la Solución de Big Data ofrecida por Microsoft en Azure, tenemos Azure Data Lake Store (como solución de almacenamiento infinito, cifrado, compatible con HDFS, e integrado en Azure AD) y Azure Data Lake Analytics (como solución de procesamiento masivo en paralelo), dos soluciones ofrecidas en formato Software as a Service (SaaS), que gracias a la potencia y riqueza del Lenguaje U-SQL (incluyendo su integración con C#, la utilización de los catálogos U-SQL de Analytics, y su integración con Visual Studio), nos permitirán realizar cualquier cosa que nos propongamos, de una forma rápida y sencilla. Hay producto.

Social Coding: Git y GitHub, el standard de facto

Git es el software de control de versiones de código diseñado por Linus Torvalds, ligero y distribuido, que se basa en una sencilla estructura de ficheros y carpetas por repositorio, gestionada a través de línea de comandos (el comando git). Git ha obtenido una gran popularidad en los últimos años, y junto a soluciones cloud como GitHub, no sólo permite los entornos de despliegue rápido e integración continua, sino que también favorecen el Social Coding, colaborar en proyectos de software de una manera rápida, sencilla y distribuida: clonar repositorios para trabajo local, push/merge de código, issues, forking, pull requests, y mucho más.

Visual Studio 2017 Community

Para quién aún no lo sepa, Visual Studio 2017 está disponible como descarga gratuita, tanto para Windows como para macOS, en su versión Visual Studio 2017 Community, prácticamente idéntica a la edición Professional, donde la principal diferencia la encontraremos en las condiciones de licenciamiento. De este modo, Visual Studio es accesible al gran público, para entornos de aprendizaje, investigación, desarrolladores individuales, contribución a proyectos de código abierto (Open Source), y organizaciones no empresariales para un máximo de cinco usuarios (la pequeña empresa).

Miembros de
Miembros de GITCA (Global IT Community Association)

Menu de Usuario
  Iniciar Sesión
  Registrarse
  Restablecer Contraseña
  Ventajas de Registrarse

Acerca de
  Contigo desde Oct 2007
  771 usuarios registrados
  86146 pageloads/mes
  Ranking Alexa 498160

Social Networks
Sigue a Portal GuilleSQL en Linkedin !!
Sigue a Portal GuilleSQL en Twitter !!



Archivo

Marzo de 2019 (1)
Octubre de 2018 (1)
Julio de 2018 (1)
Junio de 2018 (4)
Mayo de 2018 (5)
Abril de 2018 (3)
Marzo de 2018 (2)
Febrero de 2018 (7)
Enero de 2018 (1)
Diciembre de 2017 (15)
Noviembre de 2017 (7)
Junio de 2017 (3)
Mayo de 2017 (1)
Marzo de 2017 (3)
Enero de 2017 (4)
Junio de 2016 (1)
Mayo de 2016 (2)
Abril de 2016 (2)
Septiembre de 2015 (2)
Agosto de 2015 (2)
Junio de 2015 (10)
Mayo de 2015 (4)
Abril de 2015 (8)
Marzo de 2015 (11)
Octubre de 2014 (3)
Septiembre de 2014 (7)
Agosto de 2014 (5)
Julio de 2014 (2)
Mayo de 2014 (4)
Abril de 2014 (4)
Marzo de 2014 (4)
Febrero de 2014 (1)
Enero de 2014 (5)
Diciembre de 2013 (8)
Noviembre de 2013 (2)
Octubre de 2013 (7)
Septiembre de 2013 (6)
Agosto de 2013 (1)
Julio de 2013 (6)
Junio de 2013 (11)
Mayo de 2013 (7)
Abril de 2013 (6)
Febrero de 2013 (5)
Enero de 2013 (7)
Diciembre de 2012 (12)
Noviembre de 2012 (13)
Octubre de 2012 (5)
Septiembre de 2012 (3)
Agosto de 2012 (6)
Julio de 2012 (4)
Junio de 2012 (1)
Mayo de 2012 (2)
Abril de 2012 (7)
Marzo de 2012 (16)
Febrero de 2012 (9)
Enero de 2012 (5)
Diciembre de 2011 (10)
Noviembre de 2011 (10)
Octubre de 2011 (4)
Septiembre de 2011 (5)
Agosto de 2011 (2)
Julio de 2011 (2)
Junio de 2011 (4)
Mayo de 2011 (2)
Abril de 2011 (6)
Marzo de 2011 (4)
Febrero de 2011 (10)
Enero de 2011 (5)
Diciembre de 2010 (6)
Noviembre de 2010 (4)
Octubre de 2010 (8)
Septiembre de 2010 (4)
Agosto de 2010 (1)
Julio de 2010 (3)
Mayo de 2010 (5)
Abril de 2010 (6)
Marzo de 2010 (8)
Febrero de 2010 (3)
Enero de 2010 (1)
Diciembre de 2009 (9)
Noviembre de 2009 (14)
Octubre de 2009 (2)
Septiembre de 2009 (8)
Agosto de 2009 (2)
Julio de 2009 (10)
Junio de 2009 (9)
Mayo de 2009 (10)
Abril de 2009 (9)
Marzo de 2009 (3)
Febrero de 2009 (2)
Enero de 2009 (3)
Noviembre de 2008 (2)
Octubre de 2008 (2)
Septiembre de 2008 (2)
Agosto de 2008 (5)
Julio de 2008 (5)
Junio de 2008 (1)
Mayo de 2008 (3)
Abril de 2008 (2)
Marzo de 2008 (2)
Febrero de 2008 (2)
Enero de 2008 (5)
Noviembre de 2007 (2)
Octubre de 2007 (2)






Copyright © 2007 GuilleSQL, todos los derechos reservados.