Archivo de la etiqueta: Hadoop

HDInsight: nuevos entrenamientos y labs sobre Hadoop, Hive, HBase, Spark y Storm

Repost de https://blogs.msdn.microsoft.com/ashish/2016/08/28/hdinsight-new-self-paced-trainings-and-labs/

Existen tres cursos online creados por Microsoft Learning Experiences y disponibles de forma gratuita en edX (a menos que se quiera tener un certificado, para lo cual se abona USD 49). Los cursos son en inglés. Sigue leyendo

Anuncios

Creando un clúster Hadoop en HDInsight – Parte 3

En la primera parte vimos cómo crear un clúster Hadoop en HDInsight desde los portales. En la segunda parte vimos cómo hacerlo desde código .NET y desde PowerShell en Windows.

En este post veremos cómo instalar y configurar la Azure CLI en MacOS o Linux y cómo crear un cúster con la configuración básica desde ella.

La Azure CLI está escrita en JavaScript y funciona sobre Node.js. Se implementó usando el Azure SDK para Node, y fue liberada bajo licencia Apache 2.0. El repositorio del proyecto se encuentra en https://github.com/azure/azure-xplat-cli.

Instalar la Azure CLI

Hay tres formas de realizar la instalación:

  1. Usar un instalador.
  2. Instalar Node.js y npm y luego usar el comando npm install.
  3. Correr la Azure CLI como un container de Docker.

Una vez instalada, podremos usar el comando azure en nuestra línea de comandos para ejecutar comandos de la Azure CLI.

Usar un instalador

Los paquetes están disponibles para los diferentes sistemas operativos:

Usar Node.js y npm

Si ya tenemos Node.js y npm instalados, ejecutamos:

npm install azure-cli -g

Instalar Node.js y npm en Windows y MacOS

Para instalar Node.js y npm en Windows y MacOS podemos descargar los paquetes de instalación de Nodejs.org.

Para verificar que la instalación haya sido correcta, podemos ejecutar en la consola:

npm -v

Luego instalamos el paquete de la Azure CLI:

npm install -g azure-cli

Instalar Node.js y npm en Linux con administración de paquetes dpkg

Para las distribuciones que usan apt (advanced packaging tool), como Ubuntu o Debian, podemos instalar Node.js y npm con los siguientes comandos:

sudo apt-get install nodejs-legacy
sudo apt-get install npm
sudo npm install -g azure-cli

Instalar Node.js y npm en Linux con administración de paquetes rpm

Para instalar Node.js y npm en distribuciones basadas en rpm, como Red Hat, primero hay que habilitar el repositorio EPEL. Por ejemplo, para instalar en CentOS 7:

su -
yum update [enter]
yum upgrade –y [enter]
yum install epel-release [enter]
yum install nodejs [enter]
yum install npm [enter]
npm install -g azure-cli [enter]

Usar un container Docker

Dentro de un host Docker ejecutar:

docker run -it microsoft/azure-cli

Configurar la Azure CLI

Lo primero que debemos hacer es vincular nuestra suscripción, algo que podemos hacer de dos maneras:

  • Iniciando sesión con una cuenta de trabajo o escuela o con una cuenta Microsoft (Microsoft account, anteriormente Live ID): ejecutando el comando azure login (el inicio de sesión con una cuenta Microsoft sólo está disponible desde la versión 0.9.10)
  • Descargando el archivo de Publish settings. Lo cual instalará un certificado en nuestro equipo local y nos permitirá hacer tareas de administración mientras la suscripción y el certificado sean válidos.

Crear el clúster mediante la Azure CLI, desde MacOS o Linux

azure hdinsight cluster create <myhdicluster> --location eastus --osType windows --storageAccountName <mystorage> --storageAccountKey <storagekey> --storageContainer <mycontainer> --userName admin --password <mypassword> --sshUserName sshuser --sshPassword <mypassword>

@gjbellmann

Creando un clúster Hadoop en HDInsight – Parte 2

Como vimos en la primera parte, tenemos varias formas de crear nuestro clúster Hadoop en HDInsight.

En este post veremos cómo crearlo desde código .NET y desde PowerShell.

Crear el clúster desde código C#, con el SDK de HDInsight

Paso 1: Instalar los paquetes NuGet necesarios

Para crear nuestro clúster desde C# primero deberemos instalar el paquete NuGet de administración de HDInsight. Sigue leyendo

Creando un clúster Hadoop en HDInsight – Parte 1

Para crear un clúster Hadoop en HDInsight tenemos varias opciones:

  • Crear el clúster desde el portal viejo.
  • Crear el clúster desde el portal nuevo.
  • Crear el clúster desde código C#, con el SDK de HDInsight.
  • Crear el clúster mediante un script de Azure PowerShell, desde Windows.
  • Crear el clúster mediante la Azure CLI, desde Linux o MacOS.

Con todas ellas estaremos creando un cluster Hadoop con la configuración básica. Sigue leyendo

Big data: Introducción a HDInsight

¿Qué es HDInsight?

HDInsight es un servicio de Microsoft Azure que nos provee una plataforma de big data como servicio. Esto es, Microsoft se hace cargo de mantener los servidores y de actualizar la plataforma, y nosotros creamos el software que corre sobre ella, y pagamos por el uso que hacemos del servicio.

HDInsight usa la distribución Hadoop Hortonworks Data Platform (HDP). Normalmente, cuando hablamos de Hadoop, solemos referirnos al ecosistema de componentes Hadoop completo, que incluye clusters Storm o HBase, así como de otras tecnologías que están debajo del paraguas de Hadoop.

¿Qué es big data?

Seguramente habrán escuchado últimamente el término big data, y se preguntarán de qué se trata. Sigue leyendo

Build 2015

Mejoras de Microsoft Azure anunciadas en Build 2015

Hoy arrancó //build/ 2015 y se hicieron varios anuncios muy interesantes de la plataforma de Microsoft Azure.

Veamos un resumen de cada uno de ellos: Sigue leyendo