Galería

#Microsoft #HDInsight 3.4 con #Linux

Hemos estado escuchando de fuentes oficiales de Microsoft la inminente expiración de las versiones HDInsight 3.2 y 3.3 en favor de la versión de HDInsight 3.4

mshdi4linux_001

https://azure.microsoft.com/en-us/documentation/articles/hdinsight-component-versioning/

Sin embargo, existe un pequeño detalle, la versión de HDInsight 3.4 únicamente está disponible sobre ambiente Linux

microsoft-hdinsight

 

En ese sentido, decidimos realizar una pequeña prueba de concepto para observar cómo crear nuestro primer HDInsight sobre Linux.

Ingresamos al Portal de Azure

mshdi4linux_002

Vamos a la sección “Clústeres de HDInsight”

mshdi4linux_003

Pulsamos el botón [ + Agregar ]

mshdi4linux_004

Definimos el “Nombre del Clúster” y pulsamos en “Select Cluster Tpe” para configurar los valores obligatorios

Seleccionamos el “Tipo de clúster”, por ejemplo “Hadoop”, el Sistema operativo “Linux” y la versión a utilizar “Hadoop 2.7.1 (HDI 3.4)

mshdi4linux_005

NOTA: En Linux únicamente disponemos de las versiones HDI 3.2, 3.3 y 3.4

 

Pulsamos el botón [Seleccionar]

Luego definimos las “Credenciales” tanto para acceso al clúster como para el acceso SSH

mshdi4linux_006

Pulsamos el botón [Seleccionar]

El siguiente paso sería configurar el “Origen de Datos”

Podemos hacer uso de alguna ya existente

mshdi4linux_007

o crear uno nuevo

mshdi4linux_008

Podemos definir el nombre del contenedor predeterminado, la ubicación e incluso la identidad del Azure Active Directory del clúster

En nuestro caso dejaremos los valores predeterminados y pulsamos el botón [Seleccionar]

Definimos un grupo de recursos

mshdi4linux_009

y establecemos la configuración de precios para definir el tamaño del clúster

mshdi4linux_010

NOTA: El valor predeterminado de las VM es D3 v2 tanto para los “head node” como los “worker nodes”

Elegimos cambiar el tamaño de los nodos trabajadores

mshdi4linux_011

Pulsamos “Ver todo”, seleccionamos el tamaño que requiramos (en nuestro caso A3) y pulsamos el botón [Seleccionar]

mshdi4linux_012

Y repetimos el procedimiento para los nodos encabezados

NOTA: Los clústeres con más de 32 nodos Trabajador necesitan un tamaño de nodo de Encabezado con un mínimo de 8 núcleos y 14 GB de RAM.

Elegimos el número de nodos trabajador y pulsamos el botón [Seleccionar]

Si pulsamos el link “Opciones de automatización” podemos descargar el template ARM (Azure Resource Manager)

mshdi4linux_013

o guardarlo

mshdi4linux_014

mshdi4linux_015

 

pulsamos el botón [Crear] y esperamos a que se realice la creación

mshdi4linux_016

mshdi4linux_017

Si pulsamos en la URL del Clúster podemos ingresar al Panel (de Ambari) con las credenciales previamente definidas.

mshdi4linux_018

Si pulsamos en [Admin] podemos visualizar el Stack de servicios que están incluidos en el HDInsight y los servicios que pudiéramos estar agregando, p.Ej: “Credential Service” o “Kerberos”

mshdi4linux_023

Una nota interesante es que el clúster es creado con la Metastore administrada con Oozie haciendo uso de una base de datos SQL Azure embebida. Sin embargo, podemos elegir utilizar alguna otra nueva o existente.

Por otra parte, a pesar de ser una base de datos SQL Azure la misma no es listada en nuestros recursos.

 

Espero te haya sido útil este post.

………….

Quiero man.tener.me informado: Seguir en Twitter @eldavid_oficial https://twitter.com/eldavid_oficial

Regálame un ME GUSTA. Y si eres solidario, COMPARTE para que otros puedan aprovecharlo.

Anuncios

Responder

Por favor, inicia sesión con uno de estos métodos para publicar tu comentario:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Cerrar sesión / Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Cerrar sesión / Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Cerrar sesión / Cambiar )

Google+ photo

Estás comentando usando tu cuenta de Google+. Cerrar sesión / Cambiar )

Conectando a %s