Galería

Fixing problem test #Apache #Hadoop using MiniCluster on #Microsoft #Windows

Hadoop-DebugPara realizar labores de testing Apache Hadoop nos provee de MiniCluster (https://github.com/sakserv/hadoop-mini-clusters), sin embargo el problema es que aún no hay mucha documentación acerca de este.

Quizás alguno que otro post como el que nos comparten en este blog:

http://www.lopakalogic.com/articles/hadoop-articles/hadoop-testing-with-minicluster/

Así que, a pesar de parecer algo demasiado básico, dejaré por acá estos comentarios.

 

Not find winutils

Cuando se utiliza MiniCluster sobre una plataforma Windows podemos enfrentarnos a un error:

Did not find winutils.exe: java.io.FileNotFoundException: Hadoop bin directory does not exist:

error-winutils

La manera de resolverlo esta documentada en la Wiki referida en el propio error.

fix-winutils

Simplemente descarga el binario winutils.exe y luego configura apropiadamente la variable de entorno para que apunte al directorio donde lo ubiques.

Puedes aprovechar y descargar también las libs para Windows

downloads

Unable to load native-hadoop library

Por otra parte, aunque no sea de nuestro agrado, es natural que obtengamos un Warning: “Unable to load native-hadoop library for your platform…”

warn

Básicamente porque dicha librería únicamente está disponible para plataformas *nix. Ni siquiera funciona con Cygwin o en plataformas MacOS.

native-hadoop-lib

 

java.lang.UnsatisfiedLinkError

A pesar de la referencia que encontramos en…

http://www.programering.com/a/MjMxQDNwATE.html

Este error, aún no consigo corregirlo, así que si conoces la solución y puedes aportarla, será de mucha ayuda.

 

Espero te haya parecido interesante este post.

………….

Quiero man.tener.me informado: Seguir en Twitter @eldavid_oficial https://twitter.com/eldavid_oficial

Regálame un ME GUSTA. Y si eres solidario, COMPARTE para que otros puedan aprovecharlo.

 

 

 

 

 

 

Anuncios

Responder

Por favor, inicia sesión con uno de estos métodos para publicar tu comentario:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Cerrar sesión / Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Cerrar sesión / Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Cerrar sesión / Cambiar )

Google+ photo

Estás comentando usando tu cuenta de Google+. Cerrar sesión / Cambiar )

Conectando a %s