Configurando o Alluxio com HDFS
Este guia descreve como configurar o Alluxio com HDFS como um sistema de armazenamento inferior.
Configuração Inicial
Para rodar um Allucio cluster
em um conjunto de máquinas, você deve colocar os binários do
Alluxio em cada uma destas máquinas. Você pode
compilar o Alluxio ou
baixar os binários localmente.
Atente que, por padrão, os binários do Alluxio foram construídos para trabalhar com a versão
Hadoop HDFS 2.2.0
. Para usar outra versão, você precisa recompilar os binários a partir do
código fone com a versão correta do Hadoop
, que será definido nos próximos passos. Para isso,
supomos que o diretório raiz do código fonte do Alluxio é ${ALLUXIO_HOME}
.
- Modifique o rótulo
hadoop.version
em${ALLUXIO_HOME}/pom.xml
. Exemplo, para trabalhar com oHadoop 2.6.0
, modifique arquivopom
para definir o rótulo como
“<hadoop.version>2.6.0</hadoop.version>
” ao invés de “<hadoop.version>2.2.0</hadoop.version>
”. Depois, recompile o código usando omaven
.
n clean package -DskipTests
- Alternativamente, você também pode passar a versão correta do
Hadoop
na linha de comando quando for compilar utilizando omaven
. Por exemplo, se você quer que o Alluxio trabalher com a versãoHadoop HDFS 2.6.0
:
mvn -Dhadoop.version=2.6.0 clean package -DskipTests
Se for obtido sucesso, você deve ver o arquivo
alluxio-assembly-server-1.7.1-jar-with-dependencies.jar
criado dentro do
diretório assembly/server/target
e este é o arquivo jar
que você pode utilizar para executar os
Alluxio Master
e Worker
.
Configurando o Alluxio
Para rodar o binário do Alluxio, devemos definir os arquivos de configuração. Crie o seu arquivo de configuração a partir do modelo:
cp conf/alluxio-env.sh.template conf/alluxio-env.sh
Então, altere o arquivo alluxio-env.sh
para definir o endereço do under storage
para o
endereço do HDFS Namenode
(exemplo, hdfs://localhost:9000
se você estiver executando um
HDFS Namenode
localmente com a porta padrão).
alluxio.underfs.address=hdfs://NAMENODE:PORT
Rodando o Alluxio Localmente com HDFS
Depois que tudo estiver configurado, você pode iniciar o Alluxio localmente para ver se tudo funciona.
./bin/alluxio format
./bin/alluxio-start.sh local
Isso deve iniciar um Alluxio master
e um Alluxio worker
localmente. Você pode ver a
interface de usuário do master
em http://localhost:19999.
Em seguida, você pode executar um simples programa de teste:
./bin/alluxio runTests
Depois que obter sucesso neste teste, você pode visitar a interface de usuário web
do
HDFS
em http://localhost:50070, para verificar se os arquivos
criados pelo Alluxio existem. Para este teste, você deve ver arquivos nomeados como:
/alluxio/data/default_tests_files/BasicFile_STORE_SYNC_PERSIST
Você pode parar o Alluxio a qualquer tempo, executando:
./bin/alluxio-stop.sh local