Iniciando

Slack Docker Pulls GitHub edit source

Configurando o Alluxio

O Alluxio pode ser configurado de várias modos. A configuração mais simples para novos usuários é rodar o Alluxio localmente. Para experimentar a configuração com um cluster, veja os tutorias Virtual Box e Amazon AWS.

Configurando o Under Storage (Armazenamento Inferior)

O Alluxio pode ser visto como uma camada de troca de dados e beneficia por ter o suporte de um armazenamento persistente confiável. Dependendo do ambiente de produção, diferentes tipos de armazenamentos podem ser escolhidos. O Alluxio pode ser integrado com qualquer um. Atualmente, os que são suportados são: Amazon S3, OpenStack Swift; GlusterFS; e Apache HDFS.

Configurando uma Aplicação

O Alluxio provê uma interface de file system para permitir que as aplicações interajam com os dados armazenados no Alluxio. Se você quer que uma aplicação escreva diretamente no topo do Alluxio, simplesmente adicione a dependencia alluxio-core-client-fs no seu programa. Por exemplo, se uma aplicação está compilada através do Maven:

<dependency>
  <groupId>org.alluxio</groupId>
  <artifactId>alluxio-core-client-fs</artifactId>
  ...
</dependency>

Um conjunto especial de aplicação que dão poder ao Alluxio são as estruturas computacionais ( computation frameworks). Transacionando estas estruturas para utilizar o Alluxio é uma tarefa de pouco esforço, especialmente se o framework já está integrado com o interface Hadoop FileSystem. Como o Alluxio também prove uma implementação desta interface, a única modificação necessária é de alterar o caminho o data path scheme de hdfs://master-hostname:port para alluxio://master-hostname:port. Por exemplo, veja os tutorias Apache Spark, Apache Hadoop MapReduce ou Apache Flink.

Configurando o Sistema

O Alluxio possui vários opções para ajustar o sistema visando melhor desempenho para diferentes casos de uso. Para uma aplicação, o Alluxio lê configurações padrões a partir do arquivo alluxio-site.properties ou de opções Java enviadas na linha de comando. Veja as definições de configuração para maiores informações sobre ajustes específicos.

Funcionalidades Adicionais

Além de prover uma camada de compartilhamento de dado com um armazenamento rápido, o Alluxio também possui funcionalidades úteis para desenvolvedores e administradores.

  • Interface de Linha de Comando, permite aos usuários acessar e manipular dados no Alluxio através de um shell simples fornecido no código base.
  • Coleção de Métricas, permite administradores de monitorar com facilidade o estado do sistema e descobrir gargalos ou ineficiências.
  • Interface Web, fornece uma rica visualização da representação dos dados no Alluxio porém é uma visualização somente de leitura.

Funcionalidades Avançadas

Além de prover significantes ganhos de performance simplesmente por acelerar a entrada e saída de dados, o Alluxio também fornece as seguintes funcionalidades adicionais.

  • Armazenamento por Nível, fornece recursos adicionais para o Alluxio gerenciar (tanto como SSD ou HDD), permitindo o compartilhamento de conjunto de registros que não se encaixam na memória de possuírem a vantagem de estar na arquitetura Alluxio.
  • Namespace Unificado, prove a habilidade aos usuários para gerenciar dados a partir de sistemas de armazenamento existentes e, facilmente, manusear implantações de onde nem todos os sistemas estão cientes do Alluxio.
  • Linhagem, permite uma alternativa para tolerância a falha e durabilidade de dado, mantendo ótimos desempenho de escrita, ao invés do dispendioso processo de replicação de dado em disco.