Alluxio集成CephFS作为底层存储

Slack Docker Pulls GitHub edit source

该指南介绍如何配置Alluxio以使用CephFS作为底层文件系统。Alluxio使用CephFS 目前,支持两种不同类型的UFS CephFS:

初始步骤

首先,在你的机器上必须安装Alluxio二进制包。你可以自己编译Alluxio,或者下载二进制包

其次,在你的机器上需要安装以下包:

cephfs-java
libcephfs_jni
libcephfs2

以上,包的安装请参考ceph包安装

再次,建立软连:

$ ln -s /usr/lib64/libcephfs_jni.so.1.0.0 /usr/lib64/libcephfs_jni.so
$ ln -s /usr/lib64/libcephfs.so.2.0.0 /usr/lib64/libcephfs.so
$ java_path=`which java | xargs readlink | sed 's#/bin/java/##g'`
$ ln -s /usr/share/java/libcephfs.jar $java_path/jre/lib/ext/libcephfs.jar

最后,下载CephFS Hadoop jar包:

$ curl -o $java_path/jre/lib/ext/hadoop-cephfs.jar -d https://download.ceph.com/tarballs/hadoop-cephfs.jar

配置Alluxio

为了配置Alluxio以使用底层文件系统,需要修改alluxio-site.propertiescore-site.xml文件。如果文件不存在,根据模板创建配置文件。

$ cp conf/alluxio-site.properties.template conf/alluxio-site.properties
$ cp conf/core-site.xml.template conf/core-site.xml

使用CephFS本地运行Alluxio

完成所有的配置之后,你可以本地运行Alluxio,观察是否一切运行正常。

./bin/alluxio format
./bin/alluxio-start.sh local

该命令应当会启动一个Alluxio master和一个Alluxio worker,可以在浏览器中访问http://localhost:19999查看master Web UI。