Alluxio Community Day VIII

Join us at our next virtual community event on December 14th featuring fellow Alluxio community users from Apache Iceberg and WeRide.

Alluxio集成CephFS作为底层存储

Slack Docker Pulls GitHub edit source

该指南介绍如何配置Alluxio以使用CephFS作为底层文件系统。Alluxio使用CephFS 目前,支持两种不同类型的UFS CephFS:

初始步骤

首先,在你的机器上必须安装Alluxio二进制包。你可以自己编译Alluxio,或者下载二进制包

其次,在你的机器上需要安装以下包:

cephfs-java
libcephfs_jni
libcephfs2

以上,包的安装请参考ceph包安装

再次,建立软连:

$ ln -s /usr/lib64/libcephfs_jni.so.1.0.0 /usr/lib64/libcephfs_jni.so
$ ln -s /usr/lib64/libcephfs.so.2.0.0 /usr/lib64/libcephfs.so
$ java_path=`which java | xargs readlink | sed 's#/bin/java/##g'`
$ ln -s /usr/share/java/libcephfs.jar $java_path/jre/lib/ext/libcephfs.jar

最后,下载CephFS Hadoop jar包:

$ curl -o $java_path/jre/lib/ext/hadoop-cephfs.jar -d https://download.ceph.com/tarballs/hadoop-cephfs.jar

配置Alluxio

为了配置Alluxio以使用底层文件系统,需要修改alluxio-site.propertiescore-site.xml文件。如果文件不存在,根据模板创建配置文件。

$ cp conf/alluxio-site.properties.template conf/alluxio-site.properties
$ cp conf/core-site.xml.template conf/core-site.xml

使用CephFS本地运行Alluxio

完成所有的配置之后,你可以本地运行Alluxio,观察是否一切运行正常。

./bin/alluxio format
./bin/alluxio-start.sh local

该命令应当会启动一个Alluxio master和一个Alluxio worker,可以在浏览器中访问http://localhost:19999查看master Web UI。