存储集成概述
本指南将包含在将您期望的底层存储系统和Alluxio一起运行的通常先决条件。要学习如何配置每一个单独的存储系统和Alluxio运行,请查看它们各自的页面。 参考配置挂载点 以了解将存储挂载到Alluxio的命名空间中的命令。
先决条件
为了准备使用您选择的存储系统与Alluxio,请确保在开始配置Alluxio到您的底层存储系统之前,您拥有所有所需的位置、凭据和附加属性。
对于本指南的目的,以下是占位符。
存储系统 | 位置 | 凭据 | 附加属性 |
---|---|---|---|
Amazon AWS S3 | S3_BUCKET , S3_DIRECTORY |
S3_ACCESS_KEY_ID , S3_SECRET_KEY |
|
HDFS | HDFS_NAMENODE , HDFS_PORT |
Specify Hadoop version: HADOOP_VERSION |
|
Aliyun Object Storage Service (OSS) | OSS_BUCKET , OSS_DIRECTORY |
OSS_ACCESS_KEY_ID , OSS_ACCESS_KEY_SECRET , OSS_ENDPOINT |
|
COS | COS_BUCKET , COS_DIRECTORY |
COS_ACCESS_KEY_ID , COS_ACCESS_KEY_SECRET , COS_REGION , COS_APP_ID |
|
TOS | TOS_BUCKET , TOS_DIRECTORY |
TOS_ACCESS_KEY_ID , TOS_ACCESS_KEY_SECRET , TOS_REGION , TOS_ENDPOINT |
|
GCS | GCS_BUCKET , GCS_DIRECTORY |
google_application_credentials 或者 GCS_ACCESS_KEY_ID , GCS_SECRET_ACCESS_KEY |
alluxio.underfs.gcs.version |