配置项列表
所有Alluxio配置属性都属于以下六类之一: 共有配置项(由Master和Worker共享), Master配置项,Worker配置项, 用户配置项,集群管理配置项(用于在诸如Mesos和YARN的集群管理器上运行Alluxio) 以及安全性配置项(由Master,Worker和用户共享)。
共有配置项
共有配置项包含了不同组件共享的常量。
Master配置项
Master配置项指定master节点的信息,例如地址和端口号。
属性名 | 默认值 | 描述 |
---|---|---|
alluxio.master.audit.logging.enabled | false | |
alluxio.master.audit.logging.queue.capacity | 10000 | |
alluxio.master.backup.abandon.timeout | 1min | |
alluxio.master.backup.connect.interval.max | 30sec | |
alluxio.master.backup.connect.interval.min | 1sec | |
alluxio.master.backup.delegation.enabled | true | |
alluxio.master.backup.directory | /alluxio_backups | |
alluxio.master.backup.entry.buffer.count | 10000 | |
alluxio.master.backup.heartbeat.interval | 2sec | |
alluxio.master.backup.state.lock.exclusive.duration | 0ms | |
alluxio.master.backup.state.lock.forced.duration | 15min | |
alluxio.master.backup.state.lock.interrupt.cycle.enabled | false | |
alluxio.master.backup.state.lock.interrupt.cycle.interval | 30sec | |
alluxio.master.backup.suspend.timeout | 3min | |
alluxio.master.backup.transport.timeout | 30sec | |
alluxio.master.bind.host | 0.0.0.0 | Alluxio master绑定的主机名。参考多宿主网络 |
alluxio.master.block.scan.invalid.batch.max.size | 10000000 | |
alluxio.master.container.id.reservation.size | 1000 | |
alluxio.master.daily.backup.enabled | false | |
alluxio.master.daily.backup.files.retained | 3 | |
alluxio.master.daily.backup.state.lock.grace.mode | TIMEOUT | |
alluxio.master.daily.backup.state.lock.sleep.duration | 5m | |
alluxio.master.daily.backup.state.lock.timeout | 1h | |
alluxio.master.daily.backup.state.lock.try.duration | 2m | |
alluxio.master.daily.backup.time | 05:00 | |
alluxio.master.embedded.journal.addresses | ||
alluxio.master.embedded.journal.catchup.retry.wait | 1s | |
alluxio.master.embedded.journal.election.timeout.max | 20s | |
alluxio.master.embedded.journal.election.timeout.min | 10s | |
alluxio.master.embedded.journal.entry.size.max | 10MB | |
alluxio.master.embedded.journal.flush.size.max | 160MB | |
alluxio.master.embedded.journal.port | 19200 | |
alluxio.master.embedded.journal.raft.client.request.interval | 100ms | |
alluxio.master.embedded.journal.raft.client.request.timeout | 60sec | |
alluxio.master.embedded.journal.ratis.config | ||
alluxio.master.embedded.journal.retry.cache.expiry.time | 60s | |
alluxio.master.embedded.journal.snapshot.replication.chunk.size | 4MB | |
alluxio.master.embedded.journal.snapshot.replication.compression.level | 1 | |
alluxio.master.embedded.journal.snapshot.replication.compression.type | NO_COMPRESSION | |
alluxio.master.embedded.journal.transport.max.inbound.message.size | 100MB | |
alluxio.master.embedded.journal.transport.request.timeout.ms | 5sec | |
alluxio.master.embedded.journal.unsafe.flush.enabled | false | |
alluxio.master.embedded.journal.write.timeout | 30sec | |
alluxio.master.failover.collect.info | true | |
alluxio.master.file.access.time.journal.flush.interval | 1h | |
alluxio.master.file.access.time.update.precision | 1d | |
alluxio.master.file.access.time.updater.enabled | true | |
alluxio.master.file.access.time.updater.shutdown.timeout | 1sec | |
alluxio.master.filesystem.liststatus.result.message.length | 10000 | |
alluxio.master.filesystem.merge.inode.journals | true | |
alluxio.master.filesystem.operation.retry.cache.enabled | true | |
alluxio.master.filesystem.operation.retry.cache.size | 100000 | |
alluxio.master.format.file.prefix | _format_ | 当journal被格式化时,在joural文件夹下生成的文件的文件名前缀。当判断journal是否被格式化时master会查找文件名以该前缀开头的文件。 |
alluxio.master.heartbeat.timeout | 10min | |
alluxio.master.hostname | Alluxio master主机名。 | |
alluxio.master.journal.backup.when.corrupted | true | |
alluxio.master.journal.catchup.protect.enabled | true | |
alluxio.master.journal.checkpoint.period.entries | 2000000 | 在创建一个新journal检查点之前写入的journal数。 |
alluxio.master.journal.exit.on.demotion | false | |
alluxio.master.journal.flush.batch.time | 100ms | 等待批处理日志写入的时间。 |
alluxio.master.journal.flush.timeout | 5min | 在放弃和关闭master之前保持重试日志写入的时间量。 |
alluxio.master.journal.folder | ${alluxio.work.dir}/journal | 存储master journal日志的路径。 |
alluxio.master.journal.gc.period | 2min | 扫描和删除陈旧的journal检查点的频率。 |
alluxio.master.journal.gc.threshold | 5min | 垃圾收集检查点的最小年龄。 |
alluxio.master.journal.init.from.backup | ||
alluxio.master.journal.local.log.compaction | true | |
alluxio.master.journal.log.size.bytes.max | 10MB | 如果一个日志文件大小超过该值,会产生下一个文件。 |
alluxio.master.journal.request.data.timeout | 20000 | |
alluxio.master.journal.request.info.timeout | 10000 | |
alluxio.master.journal.retry.interval | 1sec | |
alluxio.master.journal.space.monitor.interval | 10min | |
alluxio.master.journal.space.monitor.percent.free.threshold | 10 | |
alluxio.master.journal.tailer.shutdown.quiet.wait.time | 5sec | 在备用master停止监听线程之前,在该配置项指定的时间内不应对leader master的journal作任何更新。 |
alluxio.master.journal.tailer.sleep.time | 1sec | 指定当备用master无法检测到leader master journal的更新时,其睡眠时间。 |
alluxio.master.journal.temporary.file.gc.threshold | 30min | 临时文件垃圾收集检查点的最小年龄。 |
alluxio.master.journal.type | EMBEDDED | 使用journal类型,UFS(存储journal在UFS中)和NOOP(不使用journal)。 |
alluxio.master.journal.ufs.option | journal操作使用的配置。 | |
alluxio.master.jvm.monitor.enabled | true | 是否在master上启动JVM monitor线程。 |
alluxio.master.keytab.file | Alluxio master的Kerberos密钥表文件。 | |
alluxio.master.lock.pool.concurrency.level | 100 | |
alluxio.master.lock.pool.high.watermark | 1000000 | |
alluxio.master.lock.pool.initsize | 1000 | |
alluxio.master.lock.pool.low.watermark | 500000 | |
alluxio.master.log.config.report.heartbeat.interval | 1h | |
alluxio.master.lost.worker.deletion.timeout | 30min | |
alluxio.master.lost.worker.detection.interval | 10sec | |
alluxio.master.lost.worker.file.detection.interval | 5min | |
alluxio.master.merge.journal.context.num.entries.logging.threshold | 10000 | |
alluxio.master.metadata.concurrent.sync.dedup | false | |
alluxio.master.metadata.sync.concurrency.level | 6 | |
alluxio.master.metadata.sync.executor.pool.size | The total number of threads which can concurrently execute metadata sync operations. | |
alluxio.master.metadata.sync.ignore.ttl | false | |
alluxio.master.metadata.sync.instrument.executor | false | |
alluxio.master.metadata.sync.lock.pool.concurrency.level | 20 | |
alluxio.master.metadata.sync.lock.pool.high.watermark | 50000 | |
alluxio.master.metadata.sync.lock.pool.initsize | 1000 | |
alluxio.master.metadata.sync.lock.pool.low.watermark | 20000 | |
alluxio.master.metadata.sync.traversal.order | BFS | |
alluxio.master.metadata.sync.ufs.prefetch.pool.size | The number of threads which can concurrently fetch metadata from UFSes during a metadata sync operations. | |
alluxio.master.metadata.sync.ufs.prefetch.status | true | |
alluxio.master.metadata.sync.ufs.prefetch.timeout | 100ms | |
alluxio.master.metastore | ROCKS | |
alluxio.master.metastore.block | ROCKS | |
alluxio.master.metastore.dir | ${alluxio.work.dir}/metastore | |
alluxio.master.metastore.dir.block | ${alluxio.master.metastore.dir} | |
alluxio.master.metastore.dir.inode | ${alluxio.master.metastore.dir} | |
alluxio.master.metastore.inode | ROCKS | |
alluxio.master.metastore.inode.cache.evict.batch.size | 1000 | |
alluxio.master.metastore.inode.cache.high.water.mark.ratio | 0.85 | |
alluxio.master.metastore.inode.cache.low.water.mark.ratio | 0.8 | |
alluxio.master.metastore.inode.cache.max.size | {Max memory of master JVM} / 2 / 2 KB per inode | |
alluxio.master.metastore.inode.enumerator.buffer.count | 10000 | |
alluxio.master.metastore.inode.inherit.owner.and.group | true | |
alluxio.master.metastore.inode.iteration.crawler.count | Use {CPU core count} for enumeration. | |
alluxio.master.metastore.iterator.readahead.size | 64MB | |
alluxio.master.metastore.metrics.refresh.interval | 5s | |
alluxio.master.metastore.rocks.block.location.block.index | ||
alluxio.master.metastore.rocks.block.location.bloom.filter | false | |
alluxio.master.metastore.rocks.block.location.cache.size | ||
alluxio.master.metastore.rocks.block.location.index | ||
alluxio.master.metastore.rocks.block.meta.block.index | ||
alluxio.master.metastore.rocks.block.meta.bloom.filter | false | |
alluxio.master.metastore.rocks.block.meta.cache.size | ||
alluxio.master.metastore.rocks.block.meta.index | ||
alluxio.master.metastore.rocks.checkpoint.compression.type | LZ4_COMPRESSION | |
alluxio.master.metastore.rocks.edge.block.index | ||
alluxio.master.metastore.rocks.edge.bloom.filter | false | |
alluxio.master.metastore.rocks.edge.cache.size | ||
alluxio.master.metastore.rocks.edge.index | ||
alluxio.master.metastore.rocks.inode.block.index | ||
alluxio.master.metastore.rocks.inode.bloom.filter | false | |
alluxio.master.metastore.rocks.inode.cache.size | ||
alluxio.master.metastore.rocks.inode.index | ||
alluxio.master.metastore.rocks.parallel.backup | false | |
alluxio.master.metastore.rocks.parallel.backup.threads | The default number of threads used by backing up rocksdb in parallel. | |
alluxio.master.metrics.file.size.distribution.buckets | 1KB,1MB,10MB,100MB,1GB,10GB | |
alluxio.master.metrics.heap.enabled | false | |
alluxio.master.metrics.service.threads | 5 | |
alluxio.master.metrics.time.series.interval | 5min | |
alluxio.master.mount.table.root.alluxio | / | Alluxio mount根节点。 |
alluxio.master.mount.table.root.option | Alluxio mount根节点UFS配置。 | |
alluxio.master.mount.table.root.readonly | false | Alluxio mount根节点是否只读。 |
alluxio.master.mount.table.root.shared | true | Alluxio mount根节点是否共享。 |
alluxio.master.mount.table.root.ufs | ${alluxio.work.dir}/underFSStorage | 挂载到Alluxio mount根节点的UFS。 |
alluxio.master.network.flowcontrol.window | 2MB | |
alluxio.master.network.keepalive.time | 2h | |
alluxio.master.network.keepalive.timeout | 30sec | |
alluxio.master.network.max.inbound.message.size | 100MB | |
alluxio.master.network.permit.keepalive.time | 30sec | |
alluxio.master.periodic.block.integrity.check.interval | 1hr | 块完整性检查的间隔,如果小于0则不启用。 |
alluxio.master.periodic.block.integrity.check.repair | true | 完整性检查时是否要删除孤儿块。这是个实验性的属性。 |
alluxio.master.persistence.blacklist | ||
alluxio.master.persistence.checker.interval | 1s | |
alluxio.master.persistence.initial.interval | 1s | |
alluxio.master.persistence.max.interval | 1hr | |
alluxio.master.persistence.max.total.wait.time | 1day | |
alluxio.master.persistence.scheduler.interval | 1s | |
alluxio.master.principal | Alluxio master的Kerberos主体。 | |
alluxio.master.recursive.operation.journal.force.flush.max.entries | 100 | |
alluxio.master.replication.check.interval | 1min | |
alluxio.master.rpc.addresses | ||
alluxio.master.rpc.executor.core.pool.size | 500 | |
alluxio.master.rpc.executor.fjp.async | true | |
alluxio.master.rpc.executor.fjp.min.runnable | 1 | |
alluxio.master.rpc.executor.fjp.parallelism | 2 * {CPU core count} | |
alluxio.master.rpc.executor.keepalive | 60sec | |
alluxio.master.rpc.executor.max.pool.size | 500 | |
alluxio.master.rpc.executor.tpe.allow.core.threads.timeout | true | |
alluxio.master.rpc.executor.tpe.queue.type | LINKED_BLOCKING_QUEUE | |
alluxio.master.rpc.executor.type | TPE | |
alluxio.master.rpc.port | 19998 | Alluxio master的运行端口。 |
alluxio.master.shell.backup.state.lock.grace.mode | FORCED | |
alluxio.master.shell.backup.state.lock.sleep.duration | 0s | |
alluxio.master.shell.backup.state.lock.timeout | 0s | |
alluxio.master.shell.backup.state.lock.try.duration | 0s | |
alluxio.master.standby.heartbeat.interval | 2min | Alluxio master进程间的心跳间隔时间。 |
alluxio.master.startup.block.integrity.check.enabled | false | 是否应该在启动时检查系统孤立的块(由于各种系统故障而没有相应文件但仍然占用系统资源的块)。如果此属性为真,则在主启动期间将删除孤立的块。此属性自1.7.1开始可用。 |
alluxio.master.state.lock.error.threshold | 20 | |
alluxio.master.throttle.active.cpu.load.ratio | 0.5 | |
alluxio.master.throttle.active.heap.gc.time | 1sec | |
alluxio.master.throttle.active.heap.used.ratio | 0.5 | |
alluxio.master.throttle.active.rpc.queue.size | 50000 | |
alluxio.master.throttle.background.enabled | false | |
alluxio.master.throttle.enabled | true | |
alluxio.master.throttle.filesystem.op.per.sec | 2000 | |
alluxio.master.throttle.filesystem.rpc.queue.size.limit | 1000 | |
alluxio.master.throttle.foreground.enabled | false | |
alluxio.master.throttle.heartbeat.interval | 3sec | |
alluxio.master.throttle.observed.pit.number | 3 | |
alluxio.master.throttle.overloaded.cpu.load.ratio | 0.95 | |
alluxio.master.throttle.overloaded.heap.gc.time | 10sec | |
alluxio.master.throttle.overloaded.heap.used.ratio | 0.9 | |
alluxio.master.throttle.overloaded.rpc.queue.size | 150000 | |
alluxio.master.throttle.stressed.cpu.load.ratio | 0.8 | |
alluxio.master.throttle.stressed.heap.gc.time | 5sec | |
alluxio.master.throttle.stressed.heap.used.ratio | 0.8 | |
alluxio.master.throttle.stressed.rpc.queue.size | 100000 | |
alluxio.master.tieredstore.global.level0.alias | MEM | 整个系统中最高存储层的名称。 |
alluxio.master.tieredstore.global.level1.alias | SSD | 整个系统中第二存储层的名称。 |
alluxio.master.tieredstore.global.level2.alias | HDD | 整个系统中第三存储层的名称。 |
alluxio.master.tieredstore.global.levels | 3 | 系统中存储层的总数目。 |
alluxio.master.tieredstore.global.mediumtype | MEM,SSD,HDD | |
alluxio.master.ttl.checker.interval | 1hour | 清除过期ttl值的文件任务的时间间隔。 |
alluxio.master.ufs.active.sync.event.rate.interval | 60sec | |
alluxio.master.ufs.active.sync.interval | 30sec | |
alluxio.master.ufs.active.sync.max.activities | 10 | |
alluxio.master.ufs.active.sync.max.age | 10 | |
alluxio.master.ufs.active.sync.poll.batch.size | 1024 | |
alluxio.master.ufs.active.sync.poll.timeout | 10sec | |
alluxio.master.ufs.active.sync.retry.timeout | 10sec | |
alluxio.master.ufs.active.sync.thread.pool.size | The number of threads used by the active sync provider process active sync events. A higher number allow the master to use more CPU to process events from an event stream in parallel. If this value is too low, Alluxio may fall behind processing events. Defaults to # of processors / 2. | |
alluxio.master.ufs.block.location.cache.capacity | 1000000 | UFS块缓存的容量。这个cache缓存UFS块位置,适用于要保存但不在Alluxio空间中的文件,以便这些文件的列表状态不需要反复询问UFS的块位置。如果将此设置为0,则缓存将被禁用。 |
alluxio.master.ufs.journal.max.catchup.time | 10min | |
alluxio.master.ufs.path.cache.capacity | 100000 | UFS路径缓存的容量。此缓存用来近似`一次性`元数据加载行为。(查看 `alluxio.user.file.metadata.load.type`)。更大的缓存将耗费更大的内存,但是能够更好地近似`一次性`行为。 |
alluxio.master.ufs.path.cache.threads | 64 | 线程池(可异步处理路径,用于缓存UFS路径)的最大容积。更多的线程数将减少异步缓存中的staleness数量,但可能会影响性能。 如果设置为0,缓存将被禁用,而alluxio.user.file.metadata.load.type = Once将表现为"Always"。 |
alluxio.master.unsafe.direct.persist.object.enabled | true | |
alluxio.master.update.check.enabled | true | |
alluxio.master.update.check.interval | 7day | |
alluxio.master.web.bind.host | 0.0.0.0 | Alluxio master web UI绑定的主机名。参考多宿主网络 |
alluxio.master.web.hostname | 提供Alluxio Master web UI的主机名。 | |
alluxio.master.web.in.alluxio.data.page.count | 1000 | |
alluxio.master.web.port | 19999 | Alluxio web UI运行端口。 |
alluxio.master.whitelist | / | 以该配置中的前缀开头的路径是可缓存的,这些前缀用分号隔开。Alluxio在第一次读这些文件时会尝试缓存这些可缓存的文件。 |
alluxio.master.worker.connect.wait.time | 5sec | 在开始接受client请求之前,Alluxio master会等待一段时间,让所有worker注册。此属性决定等待时间。 |
alluxio.master.worker.info.cache.refresh.time | 10sec | |
alluxio.master.worker.register.lease.count | 25 | |
alluxio.master.worker.register.lease.enabled | true | |
alluxio.master.worker.register.lease.respect.jvm.space | true | |
alluxio.master.worker.register.lease.ttl | 1min | |
alluxio.master.worker.register.stream.response.timeout | 10min | |
alluxio.master.worker.timeout | 5min | Alluxio master与worker之间响应的最大超时时间,超过该时间表明该worker失效。 |
Worker配置项
Worker配置项指定worker节点的信息,例如地址和端口号。
属性名 | 默认值 | 描述 |
---|---|---|
alluxio.worker.allocator.class | alluxio.worker.block.allocator.MaxFreeAllocator | worker在特定存储层上分配不同存储目录空间的策略,有效值包括:`alluxio.worker.block.allocator.MaxFreeAllocator`, `alluxio.worker.block.allocator.GreedyAllocator`, `alluxio.worker.block.allocator.RoundRobinAllocator`。 |
alluxio.worker.bind.host | 0.0.0.0 | Alluxio worker节点绑定的主机名,参考多宿主网络 |
alluxio.worker.block.annotator.class | alluxio.worker.block.annotator.LRUAnnotator | |
alluxio.worker.block.annotator.lrfu.attenuation.factor | 2.0 | |
alluxio.worker.block.annotator.lrfu.step.factor | 0.25 | |
alluxio.worker.block.heartbeat.interval | 1sec | worker心跳时间间隔。 |
alluxio.worker.block.heartbeat.report.size.threshold | 1000000 | |
alluxio.worker.block.heartbeat.timeout | ${alluxio.worker.master.connect.retry.timeout} | worker心跳超时时间。 |
alluxio.worker.block.master.client.pool.size | 11 | block master在Alluxio worker上的client池容量。 |
alluxio.worker.block.store.type | FILE | |
alluxio.worker.container.hostname | ||
alluxio.worker.data.folder | /alluxioworker/ | 每个存储目录中的一个相对路径,该路径被Alluxio worker用作层次化存储中存放数据的文件夹。 |
alluxio.worker.data.folder.permissions | rwxrwxrwx | |
alluxio.worker.data.folder.tmp | .tmp_blocks | 相对于 alluxio.worker.data.folder 的路径, 用于存放临时数据. |
alluxio.worker.data.server.domain.socket.address | domain socket 路径。如果设置,Alluxio worker 通过这个路径读写数据。 | |
alluxio.worker.data.server.domain.socket.as.uuid | false | 如果为真,则属性worker.data.server.domain.socket是域套接字的主目录的路径,也是唯一标识符用作域套接字名称。此外,客户端忽略alluxio.user.hostname在检测本地工作人员进行短路操作时。如果为false,则该属性是UNIX域套接字的绝对路径。 |
alluxio.worker.data.tmp.subdir.max | 1024 | 在 alluxio.worker.data.folder.tmp 中可以创建的文件夹的最大数目. |
alluxio.worker.evictor.class | 当某个存储层空间不足时,worker剔除块文件的策略。可选值包括`alluxio.worker.block.evictor.LRFUEvictor`、 `alluxio.worker.block.evictor.GreedyEvictor`、 `alluxio.worker.block.evictor.LRUEvictor`。 | |
alluxio.worker.free.space.timeout | 10sec | worker等待驱逐来为客户端写请求提供空间的持续时间。 |
alluxio.worker.fuse.enabled | false | |
alluxio.worker.hostname | Alluxio worker的主机名。 | |
alluxio.worker.jvm.monitor.enabled | true | 是否在worker上启用JVM monitor线程。 |
alluxio.worker.keytab.file | Alluxio worker的Kerberos密钥对文件。 | |
alluxio.worker.management.backoff.strategy | ANY | |
alluxio.worker.management.block.transfer.concurrency.limit | Use {CPU core count}/2 threads block transfer. | |
alluxio.worker.management.load.detection.cool.down.time | 10sec | |
alluxio.worker.management.task.thread.count | Use {CPU core count} threads for all management tasks. | |
alluxio.worker.management.tier.align.enabled | true | |
alluxio.worker.management.tier.align.range | 100 | |
alluxio.worker.management.tier.align.reserved.bytes | 1GB | |
alluxio.worker.management.tier.promote.enabled | true | |
alluxio.worker.management.tier.promote.quota.percent | 90 | |
alluxio.worker.management.tier.promote.range | 100 | |
alluxio.worker.management.tier.swap.restore.enabled | true | |
alluxio.worker.master.connect.retry.timeout | 1hour | |
alluxio.worker.master.periodical.rpc.timeout | 5min | |
alluxio.worker.network.async.cache.manager.queue.max | 512 | |
alluxio.worker.network.async.cache.manager.threads.max | 2 * {CPU core count} | |
alluxio.worker.network.block.reader.threads.max | 2048 | |
alluxio.worker.network.block.writer.threads.max | 1024 | |
alluxio.worker.network.flowcontrol.window | 2MB | |
alluxio.worker.network.keepalive.time | 30sec | |
alluxio.worker.network.keepalive.timeout | 30sec | |
alluxio.worker.network.max.inbound.message.size | 4MB | |
alluxio.worker.network.netty.boss.threads | 1 | 收到新的请求时启用的线程数目。 |
alluxio.worker.network.netty.channel | EPOLL | netty通道类型:NIO或EPOLL。 |
alluxio.worker.network.netty.shutdown.quiet.period | 2sec | 沉默期时间长度。当netty服务器正终止时,要确保在该时间段内不会产生RPC调用。如果出现了RPC调用,那么在该netty服务器终止时会该沉默期会重新开始。 |
alluxio.worker.network.netty.watermark.high | 32KB | 在切换到不可写状态之前,写队列中可存放的最大字节数。 |
alluxio.worker.network.netty.watermark.low | 8KB | 一旦写队列中的high watermark达到了,该队列在切换到可写状态之前必须刷新到该配置项指定的low watermark。 |
alluxio.worker.network.netty.worker.threads | 2 * {CPU core count} | 处理请求的线程数目,0表示#cpuCores * 2 |
alluxio.worker.network.permit.keepalive.time | 30s | |
alluxio.worker.network.reader.buffer.pooled | true | |
alluxio.worker.network.reader.buffer.size | 4MB | |
alluxio.worker.network.reader.max.chunk.size.bytes | 2MB | |
alluxio.worker.network.shutdown.timeout | 15sec | |
alluxio.worker.network.writer.buffer.size.messages | 8 | |
alluxio.worker.network.zerocopy.enabled | true | |
alluxio.worker.page.store.async.restore.enabled | true | |
alluxio.worker.page.store.async.write.enabled | false | |
alluxio.worker.page.store.async.write.threads | 16 | |
alluxio.worker.page.store.dirs | /tmp/alluxio_cache | |
alluxio.worker.page.store.eviction.retries | 10 | |
alluxio.worker.page.store.evictor.class | alluxio.client.file.cache.evictor.LRUCacheEvictor | |
alluxio.worker.page.store.evictor.lfu.logbase | 2.0 | |
alluxio.worker.page.store.evictor.nondeterministic.enabled | false | |
alluxio.worker.page.store.local.store.file.buckets | 1000 | |
alluxio.worker.page.store.overhead | 0.1 | |
alluxio.worker.page.store.page.size | 1MB | |
alluxio.worker.page.store.quota.enabled | false | |
alluxio.worker.page.store.sizes | 512MB | |
alluxio.worker.page.store.timeout.duration | -1 | |
alluxio.worker.page.store.timeout.threads | 32 | |
alluxio.worker.page.store.type | LOCAL | |
alluxio.worker.principal | Alluxio worker的Kerberos主体。 | |
alluxio.worker.ramdisk.size | 2/3 of total system memory, or 1GB if system memory size cannot be determined | 每个worker节点的内存容量。 |
alluxio.worker.register.lease.enabled | ${alluxio.master.worker.register.lease.enabled} | |
alluxio.worker.register.lease.retry.max.duration | ${alluxio.worker.master.connect.retry.timeout} | |
alluxio.worker.register.lease.retry.sleep.max | 10sec | |
alluxio.worker.register.lease.retry.sleep.min | 1sec | |
alluxio.worker.register.stream.batch.size | 1000000 | |
alluxio.worker.register.stream.complete.timeout | 5min | |
alluxio.worker.register.stream.deadline | 15min | |
alluxio.worker.register.stream.enabled | true | |
alluxio.worker.register.stream.response.timeout | ${alluxio.master.worker.register.stream.response.timeout} | |
alluxio.worker.register.to.all.masters | false | |
alluxio.worker.remote.io.slow.threshold | 10s | |
alluxio.worker.reviewer.class | alluxio.worker.block.reviewer.ProbabilisticBufferReviewer | |
alluxio.worker.reviewer.probabilistic.hardlimit.bytes | 64MB | |
alluxio.worker.reviewer.probabilistic.softlimit.bytes | 256MB | |
alluxio.worker.rpc.executor.core.pool.size | 100 | |
alluxio.worker.rpc.executor.fjp.async | true | |
alluxio.worker.rpc.executor.fjp.min.runnable | 1 | |
alluxio.worker.rpc.executor.fjp.parallelism | 2 * {CPU core count} | |
alluxio.worker.rpc.executor.keepalive | 60sec | |
alluxio.worker.rpc.executor.max.pool.size | 1000 | |
alluxio.worker.rpc.executor.tpe.allow.core.threads.timeout | true | |
alluxio.worker.rpc.executor.tpe.queue.type | LINKED_BLOCKING_QUEUE_WITH_CAP | |
alluxio.worker.rpc.executor.type | TPE | |
alluxio.worker.rpc.port | 29999 | Alluxio worker节点运行端口。 |
alluxio.worker.session.timeout | 1min | worker和client连接的超时时间,超时后表明该会话失效。 |
alluxio.worker.startup.timeout | 10min | |
alluxio.worker.storage.checker.enabled | true | |
alluxio.worker.tieredstore.block.lock.readers | 1000 | 一个Alluxio数据块锁最大允许的并行读数目。 |
alluxio.worker.tieredstore.block.locks | 1000 | 一个Alluxio数据块worker的数据块锁数目。较大值会达到更好的锁粒度,但会使用更多空间。 |
alluxio.worker.tieredstore.free.ahead.bytes | 0 | |
alluxio.worker.tieredstore.level0.alias | MEM | 在worker上最高存储层的别名,该值一定要对应master配置项中全局存储层之一。禁止将全局继承结构中较低级别存储层的别名放在worker中较高级别,因此默认情况下,在任何worker上SSD都不能在MEM之前。 |
alluxio.worker.tieredstore.level0.dirs.mediumtype | ${alluxio.worker.tieredstore.level0.alias} | |
alluxio.worker.tieredstore.level0.dirs.path | /mnt/ramdisk on Linux, /Volumes/ramdisk on OSX | 顶层存储层在存储目录中的路径。注意对于MacoS该值应为`/Volumes/`。 |
alluxio.worker.tieredstore.level0.dirs.quota | ${alluxio.worker.ramdisk.size} | 顶层存储层容量。 |
alluxio.worker.tieredstore.level0.watermark.high.ratio | 0.95 | 在顶层存储层中的高水位比例 (取值为0到1之间)。 |
alluxio.worker.tieredstore.level0.watermark.low.ratio | 0.7 | 在顶层存储层中的低水位比例 (取值为0到1之间)。 |
alluxio.worker.tieredstore.level1.alias | ||
alluxio.worker.tieredstore.level1.dirs.mediumtype | ${alluxio.worker.tieredstore.level1.alias} | |
alluxio.worker.tieredstore.level1.dirs.path | ||
alluxio.worker.tieredstore.level1.dirs.quota | ||
alluxio.worker.tieredstore.level1.watermark.high.ratio | 0.95 | |
alluxio.worker.tieredstore.level1.watermark.low.ratio | 0.7 | |
alluxio.worker.tieredstore.level2.alias | ||
alluxio.worker.tieredstore.level2.dirs.mediumtype | ${alluxio.worker.tieredstore.level2.alias} | |
alluxio.worker.tieredstore.level2.dirs.path | ||
alluxio.worker.tieredstore.level2.dirs.quota | ||
alluxio.worker.tieredstore.level2.watermark.high.ratio | 0.95 | |
alluxio.worker.tieredstore.level2.watermark.low.ratio | 0.7 | |
alluxio.worker.tieredstore.levels | 1 | worker上的存储层数目。 |
alluxio.worker.ufs.instream.cache.enabled | true | 在存储输入流下启用缓存,以便以后在同一个文件上查找操作可重用缓存的输入流。这将提高位置读取性能,因为一些文件系统的打开操作是昂贵的。当UFS文件被修改时,缓存的输入流将过时,而不通知Alluxio。 |
alluxio.worker.ufs.instream.cache.expiration.time | 5min | 缓存的UFS输入流过期时间。 |
alluxio.worker.ufs.instream.cache.max.size | 5000 | UFS输入流缓存中最大输入数。 |
alluxio.worker.web.bind.host | 0.0.0.0 | Alluxio worker web服务绑定的主机名,参考See 多宿主网络 |
alluxio.worker.web.hostname | Alluxio worker web UI绑定的主机名。 | |
alluxio.worker.web.port | 30000 | Alluxio worker web UI运行的端口号。 |
alluxio.worker.whitelist | / |
用户配置项
用户配置项指定了文件系统访问的相关信息。
属性名 | 默认值 | 描述 |
---|---|---|
alluxio.user.app.id | ||
alluxio.user.block.avoid.eviction.policy.reserved.size.bytes | 0MB | |
alluxio.user.block.master.client.pool.gc.interval | 120sec | |
alluxio.user.block.master.client.pool.gc.threshold | 120sec | |
alluxio.user.block.master.client.pool.size.max | 500 | |
alluxio.user.block.master.client.pool.size.min | 0 | |
alluxio.user.block.read.metrics.enabled | false | |
alluxio.user.block.read.retry.max.duration | 5min | |
alluxio.user.block.read.retry.sleep.base | 250ms | |
alluxio.user.block.read.retry.sleep.max | 2sec | |
alluxio.user.block.size.bytes.default | 64MB | Alluxio文件的默认大小。 |
alluxio.user.block.worker.client.pool.gc.threshold | 300sec | 数据块worker client如果闲置超过这个时间会被关闭。 |
alluxio.user.block.worker.client.pool.max | 1024 | |
alluxio.user.block.write.location.policy.class | alluxio.client.block.policy.LocalFirstPolicy | 选择worker进行写文件数据块时的默认定位机制。 |
alluxio.user.client.cache.async.restore.enabled | true | |
alluxio.user.client.cache.async.write.enabled | false | |
alluxio.user.client.cache.async.write.threads | 16 | |
alluxio.user.client.cache.dirs | /tmp/alluxio_cache | |
alluxio.user.client.cache.enabled | false | |
alluxio.user.client.cache.eviction.retries | 10 | |
alluxio.user.client.cache.evictor.class | alluxio.client.file.cache.evictor.LRUCacheEvictor | |
alluxio.user.client.cache.evictor.lfu.logbase | 2.0 | |
alluxio.user.client.cache.evictor.nondeterministic.enabled | false | |
alluxio.user.client.cache.filter.class | alluxio.client.file.cache.filter.DefaultCacheFilter | |
alluxio.user.client.cache.filter.config-file | ${alluxio.conf.dir}/cache_filter.properties | |
alluxio.user.client.cache.instream_buffer_size | 0B | |
alluxio.user.client.cache.local.store.file.buckets | 1000 | |
alluxio.user.client.cache.page.size | 1MB | |
alluxio.user.client.cache.quota.enabled | false | |
alluxio.user.client.cache.shadow.bloomfilter.num | 4 | |
alluxio.user.client.cache.shadow.cuckoo.clock.bits | 6 | |
alluxio.user.client.cache.shadow.cuckoo.scope.bits | 8 | |
alluxio.user.client.cache.shadow.cuckoo.size.bits | 20 | |
alluxio.user.client.cache.shadow.cuckoo.size.encoder.enabled | false | |
alluxio.user.client.cache.shadow.cuckoo.size.prefix.bits | 8 | |
alluxio.user.client.cache.shadow.cuckoo.size.suffix.bits | 12 | |
alluxio.user.client.cache.shadow.enabled | false | |
alluxio.user.client.cache.shadow.memory.overhead | 125MB | |
alluxio.user.client.cache.shadow.type | CLOCK_CUCKOO_FILTER | |
alluxio.user.client.cache.shadow.window | 24h | |
alluxio.user.client.cache.size | 512MB | |
alluxio.user.client.cache.store.overhead | ||
alluxio.user.client.cache.store.type | LOCAL | |
alluxio.user.client.cache.timeout.duration | -1 | |
alluxio.user.client.cache.timeout.threads | 32 | |
alluxio.user.client.cache.ttl.check.interval.seconds | 3600 | |
alluxio.user.client.cache.ttl.enabled | false | |
alluxio.user.client.cache.ttl.threshold.seconds | 10800 | |
alluxio.user.client.report.version.enabled | false | |
alluxio.user.conf.cluster.default.enabled | true | |
alluxio.user.conf.sync.interval | 1min | |
alluxio.user.date.format.pattern | MM-dd-yyyy HH:mm:ss:SSS | 以指定的日期格式,在Cli命令和Web页面中显示日期。 |
alluxio.user.file.buffer.bytes | 8MB | 在文件系统中进行读写操作时使用的缓冲区大小。 |
alluxio.user.file.copyfromlocal.block.location.policy.class | alluxio.client.block.policy.RoundRobinPolicy | |
alluxio.user.file.create.ttl | -1 | |
alluxio.user.file.create.ttl.action | FREE | |
alluxio.user.file.delete.unchecked | false | 在尝试以递归方式删除持久化目录之前,检查底层文件系统中的内容是否与Alluxio同步。 |
alluxio.user.file.include.operation.id | true | |
alluxio.user.file.master.client.pool.gc.interval | 120sec | |
alluxio.user.file.master.client.pool.gc.threshold | 120sec | |
alluxio.user.file.master.client.pool.size.max | 500 | |
alluxio.user.file.master.client.pool.size.min | 0 | |
alluxio.user.file.metadata.load.type | ONCE | 从UFS中加载元数据的行为。当访问关于路径的信息,但该路径在Alluxio中不存在时,元数据能够从UFS中加载。合法的选项有`Always`,`Never`,`Once`。`Always`将总是访问UFS来看路径是否存在于UFS中。`Never`表示从来不会访问UFS。`Once`表示在"首次"的时候会访问UFS(根据缓存),但是以后都不会在访问。默认值为`Once`。 |
alluxio.user.file.metadata.sync.interval | -1 | 在调用路径上的操作之前同步UFS元数据的时间间隔。-1表示不会发生同步。0意味着在操作之前,代理总是会同步路径的元数据。如果指定了一个时间间隔,就可以在该时间间隔内(尽可能)不重新同步路径。同步路径的元数据必须与UFS交互,所以这是一个昂贵的操作。如果对一个操作执行同步,则配置为"alluxio.user.file.metadata.load.type"将被忽略。 |
alluxio.user.file.passive.cache.enabled | true | 当从Alluxio远程worker读文件时,是否缓存文件到Alluxio的本地worker。当从UFS读文件时,是否缓存到本地worker与这个选项无关。 |
alluxio.user.file.persist.on.rename | false | |
alluxio.user.file.persistence.initial.wait.time | 0 | |
alluxio.user.file.readtype.default | CACHE | 创建Alluxio文件时的默认读类型。可选值为`CACHE_PROMOTE` (如果数据已经在Alluxio存储内,将其移动到最高存储层,如果数据需要从底层存储进行读取,将其写到本地Alluxio的最高存储层)、`CACHE` (如果数据需要从底层存储进行读取,将其写到本地Alluxio的最高存储层), `NO_CACHE` (数据不与Alluxio交互,如果是从Alluxio中进行读取,将不会发生数据块迁移或者剔除)。 |
alluxio.user.file.replication.durable | 1 | |
alluxio.user.file.replication.max | -1 | |
alluxio.user.file.replication.min | 0 | |
alluxio.user.file.reserved.bytes | ${alluxio.user.block.size.bytes.default} | |
alluxio.user.file.sequential.pread.threshold | 2MB | |
alluxio.user.file.target.media | ||
alluxio.user.file.ufs.tier.enabled | false | |
alluxio.user.file.waitcompleted.poll | 1sec | 当使用waitCompleted机制时,查询文件完成状态的时间间隔。 |
alluxio.user.file.write.init.max.duration | 2min | |
alluxio.user.file.write.init.sleep.max | 5sec | |
alluxio.user.file.write.init.sleep.min | 1sec | |
alluxio.user.file.write.tier.default | 0 | 数据块写入的默认存储层。可选值为整型数值。非负值代表从高层到底层的存储层(0代表第一层存储层,1代表第二层存储层,以此类推)。如果给定值大于存储层数量,这个数字代表最底层的存储层。负值代表从底层到高层的存储层(-1代表最底层存储层,-2代表次底层存储层,以此类推)如果给定值的绝对值大于存储层数量,这个数字代表最高层存储层。 |
alluxio.user.file.writetype.default | ASYNC_THROUGH | 创建Alluxio文件时的默认写类型。可选值为`MUST_CACHE` (数据仅仅存储在Alluxio中,并且必须存储在其中), `CACHE_THROUGH` (尽量缓冲数据,同时同步写入到底层文件系统), `THROUGH` (不缓冲数据,同步写入到底层文件系统), `ASYNC_THROUGH` (数据写入Alluxio, 异步写入底层文件系统, 配置alluxio.user.file.replication.durable, 在数据持久化之前在Alluxio中复制alluxio.user.file.replication.durable个副本)。 |
alluxio.user.hdfs.client.exclude.mount.info.on.list.status | false | |
alluxio.user.hostname | 给alluxio客户端使用的主机名。 | |
alluxio.user.local.reader.chunk.size.bytes | 8MB | |
alluxio.user.local.writer.chunk.size.bytes | 64KB | |
alluxio.user.logging.threshold | 10s | |
alluxio.user.master.polling.timeout | 30sec | |
alluxio.user.metadata.cache.enabled | false | |
alluxio.user.metadata.cache.expiration.time | 10min | |
alluxio.user.metadata.cache.max.size | 100000 | |
alluxio.user.metrics.collection.enabled | true | |
alluxio.user.metrics.heartbeat.interval | 10sec | |
alluxio.user.network.data.timeout | ||
alluxio.user.network.flowcontrol.window | ||
alluxio.user.network.keepalive.time | ||
alluxio.user.network.keepalive.timeout | ||
alluxio.user.network.max.inbound.message.size | ||
alluxio.user.network.netty.channel | netty网络通道类型。 | |
alluxio.user.network.netty.worker.threads | 远程数据块worker client从远程数据块worker读取数据使用的线程数目。 | |
alluxio.user.network.reader.buffer.size.messages | ||
alluxio.user.network.reader.chunk.size.bytes | ||
alluxio.user.network.rpc.flowcontrol.window | 2MB | |
alluxio.user.network.rpc.keepalive.time | 30sec | |
alluxio.user.network.rpc.keepalive.timeout | 30sec | |
alluxio.user.network.rpc.max.connections | 1 | |
alluxio.user.network.rpc.max.inbound.message.size | 100MB | |
alluxio.user.network.rpc.netty.channel | EPOLL | |
alluxio.user.network.rpc.netty.worker.threads | 0 | |
alluxio.user.network.streaming.flowcontrol.window | 2MB | |
alluxio.user.network.streaming.keepalive.time | 9223372036854775807 | |
alluxio.user.network.streaming.keepalive.timeout | 30sec | |
alluxio.user.network.streaming.max.connections | 64 | |
alluxio.user.network.streaming.max.inbound.message.size | 100MB | |
alluxio.user.network.streaming.netty.channel | EPOLL | |
alluxio.user.network.streaming.netty.worker.threads | 0 | |
alluxio.user.network.writer.buffer.size.messages | ||
alluxio.user.network.writer.chunk.size.bytes | ||
alluxio.user.network.writer.close.timeout | ||
alluxio.user.network.writer.flush.timeout | ||
alluxio.user.network.zerocopy.enabled | ||
alluxio.user.rpc.retry.base.sleep | 50ms | 在遇到一些错误的时候,Alluxio客户端的RPC会基于指数级的延迟进行重试。这个配置决定了这个指数级重试的基数。 |
alluxio.user.rpc.retry.max.duration | 2min | 在遇到一些错误的时候,Alluxio客户端的RPC会基于指数级的延迟进行重试。这个配置决定了放弃前重试的最大时延。 |
alluxio.user.rpc.retry.max.sleep | 3sec | 在遇到一些错误的时候,Alluxio客户端的RPC会基于指数级的延迟进行重试。这个配置决定了这个重试延迟的最大值。 |
alluxio.user.rpc.shuffle.masters.enabled | false | |
alluxio.user.short.circuit.enabled | true | 是否允许用户绕过Alluxio读取数据。 |
alluxio.user.short.circuit.preferred | false | |
alluxio.user.streaming.data.read.timeout | 3m | |
alluxio.user.streaming.data.write.timeout | 3m | |
alluxio.user.streaming.reader.buffer.size.messages | 16 | |
alluxio.user.streaming.reader.chunk.size.bytes | 1MB | |
alluxio.user.streaming.reader.close.timeout | 5s | |
alluxio.user.streaming.writer.buffer.size.messages | 16 | |
alluxio.user.streaming.writer.chunk.size.bytes | 1MB | |
alluxio.user.streaming.writer.close.timeout | 30min | |
alluxio.user.streaming.writer.flush.timeout | 30min | |
alluxio.user.streaming.zerocopy.enabled | true | |
alluxio.user.ufs.block.location.all.fallback.enabled | true | |
alluxio.user.ufs.block.read.concurrency.max | 2147483647 | 一个Block Worker上的一个UFS块并发访问的最大个数。 |
alluxio.user.ufs.block.read.location.policy | alluxio.client.block.policy.LocalFirstPolicy | 当Alluxio client从UFS读取文件时,它将读取委托给Alluxio worker。client使用此策略来选择要阅读哪个worker。 内置选择有:[alluxio.client.block.policy.DeterministicHashPolicy, alluxio.client.block.policy.LocalFirstAvoidEvictionPolicy, alluxio.client.block.policy.LocalFirstPolicy, alluxio.client.block.policy.MostAvailableFirstPolicy, alluxio.client.block.policy.RoundRobinPolicy, alluxio.client.block.policy.SpecificHostPolicy] |
alluxio.user.ufs.block.read.location.policy.cache.expiration.time | 10min | |
alluxio.user.ufs.block.read.location.policy.cache.size | 10000 | |
alluxio.user.ufs.block.read.location.policy.deterministic.hash.shards | 1 | 当alluxio.user.ufs.block.read.location.policy设为alluxio.client.block.policy.DeterministicHashPolicy,这设定了hash shards的数量。 |
alluxio.user.worker.list.refresh.interval | 2min |
集群管理配置项
如果使用诸如Mesos和YARN的集群管理器运行Alluxio,还有额外的配置项。
安全性配置项
安全性配置项指定了安全性相关的信息,如安全认证和文件权限。 安全认证相关的配置同时适用于master、worker和用户。 文件权限相关的配置只对master起作用。 更多安全性相关的信息详见系统安全文档。