Flink状态Checkpoints检查点设置
概述
Checkpoint通过允许从状态和相应流的位置进行恢复,从而使Flink中的状态具备容错能力,从而使应用程序具有与无故障执行相同的语义。
为你的程序如何开启和配置checkpoint见 Checkpointing for how to enable and configure checkpoints for your program.
Externalized Checkpoints
默认情况下,checkpoint不是持久化的,只用于从故障中恢复作业。当程序被取消时,它们会被删除。但是你可以配置checkpoint被周期性持久化到外部,类似于savepoints 。这些外部的checkpoints将它们的元数据输出到外部持久化存储并且当作业失败时不会自动清除。这样,如果你的工作失败了,你就会有一个checkpoint来恢复。
-
CheckpointConfig config = env.getCheckpointConfig();
-
config.enableExternalizedCheckpoints(ExternalizedCheckpointCleanup.RETAIN_ON_CANCELLATION);
-
ExternalizedCheckpointCleanup
模式配置当你取消作业时外部checkpoint会产生什么行为:
-
ExternalizedCheckpointCleanup.RETAIN_ON_CANCELLATION
: 当作业被取消时,保留外部的checkpoint。注意,在此情况下,您必须手动清理checkpoint状态。 -
ExternalizedCheckpointCleanup.DELETE_ON_CANCELLATION
: 当作业被取消时,删除外部化的checkpoint。只有当作业失败时,检查点状态才可用。
目录结构
类似于savepoints, 一个外部的checkpoint由一个元数据文件和一些额外的数据文件(依赖于状态后端)组成。外部的checkpoint的元数据文件的目标目录由配置state.checkpoints.dir
决定,当前只能通过配置文件设值。
-
state.checkpoints.dir: hdfs:///checkpoints/
-
这个目录包含恢复checkpoint所需要的checkpoint元数据。对于 MemoryStateBackend
,它的元数据文件是自包含的,不需要更多的文件。
FsStateBackend
和 RocksDBStateBackend
写独立的数据文件,只将这些文件的目录写入到元数据文件中。这些数据文件存储在构建作业时为状态后端指定的路径中。
-
env.setStateBackend(new RocksDBStateBackend("hdfs:///checkpoints-data/");
-
与Savepoints的差异
外部的checkpoints与savepoints有一些差异。 它们
- 使用状态后端特定的(low-level)的数据格式,
- 可能是增量的,
- 不支持Flink特定的功能,例如rescaling
从一个外部的checkpoint恢复
一个作业就像从一个savepoint一样,可能会通过使用checkpoint的元数据文件,从一个外部的checkpoint恢复。注意,如果元数据文件不是自包含的,jobmanager需要访问它引用的元数据文件。
$ bin/flink run -s :checkpointMetaDataPath [:runArgs]
这篇好文章是转载于:学新通技术网
- 版权申明: 本站部分内容来自互联网,仅供学习及演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,请提供相关证据及您的身份证明,我们将在收到邮件后48小时内删除。
- 本站站名: 学新通技术网
- 本文地址: /boutique/detail/tanhgcgijf
-
photoshop保存的图片太大微信发不了怎么办
PHP中文网 06-15 -
Android 11 保存文件到外部存储,并分享文件
Luke 10-12 -
《学习通》视频自动暂停处理方法
HelloWorld317 07-05 -
word里面弄一个表格后上面的标题会跑到下面怎么办
PHP中文网 06-20 -
photoshop扩展功能面板显示灰色怎么办
PHP中文网 06-14 -
微信公众号没有声音提示怎么办
PHP中文网 03-31 -
excel下划线不显示怎么办
PHP中文网 06-23 -
excel打印预览压线压字怎么办
PHP中文网 06-22 -
怎样阻止微信小程序自动打开
PHP中文网 06-13 -
TikTok加速器哪个好免费的TK加速器推荐
TK小达人 10-01