admin管理员组

文章数量:1130349

Flink之Checkpoint

Flink CheckPoint

  • Checkpoint
    • 1，checkpointConfig
    • 2，barrier
    • 3，如何触发checkpoint？
      • 3.2 异步储存快照

Checkpoint

Flink 容错机制的核心就是持续创建分布式数据流及其状态的一致快照。Flink的checkpoint 是通过分布式快照实现的,所以在flink中这两个词是一个意思。

  • checkpoint用来保证任务的错误恢复。任务失败可以从最新的checkpoint恢复。
  • checkpoint机制需要一个可靠的可以回放数据的数据源(kafka,RabbitMQ,HDFS…)和一个存放state的持久存储（HDFS,S3…）。

1，checkpointConfig

  • 通过调用StreamExecutionEnvironment.enableCheckpointing(internal，mode)启用checkpoint。 internal默认是-1，表示checkpoint不开启，mode默认是EXACTLY_ONCE模式。

  • 可设置checkpoint timeout,超过这个时间checkpoint没

Flink之Checkpoint

Flink CheckPoint

  • Checkpoint
    • 1，checkpointConfig
    • 2，barrier
    • 3，如何触发checkpoint？
      • 3.2 异步储存快照

Checkpoint

Flink 容错机制的核心就是持续创建分布式数据流及其状态的一致快照。Flink的checkpoint 是通过分布式快照实现的,所以在flink中这两个词是一个意思。

  • checkpoint用来保证任务的错误恢复。任务失败可以从最新的checkpoint恢复。
  • checkpoint机制需要一个可靠的可以回放数据的数据源(kafka,RabbitMQ,HDFS…)和一个存放state的持久存储（HDFS,S3…）。

1，checkpointConfig

  • 通过调用StreamExecutionEnvironment.enableCheckpointing(internal，mode)启用checkpoint。 internal默认是-1，表示checkpoint不开启，mode默认是EXACTLY_ONCE模式。

  • 可设置checkpoint timeout,超过这个时间checkpoint没

本文标签： Flink之Checkpoint

版权声明：本文标题：Flink之Checkpoint 内容由热心网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：https://it.en369.cn/IT/1694684952a255047.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。