首页 2018年8月

2018年8月

  • Apache Flink 1.6 Documentation: Jobs and Scheduling

    Apache Flink 1.6 Documentation: Jobs and Scheduling

    Jobs and Scheduling 作业和调度 这边文档简要的描述了Flink怎么样调度作业和Flink在JobManager中如何表述和跟踪作业。 Scheduling 调度 Flink中的执行资源是通过任务执行槽来确定的。每个TaskManager有一个或者多个任务执行槽,每个可以运行一个并行任务的流水线。每个流水线包含多个连续的任务,像N次的MapFunction的并行实例跟一个ReduceFunction的n次并行实例。注意Flink经常同时执行多个连续的任务:对数据流程序来说都会...

    未命名 2018-08-15 105 0 kafka
  • Apache Flink 1.6 Documentation: Component Stack

    Apache Flink 1.6 Documentation: Component Stack

    Component Stack 组件栈 作为一个软件栈,Flink是一个分层设计的系统。不同的层基于底层创建,不断提升程序表现的抽象。 运行时层接受JobGraph 形式的程序,一个JobGraph 是一个通用的并行数据流,它具有消费和生产数据流的任意任务。 DataStream的API和DataSet的API都通过独立的编译过程生成JobGraphs。DataSet的API用一个优化程序来确定程序的优化计划,而DataStream的API使用流构建器 根据Flink中各种不同部署...

    未命名 2018-08-14 71 0 kafka
  • Flink Distributed Runtime Environment

    Flink Distributed Runtime Environment

    Flink分布式运行时环境 Tasks and Operator Chains 任务和操作链 Job Managers, Task Managers, Clients 作业管理器,任务管理器,客户端 Task Slots and Resources 任务执行槽和资源 State Backends 转态后端 Savepoints 保存点 Tasks and Operator Chains 任务和操作链 Flink对分布式任务的执行操作,它是把操作子任务链起来放到任务中。每个任务由一个线程来执行。把操作链起来...

    storm 2018-08-13 89 0 kafka
  • Flink Dataflow Programming Model

    Flink Dataflow Programming Model

    Dataflow Programming Model 数据流编程模型 Levels of Abstraction :数据处理层抽象 Programs and Dataflows 编程和数据流 Parallel Dataflows 并行数据流 Windows 窗口 Time 时间 Stateful Operations 带状态的操作 Checkpoints for Fault Tolerance 容错检查点 Batch on Streaming 基于流的批处理 Levels of Abstraction...

    storm 2018-08-09 97 1 kafka
1