首页 kafka

kafka

  • 自2013到2019年大数据领域发生了什么变化

    自2013到2019年大数据领域发生了什么变化

    What changed in the Big data landscape from 2013 to 2019 自2013到2019年大数据领域发生了什么变化 作者:Abbass Marouni 翻译:helight 原文地址:https://blog.marouni.fr/bidata-trends-analysis/ 译者序 在网上看到这篇文章之后发现还挺有意思,文章也算比较简短,就试着联系了一下作者说:我想把他翻译成中文,不做商业用途只是练习和技术布道。作者的回应也非常快,当晚就给我回复,所以就...

    storm 2019-02-14 271 0 stormkafkafaas
  • Apache Flink 1.6 Documentation: Jobs and Scheduling

    Apache Flink 1.6 Documentation: Jobs and Scheduling

    Jobs and Scheduling 作业和调度 这边文档简要的描述了Flink怎么样调度作业和Flink在JobManager中如何表述和跟踪作业。 Scheduling 调度 Flink中的执行资源是通过任务执行槽来确定的。每个TaskManager有一个或者多个任务执行槽,每个可以运行一个并行任务的流水线。每个流水线包含多个连续的任务,像N次的MapFunction的并行实例跟一个ReduceFunction的n次并行实例。注意Flink经常同时执行多个连续的任务:对数据流程序来说都会...

    未命名 2018-08-15 172 0 kafka
  • Apache Flink 1.6 Documentation: Component Stack

    Apache Flink 1.6 Documentation: Component Stack

    Component Stack 组件栈 作为一个软件栈,Flink是一个分层设计的系统。不同的层基于底层创建,不断提升程序表现的抽象。 运行时层接受JobGraph 形式的程序,一个JobGraph 是一个通用的并行数据流,它具有消费和生产数据流的任意任务。 DataStream的API和DataSet的API都通过独立的编译过程生成JobGraphs。DataSet的API用一个优化程序来确定程序的优化计划,而DataStream的API使用流构建器 根据Flink中各种不同部署...

    未命名 2018-08-14 120 0 kafka
  • Flink Distributed Runtime Environment

    Flink Distributed Runtime Environment

    Flink分布式运行时环境 Tasks and Operator Chains 任务和操作链 Job Managers, Task Managers, Clients 作业管理器,任务管理器,客户端 Task Slots and Resources 任务执行槽和资源 State Backends 转态后端 Savepoints 保存点 Tasks and Operator Chains 任务和操作链 Flink对分布式任务的执行操作,它是把操作子任务链起来放到任务中。每个任务由一个线程来执行。把操作链起来...

    storm 2018-08-13 159 0 kafka
  • Flink Dataflow Programming Model

    Flink Dataflow Programming Model

    Dataflow Programming Model 数据流编程模型 Levels of Abstraction :数据处理层抽象 Programs and Dataflows 编程和数据流 Parallel Dataflows 并行数据流 Windows 窗口 Time 时间 Stateful Operations 带状态的操作 Checkpoints for Fault Tolerance 容错检查点 Batch on Streaming 基于流的批处理 Levels of Abstraction...

    storm 2018-08-09 177 1 kafka
1