第2页

  • Apache Flink 1.6 Documentation: Component Stack

    Apache Flink 1.6 Documentation: Component Stack

    Component Stack 组件栈 作为一个软件栈,Flink是一个分层设计的系统。不同的层基于底层创建,不断提升程序表现的抽象。 运行时层接受JobGraph 形式的程序,一个JobGraph 是一个通用的并行数据流,它具有消费和生产数据流的任意任务。 DataStream的API和DataSet的API都通过独立的编译过程生成JobGraphs。DataSet的API用一个优化程序来确定程序的优化计划,而DataStream的API使用流构建器 根据Flink中各种不同部署...

    未命名 2018-08-14 15 0 kafka
  • Flink Distributed Runtime Environment

    Flink Distributed Runtime Environment

    Flink分布式运行时环境 Tasks and Operator Chains 任务和操作链 Job Managers, Task Managers, Clients 作业管理器,任务管理器,客户端 Task Slots and Resources 任务执行槽和资源 State Backends 转态后端 Savepoints 保存点 Tasks and Operator Chains 任务和操作链 Flink对分布式任务的执行操作,它是把操作子任务链起来放到任务中。每个任务由一个线程来执行。把操作链起来...

    storm 2018-08-13 18 0 kafka
  • Flink Dataflow Programming Model

    Flink Dataflow Programming Model

    Dataflow Programming Model 数据流编程模型 Levels of Abstraction :数据处理层抽象 Programs and Dataflows 编程和数据流 Parallel Dataflows 并行数据流 Windows 窗口 Time 时间 Stateful Operations 带状态的操作 Checkpoints for Fault Tolerance 容错检查点 Batch on Streaming 基于流的批处理 Levels of Abstraction...

    storm 2018-08-09 16 1 kafka
  • golang调度机制学习

    golang调度机制学习

    1.Golang的核心之一gorountine go语言非常重要的一个特性就是gorountine,有了这个东东,就可以很简单的做并发处理程序,比起c++和java的方式来说可以说简单了很多很多。那么gorountine又是一个什么样的东东呢? 从使用上来看它就是一个函数,使用起来有点像thread,但是实际上又不是,thread我们一般说起是指内核中的调度单元,他也是又用户态传递一个函数给thread,再由内核来调度执行,而gorountine是完全用户态的一个东西,而它要想和thread一样被执行那么就需要设...

    linux 应用 2018-05-15 18 0
  • golang的struct和interface

    golang的struct和interface

    struct struct 用来自定义复杂数据结构,可以包含多个字段(属性),可以嵌套;go中的struct类型理解为类,可以定义方法,和函数定义有些许区别;struct类型是值类型。 struct定义 type User struct { Name string Age int32 mess string } var user User var user1 *User = &User{} var user2 *User = new(User)...

    linux 应用 2018-03-22 23 1 go
  • Golang信号处理和如何实现进程的优雅退出

    Golang信号处理和如何实现进程的优雅退出

    Linux系统中的信号类型 各操作系统的信号定义或许有些不同。下面列出了POSIX中定义的信号。 在linux中使用34-64信号用作实时系统中。 命令 man 7 signal 提供了官方的信号介绍。也可以是用kill -l来快速查看 列表中,编号为1 ~ 31的信号为传统UNIX支持的信号,是不可靠信号(非实时的),编号为32 ~ 63的信号是后来扩充的,称做可靠信号(实时信号)。不可靠信号和可靠信号的区别在于前者不支持排队,可能会造成信号丢失,而后者不会。 Linux支持的标准信号有以下一些,一个信...

    linux 应用 2018-03-15 21 0 go
  • Goroutine+Channel+WaitGroup使用

    Goroutine+Channel+WaitGroup使用

    介绍 goroutine golang语言中最有特色之一的东东就是这个goroutine了,很多时候问起别人为什么golang的好用,golang的网络性能可以那么好,一般都会多多少少想到goroutine,提起goroutine。在linux中内核的调度最小单位是就是thread,同一个进程中的多个thread线程就对应内核中的多个thread实体。所以thread是内核级的,而gorountine是一个不同于thread的概念,gorountine是一个用户态,另外一种说法也就携程,是用户态的一种调度粒...

    linux 应用 2018-03-02 19 1 go
  • golang网络编程笔记

    golang网络编程笔记

    网络编程类型 我们一般提到的网络编程类型有两种:tcp和udp,都属于网络传输层协议支持下的协议,而且在目前也是网络编程中最基础的。这其中具体说来有有个socket的概念,tcp和udp都是协议,而socket就是一个具体的实现了,所以有tcp socket和udpsocket。golang是自身就带有网络库的net的,使用非常方便。 同时我这里还会简单介绍一下另外一种协议,用户态的,基于udp的,但是具有tcp的连接回话管理,重传确认等机制-kcp。 网络编程主要的目的是进行通信,所以就会涉及到至少2个...

    linux 应用 2018-02-12 17 1 goudpkcpflink
  • golang的grpc学习笔记2

    golang的grpc学习笔记2

    前言 上一篇文章简单体验了一下grpc的golang使用,从环境安装到简单demo的编写,编译和测试,感觉还不错,今天再进一步学习分析其用法和一些要注意的坑。 grpc介绍 grpc一开始由 google 开发,是一款语言中立、平台中立、开源的远程过程调用(RPC)系统。是一个高性能、开源和通用的 RPC 框架,面向移动和 HTTP/2 设计。目前提供 C、Java 和 Go 语言版本。而且gRPC 基于 HTTP/2 标准设计,带来诸如双向流、流控、头部压缩、单 TCP 连接上的多复用请求等特。这些特性使...

    linux 应用 2018-02-07 10 1
  • golang grpc简单使用

    golang grpc简单使用

    gRPC是一个高性能、通用的开源RPC框架,基于ProtoBuf(Protocol Buffers)序列化协议开发,且支持众多开发语言。 1、相关包安装 1)protobuf 在下面的链接下载之后源码安装, https://github.com/google/protobuf 安装过程也比较简单: ./autogen.sh ./configure ./make && make install 就可以安装好。 2)安装protoc的golang插件 设置好go...

  • 在Debian 9 安装Docker和Docker基本使用方法

    在Debian 9 安装Docker和Docker基本使用方法

    一 安装步骤 1)先清除以前的版本 sudo apt-get -y remove docker docker-engine docker.io Contents such as volumes, images, and networks under /var/lib/docker/ directory are preserved. 2)更新源,并安装https的支持 sudo apt-get update sudo apt-get install -y apt-transport-https ca-cer...

    未命名 2018-02-06 26 3 sidmaven
  • helight.info域名启用

    helight.info域名启用

    纠结了好久,终于定了,启用了helight.info这个域名,同时还申请了helight.cn,helight.com的域名已经被人注册了,还是一个黑科技公司,看产品就很奇怪。 这几天已经配置把helight.info配置ok了,整个网站都切换了,zhwen.org还会继续使用,欢迎大家浏览。...

    linux 应用 2018-01-29 14 1
  • 微信小程序开发体验

    微信小程序开发体验

        一直在想怎么做一个小程序,当然是一个有用的小程序,前天突然想到可以做一个小程序,把我的blog的内容拉去下来,并且在里面可以展示,给自己的blog增加一个移动端的入口,而且可以在每篇文章后面放一个打赏码。自己想着还是挺好的, 所以昨天注册了一个小程序“黑光技术”,现在申请还是比较方便的,不太好的一点就是要每次申请都要用一个不同的邮箱地址,我是用QQ邮箱的域名邮箱来做的,都是一个邮箱,每次申请就增加一个别名。     做一个这样的一个小程序需要几个方面的配合:     1)第一步就是申请一个小程序  ...

    生活 2018-01-25 13 1 wordpressmusic
  • golang的httpserver优雅重启

    golang的httpserver优雅重启

    去年在做golangserver的时候,内部比较头疼的就是在线服务发布的时候,大量用户的请求在发布时候会被重连,在那时候也想了n多的方法,最后还是落在一个github上的项目,facebook的一个golang项目grace,那时候简单研究测试了一下可以就直接在内部使用了起来,这段时间突然想起来,又想仔细研究一下这个项目了。 从原理上来说是这样一个过程: 1)发布新的bin文件去覆盖老的bin文件 2)发送一个信号量,告诉正在运行的进程,进行重启 3)正在运行的进程收到信...

    linux 应用 2018-01-24 16 1 gogrpc
  • nginx+php站点配置https

    nginx+php站点配置https

        今天准备搞一个小程序测试一下,结果发现如果要链接我的站点,那就必须要站点支持https。所以就顺便鼓捣一下把站点升级一下,增加https的访问支持。     首先解决的就是证书问题,一个个人blog就没有必要买证书了,发现证书老贵老贵的。所以找了找免费证书,最后发现腾讯云提供的还是比较好的,很方便申请,这里https://buy.cloud.tencent.com/ssl 直接选择免费证书,输入自己的域名就可以申请了,再按照他的流程就可以生效了,最后下载下来就可以用了。阿里云说是有,但是我的申请界面没有看...

    生活 2018-01-24 30 0 apachecrontab2pc
  • lex和yacc 学习笔记

    lex和yacc 学习笔记

        前一段时间在项目中要使用一个规则表达式计算的功能,而且想可以任意扩展计算功能,比如计算AUB,A和B都表示一个号码包,计算并集,当然实际使用的公式会更为复杂,这里举例说明。在计算时候要判断如果A包已经计算ok了就可以使用A包,如果没有计算成功就需要发起计算并且等待计算成功,B包也是要同样的处理过程,最后再计算并集。当然这样一个功能自己定义写肯定是没问题的,但是还要想到后面的扩展性和程序代码可移交等问题,还是想有一个通用的方法来解决,所以在最后想到了使用yacc和lex来组织解决。实际上后来发现用yacc和l...

  • 如何使用Swagger编写API文档

    如何使用Swagger编写API文档

        最近在梳理内部系统的架构设计,而且前端时间也在kindle上看了一些国外开发在API的架构设计上的一些思考。所以就想着我们内部系统的api也应该梳理梳理了。     目前内部使用golang开发是重头,基本上的服务和调度都是使用golang来开发,而且内部模块之间的调用都是http的接口。而且目前golang1.8已经默认支持了http2的协议,在效率上以前顾虑的问题,现在都有所缓解,所以把这块的梳理重点放在了http接口的梳理上。     重点看了soap,json-rpc,restfull。在梳...

    linux 应用 2018-01-19 17 1 lex

搜索

«   2019年8月   »
1234
567891011
12131415161718
19202122232425
262728293031
  • 订阅本站的 RSS 2.0 新闻聚合

控制面板

您好,欢迎到访网站!
  查看权限