首页 2015年1月

2015年1月

  • zookeeper原理2(转)

    zookeeper原理2(转)

    ZooKeeper 是一个分布式的,开放源码的分布式应用程序协调服务,它包含一个简单的原语集,分布式应用程序可以基于它实现同步服务,配置维护和命名服务等。 Zookeeper是hadoop的一个子项目,其发展历程无需赘述。在分布式应用中,由于工程师不能很好地使用锁机制,以及基于消息的协调机制不适合在 某些应用中使用,因此需要有一种可靠的、可扩展的、分布式的、可配置的协调机制来统一系统的状态。Zookeeper的目的就在于此。本文简单分析 zookeeper的工作原理,对于如何使用zookeeper不是本...

    linux 应用 2015-01-22 63 0 sqlite
  • zookeeper原理

    zookeeper原理

    ZooKeeper是Hadoop Ecosystem中非常重要的组件,它的主要功能是为分布式系统提供一致性协调(Coordination)服务,与之对应的Google的类似服务叫Chubby。 分布式环境中大多数服务是允许部分失败,也允许数据不一致,但有些最基础的服务是需要高可靠性,高一致性的,这些服务是其他分布式服务运转的基础,比如naming service、分布式lock等,这些分布式的基础服务有以下要求: 高可用性 高一致性 高性能 对于这种有些挑战CAP原则 的服务该如何设计,是一个挑战,也是一...

    linux 应用 2015-01-22 60 0 swig
  • docker镜像的创建和下载使用

    docker镜像的创建和下载使用

    首先查看已有的imags。  root@helight-Xu:/data# docker images REPOSITORY TAG IMAGE ID CREATED VIRTUAL SIZE debian latest 4d6ce913b130 3 days ago 84.98 MB ubuntu latest b39b81afc8ca 3 days ago 188.3 MB <none> <none> 8eaa4ff06b53 2 weeks ago 188.3 MB 这个在...

    linux 应用 2015-01-20 53 0 maven
  • docker初体验和使用笔记

    docker初体验和使用笔记

    在ubuntu13.10上体验docker 首先要检测以下你的内核版本 sudo uname -a Linux helight-Xu 3.11.0-26-generic #45-Ubuntu SMP Tue Jul 15 04:02:06 UTC 2014 x86_64 x86_64 x86_64 GNU/Linux 第一次添加Docker的repository到你的本地秘钥库 sudo apt-key adv --keyserver keyserver.ubuntu.com --re...

    linux 应用 2015-01-20 60 0 mavenspark
  • 用户画像数据建模方法(zz)

    用户画像数据建模方法(zz)

      原文:http://blog.baifendian.com/?p=8015 从1991年Tim Berners-Lee发明了万维网(World Wide Web)开始,到20年后2011年,互联网真正走向了一个新的里程碑,进入了“大数据时代”。经历了12、13两年热炒之后,人们逐渐冷静下来,更加聚 焦于如何利用大数据挖掘潜在的商业价值,如何在企业中实实在在的应用大数据技术。伴随着大数据应用的讨论、创新,个性化技术成为了一个重要落地点。相比传 统的线下会员管理、问卷调查、购物篮分析,大数据第一次...

    未命名 2015-01-14 59 0
  • 一种简单的分布式存储系统

    一种简单的分布式存储系统

    三层架构(MetaNodeMonitor+MetaNode+DataNode),核心是下面两层(MetaNode+DataNode),下面两层是可以脱离Monitor独立运行。 Monitor的存在主要是作为一个MetaNode的监控和MetaNode出错时进行切换角色,并且通知DataNode进行切换。 DataNode在获取主MetaNode的Ip后进行本地缓存,不需要主动询问Monitor,而且DataNode还可以主动从任意MetaNode获取主MetaNode的IP信息。 MetaNod...

    未命名 2015-01-12 52 0 java
  • 两阶段提交算法

    两阶段提交算法

    两阶段提交协议是在事务处理、数据库,以及计算机网络中使用的一种原子提交协议(atomic commitment)。它是一个分布式算法,协调在整个分布式原子事务中的参与者的行为(commit或者roll back)。这个协议在一些系统错误发生时仍然能够成功,((两阶段提交协议))但并不能保证对所有错误都能进行容错。为了能做错误恢复,协议的所有参与 者都需要使用日志对协议状态进行记录。 两阶段提交协议中,其中一个节点被设置为coordinator,其他节点设置为cohorts。每个Mutation都会经历两个状态...

    未命名 2015-01-12 76 0 zookerrper
1