首页 2014年3月

2014年3月

  • storm安装过程

    storm安装过程

    storm的官方安装说明:https://github.com/nathanmarz/storm/wiki/Setting-up-a-Storm-cluster 本文主要介绍storm的单机版的安装测试,也是学习阶段,还没有机会搭建集群。 1.storm安装软件包列表: python、zookeeper、zeromq、jzmq、storm sudo apt-get install autoconf automake libtool sudo apt-get install build-e...

    未命名 2014-03-30 12 0 sqlite
  • Hadoop2.3.0源码编译过程记录

    Hadoop2.3.0源码编译过程记录

        要在hadoop上作一个mr程序,做一些统计工作。但是发现官网下载的2.3的库只有32位的,而我的机器系统都是64位的。用g++直接指定编译32位的程序又发现头文件依赖有问题,没法编译通过。所以就只能编译hadoop,编译后在服务上启动64位程序,再编译mr程序进行工作。下面是编译的过程和其中遇到的一些问题。 编译文件准备: protobuf-2.5.0.tar.gz findbugs-2.0.3-source.zip gcc, build-essential, libssl-dev...

    storm 2014-03-28 15 0
  • hadoop2.3单机搭建

    hadoop2.3单机搭建

       没事整理了之前搭建hadoop的过程,这里使用了最新的hadoop版本,想在单机上做一些测试,顺手也就整理了一下这个文档。 一、准备环境 1.Hadoop是用Java开发的,必须要安装JDK1.6或更高版本 apt-get install openjdk-6-jdk 2.Hadoop是通过SSH来启动slave主机中的守护进程,必须安装OpenSSH apt-get install openssh-server 3.Hadoop更新比较快,我们采用最新版hadoop2.3...

    storm 2014-03-23 16 0
  • 配置SSH无密码登录问题解决记录

    配置SSH无密码登录问题解决记录

    在本地测试搭建hadoop玩以下,不想在ssh配置上栽了了,记录以下过程和处理方式: hadoop@debian:~$ ssh-keygen -t rsa  #一直回车生成 hadoop@debian:~$ cd hadoop@debian:~$ cd .ssh/ hadoop@debian:~/.ssh$ ls id_rsa  id_rsa.pub hadoop@debian:~/.ssh$ cat id_rsa.pub >> authorized_keys hadoop@debian:...

    linux 应用 2014-03-23 8 0
1