使用sawzall开发mr程序虽然很快，不过也有不少限制，尤其对于新手来说，比如不能直接像c++一样调用线程的库，不过它提供了一种扩展开发的方式，我们可以自己修改sawzall代码实现新的功能接口，在下载平台的sawzall代码中，我们就扩展了一种聚合器，两个和我们web相关的功能接口：连接我们的domain service进行聚合域名的识别，根据url进行域名提取。这里以使用我们comm库中的url类进行域名提取为例来说明一下sawzall的功能函数扩展。
海量数据分析：Sawzall并行处理（中文版论文） Google的工程师为了方便内部人员使用MapReduce，研发了一种名为 Sawzall的DSL，同时Hadoop也推出了类似Sawzall的Pig语言，但在语法上面有一定的区别。今天就给大家贴一下Sawall的论文， 值得注意的是其第一作者是UNIX大师之一（Rob Pike）。原文地址，并在这里谢谢译者崮山路上走9遍。
在目前做的元数据节点中，为了保存一些节点的私有数据，选择了本地存储，在选择本地存储的选择上又选择了使用sqlite，sqlite对数据存储和数据解析在使用比较简单。而且编译入当前代码也是比较容易的。
Zhwen Xu(Zhenwen Xu, 许振文 in Chinese), post-graduate student majored in the CS Department of Xi’an University of Post and Telecommunications. My majore is embedded system.
scons是一个python写的用来编译源码的一个工具，类似于make工具，但是支持的语言更多，灵活性更强。
这里来介绍一下scons的使用。下载可以在其官方网站：http://www.scons.org，源码安装就不说了，ubuntu和debian上安装更为方便，直接apt-get install scons就可以了。本文以编译c、c++为例来介绍其使用。
作者：许振文
ROMFS是一种简单的只读文件系统，主要是用来当做初始文件系统来使用的，在嵌入式linux或是uclinux中通常使用这中文件系统来作为引导系统的文件系统，甚至uclinux有时就直接把ROMFS作为其根文件系统，而不是将其作为系统启动中的过渡文件系统。在前面我也分析过，linux操作系统启动中一个是要加载内核，另一个就是要加载一个用于系统简单初始化的文件系统。这个文件系统的格式也是经过了很多发展的。现在一般使用的是一中cpio的格式。在嵌入式系统中一般使用romfs＋其它的可读文件系统。romfs由于它的小巧性（其内核编译只有4000字节），所以非常适合作为系统启动初始化的文件系统。本文就是对ROMFS文件系统进行结构上的分析。前面我也曾对其源代码结构进行了简单的分析。关于ROMFS最为权威的资料是内核源代码树下的“Documentation/filesystems/romfs.txt”。本文多数资料就是来自于该文件。
Copyright (c) 2007 - 2024, helight; all rights reserved.【 粤ICP备15029944号 】
模板来自 Bootstrapious. 移植到 Hugo 来自 DevCows.
