kernel

【转载】从Hadoop到Spark的架构实践

helight | 5900字 | 阅读大约需要12分钟 | 归档于Spark

2015年9月29日

当下,Spark已经在国内得到了广泛的认可和支持:2014年,Spark Summit China在北京召开,场面火爆;同年,Spark Meetup在北京、上海、深圳和杭州四个城市举办,其中仅北京就成功举办了5次,内容更涵盖Spark Core、Spark Streaming、Spark MLlib、Spark SQL等众多领域。而作为较早关注和引入Spark的移动互联网大数据综合服务公司,TalkingData也积极地参与到国内Spark社区的各种活动,并多次在Meetup中分享公司的Spark使用经验。本文则主要介绍TalkingData在大数据平台建设过程中,逐渐引入Spark,并且以Hadoop YARN和Spark为基础来构建移动大数据平台的过程。

继续阅读

linux的io栈图

helight | 100字 | 阅读大约需要1分钟 | 归档于kernel

2014年5月6日

G+上看到有人画的一个图,非常不错

继续阅读

liunx系统分析图解

helight | 100字 | 阅读大约需要0分钟 | 归档于kernel

2014年4月11日

继续阅读

内核补丁制作与提交

helight | 1800字 | 阅读大约需要4分钟 | 归档于kernel

2014年4月6日

作者:许振文

内核源码下载

内核代码的管理是采用的git来管理的,所以要下载内核最新的代码的话就得使用git工具来下载了。git工具的使用我在上一篇文章中已经写了个大概,所以具体可以参考其中的使用说明。 一般测试可以下载部分或是全部的源代码,我们一般会下载Linus Torvalds的git树下的源码。URL如下:

继续阅读

线程种的gettid和pthread_self区别

helight | 1000字 | 阅读大约需要2分钟 | 归档于kernel

2013年4月22日

这几天写程序老是使用thread来做,所以自己封装了一个threadbase的类来做简单的测试使用,但是在写的过程种发现又两个获取线程id的函数:pthread_self和gettid,那这两个函数有什么区别呢?

看gettid的man,这样写道:

继续阅读

内核又拒绝挂载fat32的磁盘了,报codepage cp437 not found

helight | 500字 | 阅读大约需要1分钟 | 归档于kernel

2011年8月11日

前几天从新编译了内核,是应为升级了内核后vbox不能用了,所以又从新编译了内核,并且安装编译了vbox的内核模块,但是也出了问题,在每次shutdown的时候机器总是无法断点,磁盘灯不再亮,说明磁盘也不写了,只是一个锁灯在不断的闪,看了messages总的日志看到这样两句:

继续阅读

再编译内核

helight | 400字 | 阅读大约需要1分钟 | 归档于kernel

2010年12月28日

昨天下了内2.6.36的内核,今晚没事,想编译看看,顺便做个记录! 首先要安装必要的包。 包有:libncurses5-dev(menuconf

继续阅读

内核学习

helight | 500字 | 阅读大约需要1分钟 | 归档于kernel

2010年12月25日

来公司之后就没有怎么好好学习内核方面的东西了,也就是是在师妹们问起的时候查查源码或是搜索一下解答一下。本以为我会在内核这条路上越走越远。。。

在公司的一个交流会上,由于发言太过积极被奖励了一张当当的购书卡,回来之后直接上当当就买了本ULK,再此捧起内核的书来看,来学习,现在每天晚上回来看上半小时到一小时,让后睡觉,呵呵,有种踏实的感觉。  

继续阅读

内核补丁制作与提交

helight | 2300字 | 阅读大约需要5分钟 | 归档于programming

2010年7月18日

内核补丁制作与提交

继续阅读

软件的灰度发布

helight | 500字 | 阅读大约需要1分钟 | 归档于kernel

2010年6月22日

最近一段时间都是在搞我负责的部门数据接口的转换,所以最近一段时间连续升级了自己管理的几个小系统的数据接口。部门服务器的端口是要严格控制的,所以首先也要在我们自己的服务器上去做监控,一旦发现立杀无赦。在端口监控这个项目上是一个C/S的结构,服务器保存规则,客户断请求,但是这些都是线上服务一旦切换错了,那问题可就。。。。

继续阅读

在内核模块中直接发送数据到网卡

helight | 700字 | 阅读大约需要2分钟 | 归档于kernel

2010年4月8日

前几天去了一个公司再做什么音频会议系统,他们买了一个音频处理芯片,但是这个芯片和cpu的接口比较奇怪!atm的接口,但是却没有遵循atm的协

继续阅读

OOM-killer

helight | 200字 | 阅读大约需要1分钟 | 归档于kernel

2010年3月23日

Out-of-Memory (OOM) Killer是一种保护机制,用于当内存严重不足时,为了系统的继续运转,内核迫不得已挑选一个进程,将其杀死,以释放内存,缓解内存不足的问题。可以看出这种方式对进程的保护是有限的,不能完全的保护进程的运行。 OOM Killer的关闭与激活方式:

继续阅读

整理了两张linux网络分析的图

helight | 100字 | 阅读大约需要1分钟 | 归档于kernel

2009年11月24日

整理了两张linux网络分析的图 这里看大图 这里看大图

继续阅读

内核中ipv4分析---协议族的初始化

helight | 800字 | 阅读大约需要2分钟 | 归档于kernel

2009年11月11日

在内核中ipv4的初始化工作是由这个函数来做的。

继续阅读

ipv4内核初始化相关

helight | 1000字 | 阅读大约需要2分钟 | 归档于kernel

2009年11月3日

所在文件: net/ipv4/af_inet.c 初始化函数定义:

继续阅读