首页 storm

storm

  • 自2013到2019年大数据领域发生了什么变化

    自2013到2019年大数据领域发生了什么变化

    What changed in the Big data landscape from 2013 to 2019 自2013到2019年大数据领域发生了什么变化 作者:Abbass Marouni 翻译:helight 原文地址:https://blog.marouni.fr/bidata-trends-analysis/ 译者序 在网上看到这篇文章之后发现还挺有意思,文章也算比较简短,就试着联系了一下作者说:我想把他翻译成中文,不做商业用途只是练习和技术布道。作者的回应也非常快,当晚就给我回复,所以就...

    storm 2019-02-14 271 0 stormkafkafaas
  • 使用Spark分析网站日志

    使用Spark分析网站日志

    郁闷从昨天开始个人网站不断的发出告警504错误,登录机器看了一下是php-fpm报错,这个错误重启php-fpm后,几个小时就告警,快一年了都没什么问题,奇怪 [28-Sep-2016 11:53:19] NOTICE: ready to handle connections [28-Sep-2016 11:53:19] NOTICE: systemd monitor interval set to 10000ms [28-Sep-2016 11:53:26] WARNING: [pool www] s...

    未命名 2016-09-29 100 0 xgcomcrontab2pcstorm
  • Spark分区器HashPartitioner详解和扩展

    Spark分区器HashPartitioner详解和扩展

    在Spark中,存在两类分区函数:HashPartitioner和RangePartitioner,它们都是继承自Partitioner,主要提供了每个RDD有几个分区(numPartitions)以及对于给定的值返回一个分区ID(0~numPartitions-1),也就是决定这个值是属于那个分区的。 1 HashPartitioner分区 HashPartitioner分区的原理很简单,对于给定的key,计算其hashCode,并除于分区的个数取余,如果余数小于0,则用余数+分区的个数,最后返回的值就是这个...

    storm 2015-11-30 113 0 storm
  • 【转载】从Hadoop到Spark的架构实践

    【转载】从Hadoop到Spark的架构实践

    当下,Spark已经在国内得到了广泛的认可和支持:2014年,Spark Summit China在北京召开,场面火爆;同年,Spark Meetup在北京、上海、深圳和杭州四个城市举办,其中仅北京就成功举办了5次,内容更涵盖Spark Core、Spark Streaming、Spark MLlib、Spark SQL等众多领域。而作为较早关注和引入Spark的移动互联网大数据综合服务公司,TalkingData也积极地参与到国内Spark社区的各种活动,并多次在Meetup中分享公司的Spark使用经验。本文则...

    storm 2015-09-29 102 0 kernelstorm
  • spark1.3.1单机安装测试备忘

    spark1.3.1单机安装测试备忘

    1.下载,安装spark和scala: http://spark.apache.org/downloads.html 下载1.3.1的hadoop2.6版本. spark-1.3.1-bin-hadoop2.6.tgz 下载到本地之后直接解压即可: helight@helight-xu:/data/spark$ tar zxf spark-1.3.1-bin-hadoop2.6.tgz http://www.scala-lang.org/download/ 下载scala,2.11.6,也是直接...

    storm 2015-06-09 99 0 kernelstorm
1