Mar 30 2017

idea提交storm任务,集群运行

作者:MangoCool  |  分类:软件技术  |  来源:MangoCool

storm程序开发好之后,本地测试通过,需要到集群环境下测试,每次都得打包上传服务器,相当的麻烦,想成为一个优秀的程序员,必须学会偷懒,于是有了以下代码。

Mar 25 2017

KeeperErrorCode = NoNode for /brokers/topics/test_topic/partitions

作者:MangoCool  |  分类:软件技术  |  来源:MangoCool

启动storm程序,报错:KeeperErrorCode = NoNode for /brokers/topics/test_topic/partitions

Mar 24 2017

Kafka简单应用示例

作者:MangoCool  |  分类:软件技术  |  来源:MangoCool

Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。 这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop的一样的日志数据和离线分析系统,但又要求实时处理的限制,这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理,也是为了通过集群来提供实时的消费。

Mar 24 2017

java.lang.IllegalArgumentException: message does not exist

作者:MangoCool  |  分类:软件技术  |  来源:MangoCool

storm将处理后的数据写入kafka,出现报错:java.lang.IllegalArgumentException: message does not exist。

Mar 23 2017

java.lang.RuntimeException: Found multiple defaults.yaml resources. You're probably bundling the Storm jars with your topology jar.

作者:MangoCool  |  分类:软件技术  |  来源:MangoCool

在storm项目中,打好jar包,到集群环境下运行,出现报错:java.lang.RuntimeException: Found multiple defaults.yaml resources. You're probably bundling the Storm jars with your topology jar.

Mar 02 2017

IDEA配置maven(配置阿里云中央仓库)

作者:MangoCool  |  分类:软件技术  |  来源:MangoCool

idea配置maven后,因为在国内访问,速度很慢,甚至没法下载依赖,于是决定使用国内的中央仓库,经查找开源中国,阿里云等都有,我这里使用阿里云的。

众里寻他
神头条
热心公益
强烈推荐,九折推荐码:6WNH6P
  • 服务器只买阿里云

关于我

一个喜欢唱歌,热衷旅行,爱好电子产品的码农。没事,跟三五好友吼上几嗓子,约上几个背着行囊去露营或者宅在家里抱着孩子敲代码。

座右铭:当你的才华还撑不起你的野心的时候,你就应该静下心来学习,永不止步!

            人生之旅历途甚长,所争决不在一年半月,万不可因此着急失望,招精神之萎葸。


Copyright 芒果酷(mangocool.com) All rights reserved. 湘ICP备14019394号

免责声明:本网站部分文章转载其他媒体,意在为公众提供免费服务。如有信息侵犯了您的权益,可与本网站联系,本网站将尽快予以撤除。