flume 写入多分区kafka时，出现数据不均情况

2017-05-23 16:32:53   作者：MangoCool   来源：MangoCool

在storm实时处理中，出现并发spout处理数据不平均的情况，看上去像是数据倾斜了，但实际上是flume写入多分区kafka时数据没有均发。

发现问题：

1、从storm UI Spout Executors中处理的数据量情况判断；

2、查看kafka topic对应的分区目录，所占磁盘大小判断。

解决办法：

给flume配置一个UUID Interceptor即可，配置如下：

#interceptor
a1.sources.r1.interceptors = i2
a1.sources.r1.interceptors.i2.type = org.apache.flume.sink.solr.morphline.UUIDInterceptor$Builder
a1.sources.r1.interceptors.i2.headerName = key
a1.sources.r1.interceptors.i2.preserveExisting = false

注：a1是你配置flume进程名称，r1是flume sources的名称。

参考文章：http://www.jianshu.com/p/6ca0e308b139

标签： storm kafka partition flume 倾斜

分享：

上一篇Linux 命令 rm和rename

下一篇zookeeper配置