2020-06-05 11:23发布
Flume将数据表示为事件，事件是非常简单的数据结构，具有一个主体和一个报头集合，事件的主体是一个字节数组，通常是是Flume传送过来的负载，抱头被标记为一个map，其中有字符串key和字符串value。报头并不是用来传输数据的，只是为了路由和标记事件的优先级。报头也可以用来给事件增加ID或者UUID。
每个事件本质上必须是一个独立的记录，而不是记录的一部分，这也就要求每个事件要适应Flume Agent JVM的内存。而如果使用File Channel，应该有足够的硬盘空间来支持，如果数据不能表示为多个记录，那么Flume可能不太适合这种场景。
Flume真正适合做的是实时推送事件，尤其是在数据流是持续的且量级很大的情况，否则没必要采用Flume增加系统的复杂度。
Flume中最简单的部署单元是Flume Agent，Agent是一个Java应用程序，接受并生产数据并缓存数据，直至最终写入到其他Agent中或者是存储系统中。
最多设置5个标签!
{var%20f='http://v.t.sina.com.cn/share/share.php?appkey=1515056452',u=z||d.location,p=['&url=',e(u),'&title=',e(t||d.title),'&source=',e(r),'&sourceUrl=',e(l),'&content=',c||'gb2312','&pic=',e(p||'')].join('');function%20a(){if(!window.open([f,p].join(''),'mb',['toolbar=0,status=0,resizable=1,width=440,height=430,left=',(s.width-440)/2,',top=',(s.height-430)/2].join('')))u.href=[f,p].join('');};if(/Firefox/.test(navigator.userAgent))setTimeout(a,0);else%20a();})(screen,document,encodeURIComponent,'','','/static/images/logo.png', '推荐 记忆里的东关 的问题《Flume中agent是干什么的，有什么作用》','http://www.shouhuola.com/answer/17384/141590.html','页面编码gb2312|utf-8默认gb2312'));){kind=link}
Flume将数据表示为事件，事件是非常简单的数据结构，具有一个主体和一个报头集合，事件的主体是一个字节数组，通常是是Flume传送过来的负载，抱头被标记为一个map，其中有字符串key和字符串value。报头并不是用来传输数据的，只是为了路由和标记事件的优先级。报头也可以用来给事件增加ID或者UUID。
每个事件本质上必须是一个独立的记录，而不是记录的一部分，这也就要求每个事件要适应Flume Agent JVM的内存。而如果使用File Channel，应该有足够的硬盘空间来支持，如果数据不能表示为多个记录，那么Flume可能不太适合这种场景。
Flume真正适合做的是实时推送事件，尤其是在数据流是持续的且量级很大的情况，否则没必要采用Flume增加系统的复杂度。
Flume中最简单的部署单元是Flume Agent，Agent是一个Java应用程序，接受并生产数据并缓存数据，直至最终写入到其他Agent中或者是存储系统中。
一周热门 更多>