2020-08-05 08:54发布
flink中侧输出流和split有什么区别？
在 flink 处理数据流时，我们经常会遇到这样的情况：在处理一个数据源时，往往需要将该源中的不同类型的数据做分割处理，如果使用 filter 算子对数据源进行筛选分割的话，势必会造成数据流的多次复制，造成不必要的性能浪费;flink 中的侧输出就是将数据流进行分割，而不对流进行复制的一种分流机制。flink 的侧输出的另一个作用就是对延时迟到的数据进行处理，这样就可以不必丢弃迟到的数据。
plit - 拆分文件拆分文件
# 每个文件的行数为1000行
split -l 1000 test.txt
# 将test文件拆分，20M一个文件
split -b 20M test.txt
test文件拆分，并且文件名依次为 [前缀]aa, [前缀]ab, [前缀]ac等，默认的前缀是X
(使用-d选项可以指定后缀为数字，如00,01,02..，而不是aa,ab,ac。)
最多设置5个标签!
{var%20f='http://v.t.sina.com.cn/share/share.php?appkey=1515056452',u=z||d.location,p=['&url=',e(u),'&title=',e(t||d.title),'&source=',e(r),'&sourceUrl=',e(l),'&content=',c||'gb2312','&pic=',e(p||'')].join('');function%20a(){if(!window.open([f,p].join(''),'mb',['toolbar=0,status=0,resizable=1,width=440,height=430,left=',(s.width-440)/2,',top=',(s.height-430)/2].join('')))u.href=[f,p].join('');};if(/Firefox/.test(navigator.userAgent))setTimeout(a,0);else%20a();})(screen,document,encodeURIComponent,'','','/static/images/logo.png', '推荐 十一郎 的问题《flink中侧输出流和split有什么区别？》','http://www.shouhuola.com/answer/26339/142070.html','页面编码gb2312|utf-8默认gb2312'));){kind=link}
在 flink 处理数据流时，我们经常会遇到这样的情况：在处理一个数据源时，往往需要将该源中的不同类型的数据做分割处理，如果使用 filter 算子对数据源进行筛选分割的话，势必会造成数据流的多次复制，造成不必要的性能浪费;flink 中的侧输出就是将数据流进行分割，而不对流进行复制的一种分流机制。flink 的侧输出的另一个作用就是对延时迟到的数据进行处理，这样就可以不必丢弃迟到的数据。
plit - 拆分文件拆分文件
# 每个文件的行数为1000行
split -l 1000 test.txt
# 将test文件拆分，20M一个文件
split -b 20M test.txt
test文件拆分，并且文件名依次为 [前缀]aa, [前缀]ab, [前缀]ac等，默认的前缀是X
(使用-d选项可以指定后缀为数字，如00,01,02..，而不是aa,ab,ac。)
一周热门 更多>