Flume】【大数据基础】flume启动命令如何设置

2021-01-28 20:59发布

4条回答
不吃鱼的猫
2楼 · 2021-01-29 09:34

bin/flume-ng agent \ --conf ./conf/ \ -f conf/file_memory_avro.conf  \ -Dflume.root.logger=DEBUG,console \ -n agent1

小磊子
3楼 · 2021-01-29 10:17
root@ubuntu:/home/wutao# flume-ng --help
Error: Unknown or unspecified command '--help'

Usage: /usr/tools/flume/bin/flume-ng  [options]...

commands:
  help                      display this help text
  agent                     run a Flume agent
  avro-client               run an avro Flume client
  version                   show Flume version info

global options:
  --conf,-c           use configs in  directory
  --classpath,-C        append to the classpath
  --dryrun,-d               do not actually start Flume, just print the command
  --plugins-path      colon-separated list of plugins.d directories. See the
                            plugins.d section in the user guide for more details.
                            Default: $FLUME_HOME/plugins.d
  -Dproperty=value          sets a Java system property value
  -Xproperty=value          sets a Java -X option

agent options:
  --name,-n           the name of this agent (required)
  --conf-file,-f      specify a config file (required if -z missing)
  --zkConnString,-z    specify the ZooKeeper connection to use (required if -f missing)
  --zkBasePath,-p     specify the base path in ZooKeeper for agent configs
  --no-reload-conf          do not reload config file if changed
  --help,-h                 display help text

avro-client options:
  --rpcProps,-P    RPC client properties file with server connection params
  --host,-H        hostname to which events will be sent
  --port,-p        port of the avro source
  --dirname         directory to stream to avro source
  --filename,-F    text file to stream to avro source (default: std input)
  --headerFile,-R  File containing event headers as key/value pairs on each new line
  --help,-h              display help text

  Either --rpcProps or both --host and --port must be specified.

Note that if  directory is specified, then it is always included first
in the classpath.

root@ubuntu:/home/wutao# 
root@ubuntu:/home/wutao# flume-ng --help
Error: Unknown or unspecified command '--help'

Usage: /usr/tools/flume/bin/flume-ng  [options]...

commands:
  help                      display this help text
  agent                     run a Flume agent
  avro-client               run an avro Flume client
  version                   show Flume version info

global options:
  --conf,-c           use configs in  directory
  --classpath,-C        append to the classpath
  --dryrun,-d               do not actually start Flume, just print the command
  --plugins-path      colon-separated list of plugins.d directories. See the
                            plugins.d section in the user guide for more details.
                            Default: $FLUME_HOME/plugins.d
  -Dproperty=value          sets a Java system property value
  -Xproperty=value          sets a Java -X option

agent options:
  --name,-n           the name of this agent (required)
  --conf-file,-f      specify a config file (required if -z missing)
  --zkConnString,-z    specify the ZooKeeper connection to use (required if -f missing)
  --zkBasePath,-p     specify the base path in ZooKeeper for agent configs
  --no-reload-conf          do not reload config file if changed
  --help,-h                 display help text

avro-client options:
  --rpcProps,-P    RPC client properties file with server connection params
  --host,-H        hostname to which events will be sent
  --port,-p        port of the avro source
  --dirname         directory to stream to avro source
  --filename,-F    text file to stream to avro source (default: std input)
  --headerFile,-R  File containing event headers as key/value pairs on each new line
  --help,-h              display help text

  Either --rpcProps or both --host and --port must be specified.

Note that if  directory is specified, then it is always included first
in the classpath.


茄子酱
4楼 · 2021-01-29 10:32

如图

image.png


征戰撩四汸
5楼 · 2021-12-20 16:34

启动参数:

  1. [root@bicloud77 bin]# ./flume-ng   

  2. Error: Unknown or unspecified command ''  

  3.   

  4. Usage: ./flume-ng  [options]...  

  5.   

  6. commands:  

  7.   help                  display this help text  

  8.   agent                 run a Flume agent  

  9.   avro-client           run an avro Flume client  

  10.   version               show Flume version info  

  11.   

  12. global options:  

  13.   --conf,-c       use configs in  directory  

  14.   --classpath,-C    append to the classpath  

  15.   --dryrun,-d           do not actually start Flume, just print the command  

  16.   --plugins-path  colon-separated list of plugins.d directories. See the  

  17.                         plugins.d section in the user guide for more details.  

  18.                         Default: $FLUME_HOME/plugins.d  

  19.   -Dproperty=value      sets a Java system property value  

  20.   -Xproperty=value      sets a Java -X option  

  21.   

  22. agent options:  

  23.   --conf-file,-f  specify a config file (required)  

  24.   --name,-n       the name of this agent (required)  

  25.   --help,-h             display help text  

  26.   

  27. avro-client options:  

  28.   --rpcProps,-P    RPC client properties file with server connection params  

  29.   --host,-H        hostname to which events will be sent  

  30.   --port,-p        port of the avro source  

  31.   --dirname 

            directory to stream to avro source  

  32.   --filename,-F    text file to stream to avro source (default: std input)  

  33.   --headerFile,-R  File containing event headers as key/value pairs on each new line  

  34.   --help,-h              display help text  

  35.   

  36.   Either --rpcProps or both --host and --port must be specified.  

  37.   

  38. Note that if  directory is specified, then it is always included first  

  39. in the classpath.  


相关问题推荐

  • 回答 11

    数据库设计的根本目标是要解决A)数据共享问题 B)数据安全问题C)大量数据存储问题 D)简化数据维护一般书上很少这么提,大家在答这个题的时候,可以从数据库的概念上入手,数据库设计的根本目标是要解决应该是共享问题。四个答案可以做一些比较,最好的答案...

  • 回答 7

    概述本篇文章是根据Flume官网对Flume组件(Source,Channel,Sink)的常用配置参数做一个主要介绍,如有表达意思错误希望不吝指出。SourcesFlume中常用的Source有NetCat,Avro,Exec,Spooling Directory,Taildir,也可以根据业务场景的需要自定义Source,具体...

  • 回答 8

    一、什么是flumeFlume是一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。二、flume特点flume的数据流...

  • 回答 17

    flume和kafka的侧重点不同,flume追求的是数据和数据源、数据流向的多样性,适合多个生产者的场景;flume有自己内置的多种source和sink组件,具体操作方式是编写source、channel和sink的.conf配置文件,开启flume组件的时候用命令关联读取配置文件实现kafka追...

  • 回答 4

    Flume的运行原理是:Flume的核心角色为Agent,Flume分布式系统常常是由很多的Agent连接而形成的。Agent内部有三个组件,一是Source采集源,用于跟数据源对接,获取数据。二是Channel通道,Agent内部的数据传输通道,用于从source将数据传递到Sink。三是Sink目...

  • 回答 4

    Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。...

  • 回答 2

    想考计算机相关证书或者想学技术的同学可以抓紧时间啦!双11更多优惠活动详情咨询18597153017(微信同号)

  • 回答 2

    一、Selector(选择器)Selector概述Selector(选择器)可以工作在复制或多路复用(路由) 模式下 。复制模式Selector复制模式-属性说明selector.type replicating 类型名称,默认是 replicatingselector.optional – 标志通道为可选Selector复制模式-案例 #命...

  • 回答 2

    (1)电子商务网站比如我们在做一个电子商务网站,然后我们想从消费用户中访问点特定的节点区域来分析消费者的行为或者购买意图. 这样我们就可以更加快速的将他想要的推送到界面上,实现这一点,我们需要将获取到的她访问的页面以及点击的产品数据等日志数据信...

没有解决我的问题,去提问