rocketMQ如何设置消费线程数

2021-01-13 19:27发布

rocketMQ如何设置消费线程数

rocketMQ如何设置消费线程数

19条回答
小磊子
2楼 · 2021-01-14 10:08
  1. // 一个应用创建一个Consumer,由应用来维护此对象,可以设置为全局对象或者单例,ConsumerGroupName需要由应用来保证唯一

  2. final DefaultMQPushConsumer consumer = new DefaultMQPushConsumer(rocketMQConfig.getConsumerGroup());

  3. consumer.setNamesrvAddr(rocketMQConfig.getNamesrvAddr());

  4. // 订阅指定topic下tags分别等于TagA或TagC或TagD

  5. //consumer.subscribe("Topic1", "TagA || TagC || TagD");

  6. // 订阅指定topic下所有消息,注意:一个consumer对象可以订阅多个topic

  7. consumer.subscribe(rocketMQConfig.getSmsReceiptTopic(), "*");

  8. consumer.setVipChannelEnabled(false);

  9. // 设置Consumer第一次启动是从队列头部开始消费还是队列尾部开始消费 如果非第一次启动,那么按照上次消费的位置继续消费

  10. consumer.setConsumeFromWhere(ConsumeFromWhere.CONSUME_FROM_LAST_OFFSET);

  11. //单线程处理设置最大线程,最小线程也要设置,不然启动报错

  12. consumer.setConsumeThreadMax(1);

  13. consumer.setConsumeThreadMin(1);

  14. //默认msgs里只有一条消息,可以通过设置consumeMessageBatchMaxSize参数来批量接收消息

  15. //MessageListenerOrderly一个线程一个队列顺序接收

  16. consumer.registerMessageListener((MessageListenerOrderly) (msgs, context) -> {

  17. System.out.println(Thread.currentThread().getName() + " Receive New Messages: " + msgs);

  18. MessageExt msg = (MessageExt) msgs.get(0);

  19. String msgBody = new String(msg.getBody());

  20. //短信回执主题

  21. if (msg.getTopic().equals(rocketMQConfig.getSmsReceiptTopic())) {

  22. log.info("消费者接收到短信回执消息:[{}]", msgBody);

  23. httpSmsSvc.handleSmsReplyAndReport(msgBody);

  24. } else {

  25. log.error("出现意料之外的消息:[{}]", msg.toString());

  26. }

  27. return ConsumeOrderlyStatus.SUCCESS;

  28. });

  29. // Consumer对象在使用之前必须要调用start初始化,初始化一次即可

  30. consumer.start();

  31. System.out.println("Consumer Started.");

  32. Runtime.getRuntime().addShutdownHook(new Thread(consumer::shutdown));


隔壁街道小胖子
3楼 · 2021-01-14 10:09

消息队列 RocketMQ 版所提供的 TCP Java SDK 支持多线程消费,且适用于所有消息类型

如下所示

public static void main(String[] args) {

    Properties properties = new Properties();

    properties.put(PropertyKeyConst.GROUP_ID, "GID_001");

    properties.put(PropertyKeyConst.AccessKey, "xxxxxxxxxxxx");

    properties.put(PropertyKeyConst.SecretKey, "xxxxxxxxxxxx");

    /**

     * 设置消费端线程数固定为 20

     */

    properties.setProperty(PropertyKeyConst.ConsumeThreadNums,"20");

    Consumer consumer =ONSFactory.createConsumer(properties);

    consumer.subscribe("TestTopic", "*", new MessageListener() {

        public Action consume(Message message, ConsumeContext context) {

            System.out.println("Receive: " + message);

            return Action.CommitMessage;

        }

    });

    consumer.start();

    System.out.println("Consumer Started");

}

在启动 Consumer 时,设置一个 ConsumeThreadNums 属性即可

是你的小甜心呀
4楼 · 2021-01-14 13:28

消息队列 RocketMQ 版所提供的 TCP Java SDK 支持多线程消费,且适用于所有消息类型,本文介绍如何设置消费线程数的方法。

在启动 Consumer 时,设置一个 ConsumeThreadNums 属性即可。具体示例如下所示。

public static void main(String[] args) {
    Properties properties = new Properties();
    properties.put(PropertyKeyConst.GROUP_ID, "GID_001");
    properties.put(PropertyKeyConst.AccessKey, "xxxxxxxxxxxx");
    properties.put(PropertyKeyConst.SecretKey, "xxxxxxxxxxxx");    /**
     * 设置消费端线程数固定为 20
     */
    properties.setProperty(PropertyKeyConst.ConsumeThreadNums,"20");
    Consumer consumer =ONSFactory.createConsumer(properties);
    consumer.subscribe("TestTopic", "*", new MessageListener() {        public Action consume(Message message, ConsumeContext context) {
            System.out.println("Receive: " + message);            return Action.CommitMessage;
        }
    });
    consumer.start();
    System.out.println("Consumer Started");
}


我想吃肉
5楼 · 2021-01-14 17:57

RocketMQ配置中有一个设置项为transferMsgByHeap,即是否通过堆内存传输数据。在文章“RocketMQ存储--同步刷盘和异步刷盘”中对其进行过梳理。那transferMsgByHeap是开启好呢?还是关闭好!第二个问题是可以设置消费的线程数,由于无界队列所以只需要设置最小线程数consumeThreadMin即可,那在rocket-client4.7版本中还能这么用吗?

一、transferMsgByHeap误解

transferMsgByHeap设置为false时,通过堆外内存传输数据,相比堆内存传输减少了数据拷贝、零字节拷贝、效率更高,所以关闭transferMsgByHeap应该成为我们的优先选择,但是实践来看,你或许会改变想法,下面是transferMsgByHeap=false,客户端大量超时错误时的日志截图。

1.Broker日志截图

broker日志.jpg

2.CPU日志截图

CPU截图.jpg

3.系统日志截图

系统日志.jpg

4.源码报错截图

源码截图.jpg

小结:你看到这里会发现,在关闭transferMsgByHeap时,可能造成堆外内存分配不够,触发系统内存回收和落盘操作。此时CPU会有一个陡坡,具体客户端表现为发送大量超时。解决方式开启transferMsgByHeap即可,让运行更加平稳。

二、消费的最小线程数

我们在使用rocketmq消费时,有两个参数consumeThreadMin和consumeThreadMax。在以往的版本中,我们只需要设置consumeThreadMin即可,例如consumeThreadMin=64。在rocket-client4.7版本中,如果设置consumeThreadMin=64会导致消费失败,下面看下原因。

1.错误提示

org.apache.rocketmq.client.exception.MQClientException: consumeThreadMin (64) is larger than consumeThreadMax (20)
2.源码原因

4.1版本.jpg

4.7版本.jpg

小结:在rocketmq-client新版本中,增加了consumeThreadMax的判断。当consumeThreadMin大于20时需要同时设置consumeThreadMax,所以单独设置consumeThreadMin=64会抛出错误导致消费失败。



作者:瓜农老梁
链接:https://www.jianshu.com/p/f8efea4b4735
来源:简书
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。


详细信息 阿里云提醒您: 如果您对实例或数据有修改、变更等风险操作,务必注意实例的容灾、容错能力,确保数据安全。 如果您对实例(包括但不限于ECS、RDS)等进行配置与数据修改,建议提前创建快照或开启RDS日志备份等功能。 如果您在阿里云平台授权或者提交过登录账号、密码等安全信息,建议您及时修改。

在启动Consumer时,设置一个ConsumeThreadNums属性即可。具体示例如下所示。

public static void main(String[] args) { Properties properties = new Properties(); properties.put(PropertyKeyConst.GROUP_ID, "GID_001"); properties.put(PropertyKeyConst.AccessKey, "xxxxxxxxxxxx"); properties.put(PropertyKeyConst.SecretKey, "xxxxxxxxxxxx"); /** * 设置消费端线程数固定为 20 / properties.put(PropertyKeyConst.ConsumeThreadNums,20); Consumer consumer =ONSFactory.createConsumer(properties); consumer.subscribe("TestTopic", "", new MessageListener() { public Action consume(Message message, ConsumeContext context) { System.out.println("Receive: " + message); return Action.CommitMessage; } }); consumer.start(); System.out.println("Consumer Started"); }

适用于 消息队列 RocketMQ 版


无需指教
7楼 · 2021-01-15 09:05

consumer.setConsumeThreadMax(1);
consumer.setConsumeThreadMin(1);

// 一个应用创建一个Consumer,由应用来维护此对象,可以设置为全局对象或者单例,ConsumerGroupName需要由应用来保证唯一final DefaultMQPushConsumer consumer = new DefaultMQPushConsumer(rocketMQConfig.getConsumerGroup());consumer.setNamesrvAddr(rocketMQConfig.getNamesrvAddr());// 订阅指定topic下tags分别等于TagA或TagC或TagD//consumer.subscribe("Topic1", "TagA || TagC || TagD");// 订阅指定topic下所有消息,注意:一个consumer对象可以订阅多个topicconsumer.subscribe(rocketMQConfig.getSmsReceiptTopic(), "*");consumer.setVipChannelEnabled(false);// 设置Consumer第一次启动是从队列头部开始消费还是队列尾部开始消费 如果非第一次启动,那么按照上次消费的位置继续消费consumer.setConsumeFromWhere(ConsumeFromWhere.CONSUME_FROM_LAST_OFFSET);//单线程处理设置最大线程,最小线程也要设置,不然启动报错consumer.setConsumeThreadMax(1);consumer.setConsumeThreadMin(1);//默认msgs里只有一条消息,可以通过设置consumeMessageBatchMaxSize参数来批量接收消息//MessageListenerOrderly一个线程一个队列顺序接收consumer.registerMessageListener((MessageListenerOrderly) (msgs, context) -> {System.out.println(Thread.currentThread().getName() + " Receive New Messages: " + msgs);MessageExt msg = (MessageExt) msgs.get(0);String msgBody = new String(msg.getBody());//短信回执主题if (msg.getTopic().equals(rocketMQConfig.getSmsReceiptTopic())) {log.info("消费者接收到短信回执消息:[{}]", msgBody);httpSmsSvc.handleSmsReplyAndReport(msgBody);} else {log.error("出现意料之外的消息:[{}]", msg.toString());}return ConsumeOrderlyStatus.SUCCESS;});// Consumer对象在使用之前必须要调用start初始化,初始化一次即可consumer.start();System.out.println("Consumer Started.");Runtime.getRuntime().addShutdownHook(new Thread(consumer::shutdown));


三岁奶猫
8楼 · 2021-01-15 10:41

详细信息 阿里云提醒您: 如果您对实例或数据有修改、变更等风险操作,务必注意实例的容灾、容错能力,确保数据安全。 如果您对实例(包括但不限于ECS、RDS)等进行配置与数据修改,建议提前创建快照或开启RDS日志备份等功能。 如果您在阿里云平台授权或者提交过登录账号、密码等安全信息,建议您及时修改。

在启动Consumer时,设置一个ConsumeThreadNums属性即可。具体示例如下所示。

public static void main(String[] args) { Properties properties = new Properties(); properties.put(PropertyKeyConst.GROUP_ID, "GID_001"); properties.put(PropertyKeyConst.AccessKey, "xxxxxxxxxxxx"); properties.put(PropertyKeyConst.SecretKey, "xxxxxxxxxxxx"); /** * 设置消费端线程数固定为 20 / properties.put(PropertyKeyConst.ConsumeThreadNums,20); Consumer consumer =ONSFactory.createConsumer(properties); consumer.subscribe("TestTopic", "", new MessageListener() { public Action consume(Message message, ConsumeContext context) { System.out.println("Receive: " + message); return Action.CommitMessage; } }); consumer.start(); System.out.println("Consumer Started"); }

适用于 消息队列 RocketMQ 版


爱煲汤的小王
9楼 · 2021-01-15 11:54

消息队列 RocketMQ 版所提供的 TCP Java SDK 支持多线程消费,且适用于所有消息类型

如下所示

public static void main(String[] args) {

    Properties properties = new Properties();

    properties.put(PropertyKeyConst.GROUP_ID, "GID_001");

    properties.put(PropertyKeyConst.AccessKey, "xxxxxxxxxxxx");

    properties.put(PropertyKeyConst.SecretKey, "xxxxxxxxxxxx");

    /**

     * 设置消费端线程数固定为 20

     */

    properties.setProperty(PropertyKeyConst.ConsumeThreadNums,"20");

    Consumer consumer =ONSFactory.createConsumer(properties);

    consumer.subscribe("TestTopic", "*", new MessageListener() {

        public Action consume(Message message, ConsumeContext context) {

            System.out.println("Receive: " + message);

            return Action.CommitMessage;

        }

    });

    consumer.start();

    System.out.println("Consumer Started");

}

在启动 Consumer 时,设置一个 ConsumeThreadNums 属性即可


相关问题推荐

  • 回答 2

    Statement的execute(String query)方法用来执行任意的SQL查询,如果查询的结果是一个ResultSet,这个方法就返回true。如果结果不是ResultSet,比如insert或者update查询,它就会返回false。我们可以通过它的getResultSet方法来获取ResultSet,或者通过getUpda...

  • 回答 22

    忙的时候项目期肯定要加班 但是每天加班应该还不至于

  • 回答 5
    已采纳

    工信部证书含金量较高。工信部是国务院的下属结构,具有发放资质、证书的资格。其所发放的证书具有较强的权威性,在全国范围内收到认可,含金量通常都比较高。 工信部证书,其含义也就是工信部颁发并承认的某项技能证书,是具有法律效力的,并且是国家认可的...

  • 回答 108
    已采纳

    虽然Java人才越来越多,但是人才缺口也是很大的,我国对JAVA工程师的需求是所有软件工程师当中需求大的,达到全部需求量的60%-70%,所以Java市场在短时间内不可能饱和。其次,Java市场不断变化,人才需求也会不断增加。马云说过,未来的制造业要的不是石油,...

  • 回答 16
    已采纳

    就是java的基础知识啊,比如Java 集合框架;Java 多线程;线程的五种状态;Java 虚拟机;MySQL (InnoDB);Spring 相关;计算机网络;MQ 消息队列诸如此类

  • 回答 70
    已采纳

    学Java好不好找工作?看学完Java后能做些什么吧。一、大数据技术Hadoop以及其他大数据处理技术都是用Java或者其他,例如Apache的基于Java 的 HBase和Accumulo以及ElasticSearchas。但是Java在此领域并未占太大空间,但只要Hadoop和ElasticSearchas能够成长壮...

  • 回答 12

    1)#{}是预编译处理,$ {}是字符串替换。2)MyBatis在处理#{}时,会将SQL中的#{}替换为?号,使用PreparedStatement的set方法来赋值;MyBatis在处理 $ { } 时,就是把 ${ } 替换成变量的值。3)使用 #{} 可以有效的防止SQL注入,提高系统安全性。...

  • 回答 32

    只可以学习一些非常简单的基础概念,初中生如果不是非常有天赋,是很难听懂和学会的,当然如果非常喜欢的话,可以去研究它,当年爱因斯坦就是自己钻研,数学和音乐,加油你也可以的。...

  • 回答 4

    1、反射对单例模式的破坏采用反射的方式另辟蹊径实例了该类,导致程序中会存在不止一个实例。解决方案其思想就是采用一个全局变量,来标记是否已经实例化过了,如果已经实例化过了,第 二次实例化的时候,抛出异常2、clone()对单例模式的破坏当需要实现单例的...

  • 回答 5

     优点: 一、实例控制  单例模式会阻止其他对象实例化其自己的单例对象的副本,从而确保所有对象都访问唯一实例。 二、灵活性  因为类控制了实例化过程,所以类可以灵活更改实例化过程。 缺点: 一、开销  虽然数量很少,但如果每次对象请求引用时都要...

  • 回答 4

    这个主要是看你数组的长度是多少, 比如之前写过的一个程序有个数组存的是各个客户端的ip地址:string clientIp[4]={XXX, xxx, xxx, xxx};这个时候如果想把hash值对应到上面四个地址的话,就应该对4取余,这个时候p就应该为4...

  • 回答 6

     哈希表的大小 · 关键字的分布情况 · 记录的查找频率 1.直接寻址法:取关键字或关键字的某个线性函数值为散列地址。即H(key)=key或H(key) = a·key + b,其中a和b为常数(这种散列函数叫做自身函数)。...

  • 回答 6

    哈希表的大小取决于一组质数,原因是在hash函数中,你要用这些质数来做模运算(%)。而分析发现,如果不是用质数来做模运算的话,很多生活中的数据分布,会集中在某些点上。所以这里最后采用了质数做模的除数。 因为用质数做了模的除数,自然存储空间的大小也用质数了...

  • 回答 2

    是啊,哈希函数的设计至关重要,好的哈希函数会尽可能地保证计算简单和散列地址分布均匀,但是,我们需要清楚的是,数组是一块连续的固定长度的内存空间

  • 回答 3

     解码查表优化算法,seo优化

  • 回答 5

    1.对对象元素中的关键字(对象中的特有数据),进行哈希算法的运算,并得出一个具体的算法值,这个值 称为哈希值。2.哈希值就是这个元素的位置。3.如果哈希值出现冲突,再次判断这个关键字对应的对象是否相同。如果对象相同,就不存储,因为元素重复。如果对象不同,就...

没有解决我的问题,去提问