rocketMQ如何设置消费线程数

2021-01-13 19:27发布

站内问答 / Java
13959 19 18

rocketMQ如何设置消费线程数

rocketMQ如何设置消费线程数

发送
19条回答
典典 - 给你一典典的学习帮助
2楼 · 2021-01-14 17:59

详细信息 阿里云提醒您： 如果您对实例或数据有修改、变更等风险操作，务必注意实例的容灾、容错能力，确保数据安全。 如果您对实例（包括但不限于ECS、RDS）等进行配置与数据修改，建议提前创建快照或开启RDS日志备份等功能。 如果您在阿里云平台授权或者提交过登录账号、密码等安全信息，建议您及时修改。

在启动Consumer时，设置一个ConsumeThreadNums属性即可。具体示例如下所示。

public static void main(String[] args) { Properties properties = new Properties(); properties.put(PropertyKeyConst.GROUP_ID, "GID_001"); properties.put(PropertyKeyConst.AccessKey, "xxxxxxxxxxxx"); properties.put(PropertyKeyConst.SecretKey, "xxxxxxxxxxxx"); /** * 设置消费端线程数固定为 20 / properties.put(PropertyKeyConst.ConsumeThreadNums,20); Consumer consumer =ONSFactory.createConsumer(properties); consumer.subscribe("TestTopic", "", new MessageListener() { public Action consume(Message message, ConsumeContext context) { System.out.println("Receive: " + message); return Action.CommitMessage; } }); consumer.start(); System.out.println("Consumer Started"); }

适用于 消息队列 RocketMQ 版


小磊子
3楼 · 2021-01-14 10:08

  1. // 一个应用创建一个Consumer，由应用来维护此对象，可以设置为全局对象或者单例,ConsumerGroupName需要由应用来保证唯一

  2. final DefaultMQPushConsumer consumer = new DefaultMQPushConsumer(rocketMQConfig.getConsumerGroup());

  3. consumer.setNamesrvAddr(rocketMQConfig.getNamesrvAddr());

  4. // 订阅指定topic下tags分别等于TagA或TagC或TagD

  5. //consumer.subscribe("Topic1", "TagA || TagC || TagD");

  6. // 订阅指定topic下所有消息，注意：一个consumer对象可以订阅多个topic

  7. consumer.subscribe(rocketMQConfig.getSmsReceiptTopic(), "*");

  8. consumer.setVipChannelEnabled(false);

  9. // 设置Consumer第一次启动是从队列头部开始消费还是队列尾部开始消费 如果非第一次启动，那么按照上次消费的位置继续消费

  10. consumer.setConsumeFromWhere(ConsumeFromWhere.CONSUME_FROM_LAST_OFFSET);

  11. //单线程处理设置最大线程，最小线程也要设置，不然启动报错

  12. consumer.setConsumeThreadMax(1);

  13. consumer.setConsumeThreadMin(1);

  14. //默认msgs里只有一条消息，可以通过设置consumeMessageBatchMaxSize参数来批量接收消息

  15. //MessageListenerOrderly一个线程一个队列顺序接收

  16. consumer.registerMessageListener((MessageListenerOrderly) (msgs, context) -> {

  17. System.out.println(Thread.currentThread().getName() + " Receive New Messages: " + msgs);

  18. MessageExt msg = (MessageExt) msgs.get(0);

  19. String msgBody = new String(msg.getBody());

  20. //短信回执主题

  21. if (msg.getTopic().equals(rocketMQConfig.getSmsReceiptTopic())) {

  22. log.info("消费者接收到短信回执消息：[{}]", msgBody);

  23. httpSmsSvc.handleSmsReplyAndReport(msgBody);

  24. } else {

  25. log.error("出现意料之外的消息：[{}]", msg.toString());

  26. }

  27. return ConsumeOrderlyStatus.SUCCESS;

  28. });

  29. // Consumer对象在使用之前必须要调用start初始化，初始化一次即可

  30. consumer.start();

  31. System.out.println("Consumer Started.");

  32. Runtime.getRuntime().addShutdownHook(new Thread(consumer::shutdown));


隔壁街道小胖子
4楼 · 2021-01-14 10:09

消息队列 RocketMQ 版所提供的 TCP Java SDK 支持多线程消费，且适用于所有消息类型

如下所示

public static void main(String[] args) {

    Properties properties = new Properties();

    properties.put(PropertyKeyConst.GROUP_ID, "GID_001");

    properties.put(PropertyKeyConst.AccessKey, "xxxxxxxxxxxx");

    properties.put(PropertyKeyConst.SecretKey, "xxxxxxxxxxxx");

    /**

     * 设置消费端线程数固定为 20

     */

    properties.setProperty(PropertyKeyConst.ConsumeThreadNums,"20");

    Consumer consumer =ONSFactory.createConsumer(properties);

    consumer.subscribe("TestTopic", "*", new MessageListener() {

        public Action consume(Message message, ConsumeContext context) {

            System.out.println("Receive: " + message);

            return Action.CommitMessage;

        }

    });

    consumer.start();

    System.out.println("Consumer Started");

}

在启动 Consumer 时，设置一个 ConsumeThreadNums 属性即可

是你的小甜心呀
5楼 · 2021-01-14 13:28

消息队列 RocketMQ 版所提供的 TCP Java SDK 支持多线程消费，且适用于所有消息类型，本文介绍如何设置消费线程数的方法。

在启动 Consumer 时，设置一个 ConsumeThreadNums 属性即可。具体示例如下所示。

public static void main(String[] args) {
    Properties properties = new Properties();
    properties.put(PropertyKeyConst.GROUP_ID, "GID_001");
    properties.put(PropertyKeyConst.AccessKey, "xxxxxxxxxxxx");
    properties.put(PropertyKeyConst.SecretKey, "xxxxxxxxxxxx");    /**
     * 设置消费端线程数固定为 20
     */
    properties.setProperty(PropertyKeyConst.ConsumeThreadNums,"20");
    Consumer consumer =ONSFactory.createConsumer(properties);
    consumer.subscribe("TestTopic", "*", new MessageListener() {        public Action consume(Message message, ConsumeContext context) {
            System.out.println("Receive: " + message);            return Action.CommitMessage;
        }
    });
    consumer.start();
    System.out.println("Consumer Started");
}


我想吃肉
6楼 · 2021-01-14 17:57

RocketMQ配置中有一个设置项为transferMsgByHeap，即是否通过堆内存传输数据。在文章“RocketMQ存储--同步刷盘和异步刷盘”中对其进行过梳理。那transferMsgByHeap是开启好呢？还是关闭好！第二个问题是可以设置消费的线程数，由于无界队列所以只需要设置最小线程数consumeThreadMin即可，那在rocket-client4.7版本中还能这么用吗？

一、transferMsgByHeap误解

transferMsgByHeap设置为false时，通过堆外内存传输数据，相比堆内存传输减少了数据拷贝、零字节拷贝、效率更高，所以关闭transferMsgByHeap应该成为我们的优先选择，但是实践来看，你或许会改变想法，下面是transferMsgByHeap=false，客户端大量超时错误时的日志截图。

1.Broker日志截图

broker日志.jpg

2.CPU日志截图

CPU截图.jpg

3.系统日志截图

系统日志.jpg

4.源码报错截图

源码截图.jpg

小结：你看到这里会发现，在关闭transferMsgByHeap时，可能造成堆外内存分配不够，触发系统内存回收和落盘操作。此时CPU会有一个陡坡，具体客户端表现为发送大量超时。解决方式开启transferMsgByHeap即可，让运行更加平稳。

二、消费的最小线程数

我们在使用rocketmq消费时，有两个参数consumeThreadMin和consumeThreadMax。在以往的版本中，我们只需要设置consumeThreadMin即可，例如consumeThreadMin=64。在rocket-client4.7版本中，如果设置consumeThreadMin=64会导致消费失败，下面看下原因。

1.错误提示

org.apache.rocketmq.client.exception.MQClientException: consumeThreadMin (64) is larger than consumeThreadMax (20)
2.源码原因

4.1版本.jpg

4.7版本.jpg

小结：在rocketmq-client新版本中，增加了consumeThreadMax的判断。当consumeThreadMin大于20时需要同时设置consumeThreadMax，所以单独设置consumeThreadMin=64会抛出错误导致消费失败。



作者：瓜农老梁
链接：https://www.jianshu.com/p/f8efea4b4735
来源：简书
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。


无需指教
7楼 · 2021-01-15 09:05

consumer.setConsumeThreadMax(1);
consumer.setConsumeThreadMin(1);

// 一个应用创建一个Consumer，由应用来维护此对象，可以设置为全局对象或者单例,ConsumerGroupName需要由应用来保证唯一final DefaultMQPushConsumer consumer = new DefaultMQPushConsumer(rocketMQConfig.getConsumerGroup());consumer.setNamesrvAddr(rocketMQConfig.getNamesrvAddr());// 订阅指定topic下tags分别等于TagA或TagC或TagD//consumer.subscribe("Topic1", "TagA || TagC || TagD");// 订阅指定topic下所有消息，注意：一个consumer对象可以订阅多个topicconsumer.subscribe(rocketMQConfig.getSmsReceiptTopic(), "*");consumer.setVipChannelEnabled(false);// 设置Consumer第一次启动是从队列头部开始消费还是队列尾部开始消费 如果非第一次启动，那么按照上次消费的位置继续消费consumer.setConsumeFromWhere(ConsumeFromWhere.CONSUME_FROM_LAST_OFFSET);//单线程处理设置最大线程，最小线程也要设置，不然启动报错consumer.setConsumeThreadMax(1);consumer.setConsumeThreadMin(1);//默认msgs里只有一条消息，可以通过设置consumeMessageBatchMaxSize参数来批量接收消息//MessageListenerOrderly一个线程一个队列顺序接收consumer.registerMessageListener((MessageListenerOrderly) (msgs, context) -> {System.out.println(Thread.currentThread().getName() + " Receive New Messages: " + msgs);MessageExt msg = (MessageExt) msgs.get(0);String msgBody = new String(msg.getBody());//短信回执主题if (msg.getTopic().equals(rocketMQConfig.getSmsReceiptTopic())) {log.info("消费者接收到短信回执消息：[{}]", msgBody);httpSmsSvc.handleSmsReplyAndReport(msgBody);} else {log.error("出现意料之外的消息：[{}]", msg.toString());}return ConsumeOrderlyStatus.SUCCESS;});// Consumer对象在使用之前必须要调用start初始化，初始化一次即可consumer.start();System.out.println("Consumer Started.");Runtime.getRuntime().addShutdownHook(new Thread(consumer::shutdown));


三岁奶猫
8楼 · 2021-01-15 10:41

详细信息 阿里云提醒您： 如果您对实例或数据有修改、变更等风险操作，务必注意实例的容灾、容错能力，确保数据安全。 如果您对实例（包括但不限于ECS、RDS）等进行配置与数据修改，建议提前创建快照或开启RDS日志备份等功能。 如果您在阿里云平台授权或者提交过登录账号、密码等安全信息，建议您及时修改。

在启动Consumer时，设置一个ConsumeThreadNums属性即可。具体示例如下所示。

public static void main(String[] args) { Properties properties = new Properties(); properties.put(PropertyKeyConst.GROUP_ID, "GID_001"); properties.put(PropertyKeyConst.AccessKey, "xxxxxxxxxxxx"); properties.put(PropertyKeyConst.SecretKey, "xxxxxxxxxxxx"); /** * 设置消费端线程数固定为 20 / properties.put(PropertyKeyConst.ConsumeThreadNums,20); Consumer consumer =ONSFactory.createConsumer(properties); consumer.subscribe("TestTopic", "", new MessageListener() { public Action consume(Message message, ConsumeContext context) { System.out.println("Receive: " + message); return Action.CommitMessage; } }); consumer.start(); System.out.println("Consumer Started"); }

适用于 消息队列 RocketMQ 版


爱煲汤的小王
9楼 · 2021-01-15 11:54

消息队列 RocketMQ 版所提供的 TCP Java SDK 支持多线程消费，且适用于所有消息类型

如下所示

public static void main(String[] args) {

    Properties properties = new Properties();

    properties.put(PropertyKeyConst.GROUP_ID, "GID_001");

    properties.put(PropertyKeyConst.AccessKey, "xxxxxxxxxxxx");

    properties.put(PropertyKeyConst.SecretKey, "xxxxxxxxxxxx");

    /**

     * 设置消费端线程数固定为 20

     */

    properties.setProperty(PropertyKeyConst.ConsumeThreadNums,"20");

    Consumer consumer =ONSFactory.createConsumer(properties);

    consumer.subscribe("TestTopic", "*", new MessageListener() {

        public Action consume(Message message, ConsumeContext context) {

            System.out.println("Receive: " + message);

            return Action.CommitMessage;

        }

    });

    consumer.start();

    System.out.println("Consumer Started");

}

在启动 Consumer 时，设置一个 ConsumeThreadNums 属性即可


1 2 3 下一页

相关问题推荐

  • execute，executeQuery，exec2020-06-04 10:58
    回答 2

    Statement的execute(String query)方法用来执行任意的SQL查询，如果查询的结果是一个ResultSet，这个方法就返回true。如果结果不是ResultSet，比如insert或者update查询，它就会返回false。我们可以通过它的getResultSet方法来获取ResultSet，或者通过getUpda...

  • 学编程真的需要经常加班么？2020-05-18 17:41
    回答 22

    忙的时候项目期肯定要加班 但是每天加班应该还不至于

  • 学Java的人太多了，现在学Java还好找工作吗？2020-03-18 16:57
    回答 108
    已采纳

    虽然Java人才越来越多，但是人才缺口也是很大的，我国对JAVA工程师的需求是所有软件工程师当中需求大的，达到全部需求量的60%-70%，所以Java市场在短时间内不可能饱和。其次，Java市场不断变化，人才需求也会不断增加。马云说过，未来的制造业要的不是石油，...

  • 工信部证书的含金量如何？2020-05-11 11:08
    回答 5
    已采纳

    工信部证书含金量较高。工信部是国务院的下属结构，具有发放资质、证书的资格。其所发放的证书具有较强的权威性，在全国范围内收到认可，含金量通常都比较高。 工信部证书，其含义也就是工信部颁发并承认的某项技能证书，是具有法律效力的，并且是国家认可的...

  • 学java有好找工作么？2020-08-13 18:38
    回答 70
    已采纳

    学Java好不好找工作？看学完Java后能做些什么吧。一、大数据技术Hadoop以及其他大数据处理技术都是用Java或者其他，例如Apache的基于Java 的 HBase和Accumulo以及ElasticSearchas。但是Java在此领域并未占太大空间，但只要Hadoop和ElasticSearchas能够成长壮...

  • java中的八股文指的是什么？2021-05-17 08:45
    回答 16
    已采纳

    就是java的基础知识啊，比如Java 集合框架；Java 多线程；线程的五种状态；Java 虚拟机；MySQL （InnoDB）；Spring 相关；计算机网络；MQ 消息队列诸如此类

  • #{}和${}的区别是什么？2020-06-15 09:21
    回答 12

    #{}和${}这两个语法是为了动态传递参数而存在的，是Mybatis实现动态SQL的基础，总体上他们的作用是一致的（为了动态传参），但是在编译过程、是否自动加单引号、安全性、使用场景等方面有很多不同，下面详细比较两者间的区别：1.#{} 是 占位符 ：动态解析 ...

  • 专科做java可以就业吗？2021-08-19 16:15
    回答 62

    没问题的，专科学历也能学习Java开发的，主要看自己感不感兴趣，只要认真学，市面上的培训机构不少都是零基础课程，能跟得上，或是自己先找些资料学习一下。

  • 单例可能被破坏的场景有哪些？单例模式 2022-05-07 18:07
    回答 4

    1、反射对单例模式的破坏采用反射的方式另辟蹊径实例了该类，导致程序中会存在不止一个实例。解决方案其思想就是采用一个全局变量，来标记是否已经实例化过了，如果已经实例化过了，第 二次实例化的时候，抛出异常2、clone()对单例模式的破坏当需要实现单例的...

  • 单例模式的优缺点单例模式 2022-05-07 18:04
    回答 5

     优点: 一、实例控制  单例模式会阻止其他对象实例化其自己的单例对象的副本，从而确保所有对象都访问唯一实例。 二、灵活性  因为类控制了实例化过程，所以类可以灵活更改实例化过程。 缺点: 一、开销  虽然数量很少，但如果每次对象请求引用时都要...

  • 哈希表的p怎么取得哈希表 2022-04-20 18:51
    回答 4

    这个主要是看你数组的长度是多少， 比如之前写过的一个程序有个数组存的是各个客户端的ip地址：string clientIp[4]={XXX, xxx, xxx, xxx};这个时候如果想把hash值对应到上面四个地址的话，就应该对4取余，这个时候p就应该为4...

  • 哈希表的key存在什么地方哈希表 2022-04-20 18:51
    回答 6

     哈希表的大小 · 关键字的分布情况 · 记录的查找频率 1.直接寻址法：取关键字或关键字的某个线性函数值为散列地址。即H(key)=key或H(key) = a·key + b，其中a和b为常数（这种散列函数叫做自身函数）。...

  • 为什么哈希表的长度应该是质数？哈希表 2022-04-02 16:41
    回答 6

    哈希表的大小取决于一组质数,原因是在hash函数中,你要用这些质数来做模运算(%)。而分析发现,如果不是用质数来做模运算的话,很多生活中的数据分布,会集中在某些点上。所以这里最后采用了质数做模的除数。 因为用质数做了模的除数,自然存储空间的大小也用质数了...

  • 哈希表的实现需要预先开启出一块内存空间？哈希表 2022-04-02 16:07
    回答 2

    是啊，哈希函数的设计至关重要,好的哈希函数会尽可能地保证计算简单和散列地址分布均匀,但是,我们需要清楚的是,数组是一块连续的固定长度的内存空间

  • 哈希表优化的方法有哪些？哈希表 2022-04-01 18:53
    回答 3

     解码查表优化算法，seo优化

  • 哈希表的原理是什么？哈希表 2022-04-01 18:52
    回答 5

    1.对对象元素中的关键字(对象中的特有数据),进行哈希算法的运算,并得出一个具体的算法值,这个值 称为哈希值。2.哈希值就是这个元素的位置。3.如果哈希值出现冲突,再次判断这个关键字对应的对象是否相同。如果对象相同,就不存储,因为元素重复。如果对象不同,就...

没有解决我的问题，去提问