风在路上
zdk
2021-06-29
目录

RabbitMQ - 发布确认高级-不可路由消息处理

在生产环境中由于一些不明原因，导致 RabbitMQ 重启，在 RabbitMQ 重启期间生产者消息投递失败， 导致消息丢失，需要手动处理和恢复。于是，我们开始思考，如何才能进行 RabbitMQ 的消息可靠投递呢？

# 消息发送到交换机回调

确认机制方案：

RabbitMQ-00000068

代码架构图：

RabbitMQ-00000069

在配置文件当中需要添加

spring:
  rabbitmq:
    #设置消息确认的模式  发布消息成功到交换器后会触发回调方法
    publisher-confirm-type: correlated
1
2
3
4

  • NONE 值是禁用发布确认模式，是默认值

  • CORRELATED 值是发布消息成功到交换器后会触发回调方法

  • SIMPLE 值经测试有两种效果，其一效果和 CORRELATED 值一样会触发回调方法，其二在发布消息成功后使用 rabbitTemplate 调用 waitForConfirms 或 waitForConfirmsOrDie 方法等待 broker 节点返回发送结果，根据返回结果来判定下一步的逻辑，要注意的点是 waitForConfirmsOrDie 方法如果返回 false 则会关闭 channel，则接下来无法发送消息到 broker;

代码

1、添加配置类：

/**
 * @author zdk
 * @date 2022/5/14 16:02
 * 发布确认的 配置
 */
@Configuration
public class ConfirmConfig {
    public static final String CONFIRM_EXCHANGE_NAME = "confirm_exchange";
    public static final String CONFIRM_QUEUE_NAME = "confirm_queue";
    public static final String CONFIRM_ROUTING_KEY = "confirm_routing_key";

    @Bean
    public DirectExchange confirmExchange() {
        return ExchangeBuilder.directExchange(CONFIRM_EXCHANGE_NAME)
                .durable(true)
                .build();
    }

    @Bean
    public Queue confirmQueue() {
        return QueueBuilder.durable(CONFIRM_QUEUE_NAME)
                .build();
    }

    @Bean
    public Binding confirmBinding(
            @Qualifier("confirmQueue") Queue confirmQueue,
            @Qualifier("confirmExchange") DirectExchange confirmExchange
    ) {
        return BindingBuilder
                .bind(confirmQueue)
                .to(confirmExchange)
                .with(CONFIRM_ROUTING_KEY);
    }
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35

2、消息生产者的回调接口

/**
 * @author zdk
 * @date 2022/5/14 18:15
 * 消息回调
 */
@Slf4j
@Component
public class MessageCallback implements RabbitTemplate.ConfirmCallback,RabbitTemplate.ReturnsCallback {
    /**
     * 消息发送到交换机的回调
     * @param correlationData 消息相关数据
     * @param ack 消息是否被交换机确认了
     * @param cause 没被确认的原因
     */
    @Override
    public void confirm(CorrelationData correlationData, boolean ack, String cause) {
        String id = correlationData != null ? correlationData.getId() : null;
        if (ack) {
            log.info("交换机已收到 id 为:{}的消息",id);
        }else{
            log.info("交换机未收到 id 为:{}的消息,原因是:{}",id,cause);
        }
    }

    /**
     * 消息未投递到队列的回调
     * @param returned 投递失败的消息和元数据
     */
    @Override
    public void returnedMessage(ReturnedMessage returned) {

    }
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34

3、消息生产者

提示

这里需要对MessageCallback进行注入。因为它实现的是RabbitTemplate的内部接口,如果不将它注入到RabbitTemplate中,在调用的时候，RabbitTemplate就找不到对应的MessageCallback实例，而这个@PostConstruct注解所标注的方法,会在Bean初始化以后(完成属性填充之后 populate)执行，所以会在ProducerController类的RabbitTemplate和MessageCallback属性都被注入后再将MessageCallback注入RabbitTemplate中

当然 还可以让当前类实现implements InitializingBean 接口,重写afterPropertiesSet方法，然后在这个方法中调用init方法也可以执行顺序是：

  1. 构造方法Constructor
  2. @Autowired
  3. @PostConstruct

这里发送两次消息，第二次用不存在的交换机名来模拟交换机没对消息进行确认的情况

/**
 * @author zdk
 * @date 2022/5/14 16:55
 */
@Api("发布确认 消息发送接口")
@Slf4j
@RestController
@RequestMapping("/confirm")
public class ProducerController {

    @Autowired
    private RabbitTemplate rabbitTemplate;

    @Autowired
    private MessageCallback messageCallback;

    /**
     * 这里需要对MessageCallback进行注入
     * 因为它实现的是RabbitTemplate的内部接口,如果不将它注入到RabbitTemplate中,
     * 在调用的时候，RabbitTemplate就找不到对应的MessageCallback实例
     *
     * 这个@PostConstruct注解所标注的方法,会在Bean初始化以后(完成属性填充之后 populate)执行
     * 因为我们需要在ProducerController类的RabbitTemplate和MessageCallback属性都被注入后
     * 再将MessageCallback注入到RabbitTemplate中
     *
     * 执行顺序是：
     * 1.构造方法Constructor
     * 2.@Autowired
     * 3.@PostConstruct
     *
     * 当然 还可以让当前类实现implements InitializingBean 接口,重写afterPropertiesSet方法
     * 在这个方法中调用init方法也可以
     */
    @PostConstruct
    public void init(){
        rabbitTemplate.setConfirmCallback(messageCallback);
        rabbitTemplate.setReturnsCallback(messageCallback);
    }

    @GetMapping("/sendMessage/{message}")
    public void  sendMessage(@PathVariable String message){
        //正确情况
        CorrelationData correlationData1 = new CorrelationData("1");
        rabbitTemplate.convertAndSend(ConfirmConfig.CONFIRM_EXCHANGE_NAME,ConfirmConfig.CONFIRM_ROUTING_KEY,message,correlationData1);
        log.info(ConfirmConfig.CONFIRM_ROUTING_KEY+"发送消息内容为:{}",message);

        //不存在的交换机
        CorrelationData correlationData2 = new CorrelationData("2");
        rabbitTemplate.convertAndSend(ConfirmConfig.CONFIRM_EXCHANGE_NAME+"22",ConfirmConfig.CONFIRM_ROUTING_KEY,message,correlationData2);
        log.info(ConfirmConfig.CONFIRM_EXCHANGE_NAME+"22"+"发送消息内容为:{}",message);
    }
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52

4、消息消费者

@Slf4j
@Component
public class ConfirmConsumer {

    @RabbitListener(queues = ConfirmConfig.CONFIRM_QUEUE_NAME)
    public void receiveConfirmMessage(Message message){
        String msg = new String(message.getBody());
        log.info("从队列{} 接收到消息:{}",ConfirmConfig.CONFIRM_QUEUE_NAME,msg);
    }
}
1
2
3
4
5
6
7
8
9
10

访问： http://localhost:8082/confirm/sendMessage/消息 (opens new window)

结果分析：

image-20220514193939754

可以看到，发送了两条消息，第一条消息被交换机成功接收，返回了确认回调，也被消费者成功接收；而第二条消息则因为不存在的交换机名，没有被任何交换机确认，所以返回了nack回调。第一条消息的 RoutingKey 为 "key1"，第二条消息的 RoutingKey 为 "key2"，两条消息都成功被交换机接收，也收到了交换机的确认回调，但消费者只收到了一条消息，因为第二条消息的 RoutingKey 与队列的 BindingKey 不一致，也没有其它队列能接收这个消息，所有第二条消息被直接丢弃了。

丢弃的消息交换机是不知道的，需要解决告诉生产者消息传送失败

# 消息投递到队列回调

上面的例子修改一下

@GetMapping("/sendMessage/{message}")
    public void  sendMessage(@PathVariable String message){
        //不存在与之对应的队列的routingKey
        CorrelationData correlationData3 = new CorrelationData("3");
        rabbitTemplate.convertAndSend(ConfirmConfig.CONFIRM_EXCHANGE_NAME,ConfirmConfig.CONFIRM_ROUTING_KEY+"22",message,correlationData3);
        log.info(ConfirmConfig.CONFIRM_EXCHANGE_NAME+"发送消息内容为:{}",message);
    }
1
2
3
4
5
6
7

image-20220514194922511

这里消费者并没有消费到消息，因为当前没有队列能够接收routingKey为ConfirmConfig.CONFIRM_ROUTING_KEY+"22"的消息，所以这个消息直接被丢弃了。在仅开启了生产者确认机制的情况下，交换机接收到消息后，会直接给消息生产者发送确认消息，如果发现该消息不可路由，那么消息会被直接丢弃，此时生产者是不知道消息被丢弃这个事件的，所以需要告诉生产者消息投递队列失败。

我们可以为RabbitTemplate配置mandatory 参数为true，当消息在传递过程中不可到达目的地时，将消息返回给生产者；

或者配置 spring.rabbitmq.publisher-returns=true，关于这个属性和mandatory，在下面会作说明

mandatory属性可以使用java代码或者配置文件进行配置

rabbitTemplate.setReturnsCallback(myCallBack);
1
spring:
  rabbitmq:
    template:
     # 设置成true 消息路由失败通知监听者，而不是将消息丢弃
      mandatory: true
    #设置消息确认的模式  发布消息成功到交换器后会触发回调方法
    publisher-confirm-type: correlated
    #消息退回
    publisher-returns: true
1
2
3
4
5
6
7
8
9

1、修改配置

#消息退回
spring.rabbitmq.publisher-returns=true
1
2

2、修改回调接口

/**
 * @author zdk
 * @date 2022/5/14 18:15
 * 消息回调
 */
@Slf4j
@Component
public class MessageCallback implements RabbitTemplate.ConfirmCallback,RabbitTemplate.ReturnsCallback {
    /**
     * 消息发送到交换机的回调
     * @param correlationData 消息相关数据
     * @param ack 消息是否被交换机确认了
     * @param cause 没被确认的原因
     */
    @Override
    public void confirm(CorrelationData correlationData, boolean ack, String cause) {
        String id = correlationData != null ? correlationData.getId() : null;
        if (ack) {
            log.info("交换机已收到 id 为:{}的消息",id);
        }else{
            log.info("交换机未收到 id 为:{}的消息,原因是:{}",id,cause);
        }
    }

    /**
     * 消息未投递到队列的回调
     * @param returned 投递失败的消息和元数据
     */
    @Override
    public void returnedMessage(ReturnedMessage returned) {
        log.error("消息：{}，被交换机 {} 退回，原因：{}，路由key：{},code:{}",
                new String(returned.getMessage().getBody()), returned.getExchange(),
                returned.getReplyText(), returned.getRoutingKey(),
                returned.getReplyCode());
    }
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37

低版本可能没有 RabbitTemplate.ReturnsCallback 请用 RabbitTemplate.ReturnCallback

@Override
public void returnedMessage(Message message, int replyCode, String replyText, String
exchange, String routingKey) {
	log.info("消息:{}被服务器退回，退回原因:{}, 交换机是:{}, 路由 key:{}",new String(message.getBody()),replyText, exchange, routingKey);
}
1
2
3
4
5

3、修改发送者 ProducerController

@PostConstruct
public void init() {
    //消息回调
    rabbitTemplate.setConfirmCallback(messageCallback);
    /**
     * true：交换机无法将消息进行路由时，会将该消息返回给生产者
     * false：如果发现消息无法进行路由，则直接丢弃
     */
    rabbitTemplate.setMandatory(true);
    //设置回退消息交给谁处理
    rabbitTemplate.setReturnsCallback(messageCallback);

}
1
2
3
4
5
6
7
8
9
10
11
12
13

4、发送消息

    @GetMapping("/sendMessage/{message}")
    public void  sendMessage(@PathVariable String message){
        //不存在与之对应的队列的routingKey ConfirmConfig.CONFIRM_ROUTING_KEY+"22"
        CorrelationData correlationData3 = new CorrelationData("11");
        rabbitTemplate.convertAndSend(ConfirmConfig.CONFIRM_EXCHANGE_NAME,ConfirmConfig.CONFIRM_ROUTING_KEY+"22",message,correlationData3);
        log.info(ConfirmConfig.CONFIRM_EXCHANGE_NAME+"发送消息内容为:{}",message);
    }
1
2
3
4
5
6
7

访问： http://localhost:8082/confirm/sendMessage/msg消息退回 (opens new window)

结果：

image-20220514201131383

publiser-confirm、mandatory、publisher-returns总结

  1. publiser-confirm模式可以确保生产者到交换机的过程，消息有没有发送成功

    spring.rabbitmq.publisher-confirms=true
    1

  2. mandatory指定消息在没有被队列接收时是否强行退回还是直接丢弃

    spring.rabbitmq.template.mandatory=true
    1

  3. publisher-return模式可以在消息没有被路由到指定的queue时将消息返回，而不是丢弃，通常与mandatory配合使用

    spring.rabbitmq.publisher-returns=true
    1

通过查看RabbitTemplateConfigurer类的源码可以发现，其中有这样一个方法

private boolean determineMandatoryFlag() {
		Boolean mandatory = this.rabbitProperties.getTemplate().getMandatory();
		return (mandatory != null) ? mandatory : this.rabbitProperties.isPublisherReturns();
	}
1
2
3
4

可以看出，mandatory、publisher-returns这两个属性的作用其实是一样的，只是如果写了mandatory属性，就会按mandatory属性的值来决定消息是否退回，它的优先级更高；如果不配置mandatory属性，就会以publisher-returns的值为准

# 备份交换机

有了 mandatory和回退消息，我们获得了对无法投递消息的感知能力，在生产者的消息无法被投递时发现并处理。但有时候，我们并不知道该如何处理这些无法路由的消息，最多打个日志，然后触发报警，再来手动处理。而通过日志来处理这些无法路由的消息是很不优雅的做法，特别是当生产者所在的服务有多台机器的时候，手动复制日志会更加麻烦而且容易出错。而且设置 mandatory 参数会增加生产者的复杂性，需要添加处理这些被退回的消息的逻辑。如果既不想丢失消息，又不想增加生产者的复杂性，该怎么做呢？

前面在设置死信队列的文章中，我们提到，可以为队列设置死信交换机来存储那些处理失败的消息，可是这些不可路由消息根本没有机会进入到队列，因此无法使用死信队列来保存消息。 在 RabbitMQ 中，有一种备份交换机的机制存在，可以很好的应对这个问题。

什么是备份交换机呢？

备份交换机可以理解为 RabbitMQ 中交换机的“备胎”，当我们为某一个交换机声明一个对应的备份交换机时，就是为它创建一个备胎，当交换机接收到一条不可路由消息时，将会把这条消息转发到备份交换机中，由备份交换机来进行转发和处理，通常备份交换机的类型为 Fanout ，这样就能把所有消息都投递到与其绑定的队列中，然后我们在备份交换机下绑定一个队列，这样所有那些原交换机无法被路由的消息，就会都进 入这个队列了。当然，我们还可以建立一个报警队列，用独立的消费者来进行监测和报警。

  • 代码架构图

RabbitMQ-00000072

1、修改配置类

/**
 * @author zdk
 * @date 2022/5/14 16:02
 * 发布确认的 配置
 */
@Configuration
public class ConfirmConfig {
    public static final String CONFIRM_EXCHANGE_NAME = "confirm_exchange";
    public static final String CONFIRM_QUEUE_NAME = "confirm_queue";
    public static final String CONFIRM_ROUTING_KEY = "confirm_routing_key";

    public static final String HAVE_BACKUP_CONFIRM_EXCHANGE_NAME = "have_backup_confirm_exchange";
    public static final String BACKUP_EXCHANGE_NAME = "backup_exchange";
    public static final String BACKUP_QUEUE_NAME = "backup.queue";
    public static final String WARNING_QUEUE_NAME = "warning.queue";

    /*@Bean
    public DirectExchange confirmExchange() {
        return ExchangeBuilder.directExchange(CONFIRM_EXCHANGE_NAME)
                .durable(true)
                .build();
    }*/

    @Bean
    public Queue confirmQueue() {
        return QueueBuilder.durable(CONFIRM_QUEUE_NAME)
                .build();
    }

    @Bean
    public Binding confirmBinding(
            @Qualifier("confirmQueue") Queue confirmQueue,
            @Qualifier("confirmExchange") DirectExchange confirmExchange
    ) {
        return BindingBuilder
                .bind(confirmQueue)
                .to(confirmExchange)
                .with(CONFIRM_ROUTING_KEY);
    }

    //=============================以下是备份交换机的配置

    /**
     * 声明一个拥有备份交换机的交换机
     * 并指定它的备份交换机的名字
     * @return
     */
    @Bean
    public DirectExchange confirmExchange() {
        return ExchangeBuilder.directExchange(CONFIRM_EXCHANGE_NAME)
                .durable(true)
                //指定它的备份交换机
                .alternate(BACKUP_EXCHANGE_NAME)
                .build();
    }

    /**
     * 声明备份交换机为fanout类型
     * 保证与它绑定的每个交换机都能处理到备份的消息
     * @return
     */
    @Bean
    public FanoutExchange backupExchange(){
        return ExchangeBuilder.fanoutExchange(BACKUP_EXCHANGE_NAME)
                .durable(true)
                .build();
    }

    /**
     * 声明接收备份消息的普通处理队列
     * @return
     */
    @Bean
    public Queue backupQueue() {
        return QueueBuilder.durable(BACKUP_QUEUE_NAME)
                .build();
    }

    /**
     * 声明接收备份消息的告警处理队列
     * @return
     */
    @Bean
    public Queue warningQueue() {
        return QueueBuilder.durable(WARNING_QUEUE_NAME)
                .build();
    }

    @Bean
    public Binding bindBackupQueue(
            @Qualifier("backupQueue") Queue backupQueue,
            @Qualifier("backupExchange") FanoutExchange backupExchange

    ){
        return BindingBuilder.bind(backupQueue).to(backupExchange);
    }

    @Bean
    public Binding bindWarningQueue(
            @Qualifier("warningQueue") Queue warningQueue,
            @Qualifier("backupExchange") FanoutExchange backupExchange

    ){
        return BindingBuilder.bind(warningQueue).to(backupExchange);
    }

}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108

2、报警消费者

/**
     * 告警队列接收备份消息
     * @param message
     */
    @RabbitListener(queues = ConfirmConfig.WARNING_QUEUE_NAME)
    public void receiveWarningMessage(Message message){
        String msg = new String(message.getBody());
        log.warn("告警队列{} 接收到消息:{}",ConfirmConfig.WARNING_QUEUE_NAME,msg);
    }
1
2
3
4
5
6
7
8
9

之前已写过 confirm.exchange 交换机，由于更改配置，需要删掉，不然会报错

image-20220514213252425

提示

mandatory 参数与备份交换机可以一起使用的时候，如果两者同时开启，谁优先级高？通过上面结果显示备份交换机优先级高。

在 GitHub 上编辑此页 (opens new window)
#RabbitMQ#消息队列
最后更新: 2022/10/04, 15:10:00
RabbitMQ - 延迟队列
RabbitMQ - 幂等性、优先级、惰性

← RabbitMQ - 幂等性、优先级、惰性→

Theme by Vdoing | Copyright © 2022-2024 zdk | notes
湘ICP备2022001117号-1
川公网安备 51142102511562号
提供加速服务