RabbitMQ - 交换机
在上一节中,我们创建了一个工作队列。我们假设的是工作队列背后,每个任务都恰好交付给一个消费者(工作进程)。在这一部分中,我们将做一些完全不同的事情-我们将消息传达给多个消费者。这种模式 称为 ”发布/订阅”。
# Exchanges
RabbitMQ 消息传递模型的核心思想是: 生产者生产的消息从不会直接发送到队列。实际上,通常生产者甚至都不知道这些消息传递传递到了哪些队列中。
相反,生产者只能将消息发送到交换机(exchange),交换机工作的内容非常简单,一方面它接收来自生产者的消息,另一方面将它们推入队列。交换机必须确切知道如何处理收到的消息。是应该把这些消息放到特定队列还是说把他们到许多队列中还是说应该丢弃它们。这就的由交换机的类型来决定。
Exchanges 的类型:
直接(direct), 主题(topic) ,标题(headers) , 扇出(fanout)
可以通过
BuiltinExchangeType.TOPIC
等枚举常量来指定交换机类型
无名exchange:
在前面部分我们对 exchange 一无所知,但仍然能够将消息发送到队列。之前能实现的 原因是因为我们使用的是默认交换,我们通过空字符串(“”)进行标识。
channel.basicPublish("", "hello", null, message.getBytes(StandardCharsets.UTF_8));
第一个参数是交换机的名称。空字符串表示默认或无名称交换机:消息能路由发送到队列中其实是由 routingKey(bindingkey)绑定 key 指定的,如果它存在的话
# 临时队列
之前我们使用的是具有特定名称的队列。队列的名称我们来说至关重要,我们需要指定我们的消费者去消费哪个队列的消息。
每当我们连接到 Rabbit 时,我们都需要一个全新的空队列,为此我们可以创建一个具有随机名称的队列,或者能让服务器为我们选择一个随机队列名称那就更好了。其次一旦我们断开了消费者的连接,队列将被自动删除。
创建临时队列的方式如下:
String queueName = channel.queueDeclare().getQueue();
# 绑定 bindings
binding 其实是 exchange 和 queue 之间的桥梁,它告诉我们 exchange 和哪个队列进行了绑定关系。比如说下面这张图告诉我们的就是 交换机X 与 队列Q1 和 队列Q2 进行了绑定
# Fanout exchange
# Fanout 介绍
Fanout 这种类型非常简单。正如从名称中猜到的那样,它是将接收到的所有消息广播到它知道的 所有队列中。系统中默认有些 exchange 类型
# Fanout 实战
Logs 和临时队列的绑定关系如下图
为了说明这种模式,我们将构建一个简单的日志系统。它将由两个程序组成:第一个程序将发出日志消 息,第二个程序是消费者。其中我们会启动两个消费者,其中一个消费者接收到消息后把日志存储在磁盘,
LogProducer 发送消息给两个消费者接收:
package com.zdk.fanout;
import com.rabbitmq.client.Channel;
import com.zdk.utils.RabbitMQUtils;
import java.nio.charset.StandardCharsets;
import java.util.Scanner;
/**
* @author zdk
* @date 2022/5/3 18:39
*/
public class LogProducer {
public static final String EXCHANGE_NAME = "logs";
public static void main(String[] args) throws Exception {
Channel channel = RabbitMQUtils.getChannel();
//创建交换机
channel.exchangeDeclare(EXCHANGE_NAME, BuiltinExchangeType.FANOUT);
Scanner cin = new Scanner(System.in);
while (cin.hasNext()){
String message = cin.next();
channel.basicPublish(EXCHANGE_NAME, "", null, message.getBytes(StandardCharsets.UTF_8));
System.out.println("生产者发出消息:"+message);
}
}
}
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
LogConsumer01 将接收到的消息打印在控制台
package com.zdk.fanout;
import com.rabbitmq.client.Channel;
import com.rabbitmq.client.DeliverCallback;
import com.zdk.utils.RabbitMQUtils;
/**
* @author zdk
* @date 2022/5/3 18:44
*/
public class LogConsumer01 {
public static final String EXCHANGE_NAME = "logs";
public static void main(String[] args) throws Exception {
Channel channel = RabbitMQUtils.getChannel();
//创建队列
String queueName = channel.queueDeclare().getQueue();
//将队列绑定到生产者生成的交换机
channel.queueBind(queueName, EXCHANGE_NAME, "");
System.out.println("消费者1等待接收消息......");
DeliverCallback deliverCallback = (consumerTag,message)-> System.out.println("消费者1收到消息:"+new String(message.getBody()));
//进行消费
channel.basicConsume(queueName, true, deliverCallback, (consumerTag)->{});
}
}
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
LogConsumer02 将接收到的消息打印在控制台
package com.zdk.fanout;
import com.rabbitmq.client.Channel;
import com.rabbitmq.client.DeliverCallback;
import com.zdk.utils.RabbitMQUtils;
/**
* @author zdk
* @date 2022/5/3 18:44
*/
public class LogConsumer02 {
public static final String EXCHANGE_NAME = "logs";
public static void main(String[] args) throws Exception {
Channel channel = RabbitMQUtils.getChannel();
//创建队列
String queueName = channel.queueDeclare().getQueue();
//将队列绑定到生产者生成的交换机
channel.queueBind(queueName, EXCHANGE_NAME, "");
System.out.println("消费者2等待接收消息......");
DeliverCallback deliverCallback = (consumerTag, message)-> System.out.println("消费者2收到消息:"+new String(message.getBody()));
//进行消费
channel.basicConsume(queueName, true, deliverCallback, (consumerTag)->{});
}
}
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
运行结果是,Consumer01和02都同时收到了相同的消息,这就是fanout,广播模式
总结
fanout模式的交换机,会将消息转发到所有与它绑定的队列
中,即广播!
# Direct exchange
在上一部分,我们构建了一个简单的,能够向许多接收者广播消息的demo。在本部分我们将向其中添加一些特别的功能->
让某个消费者订阅发布的部分消息
。例如我们只把严重错误消息定向存储到日志文件(以节省磁盘空间),同时仍然能够在控制台上打印所有日志消息。再次来回顾一下什么是 bindings,绑定是交换机和队列之间的桥梁关系。也可以这么理解: 队列只对它绑定的交换机的消息感兴趣。绑定用参数:routingKey 来表示,也可称该参数为 binding key, 创建绑定我们用代码:
channel.queueBind(queueName, EXCHANGE_NAME, "routingKey");
1绑定之后的意义由其交换类型决定。
# Direct 介绍
上一节中的我们的日志系统将所有消息广播给所有消费者,对此我们想做一些改变,例如我们希望将日志消息写入磁盘的程序仅接收严重错误(errros),而不存储哪些警告(warning)或信息(info)日志 消息避免浪费磁盘空间。Fanout 这种交换类型并不能给我们带来很大的灵活性-它只能进行无意识的 广播,在这里我们将使用 direct 这种类型来进行替换,这种类型的工作方式是,消息只去到它绑定的 routingKey 队列中去。
在上面这张图中,我们可以看到 X 绑定了两个队列,绑定类型是 direct。队列Q1 绑定键为 orange, 队列 Q2 绑定键有两个:一个绑定键为 black,另一个绑定键为 green.
在这种绑定情况下,生产者发布消息到 exchange 上,绑定键为 orange 的消息会被发布到队列 Q1。绑定键为 blackgreen 和的消息会被发布到队列 Q2,其他消息类型的消息将被丢弃。
# 多重绑定
当然如果 exchange 的绑定类型是direct,但是它绑定的多个队列的 key 如果都相同,在这种情况下虽然绑定类型是 direct 但是它表现的就和 fanout 有点类似了,就跟广播差不多,如上图所示。
# Direct 实战
关系:
交换机:
LogProducer简历direct模式交换机,并随机发送routingKey为info、warning、error的消息package com.zdk.direct;
import com.rabbitmq.client.BuiltinExchangeType;
import com.rabbitmq.client.Channel;
import com.zdk.utils.RabbitMQUtils;
import java.nio.charset.StandardCharsets;
import java.util.Random;
import java.util.Scanner;
/**
* @author zdk
* @date 2022/5/3 19:21
*/
public class LogProducer {
public static final String EXCHANGE_NAME = "logs2";
public static void main(String[] args) throws Exception {
Channel channel = RabbitMQUtils.getChannel();
channel.exchangeDeclare(EXCHANGE_NAME, BuiltinExchangeType.DIRECT);
Scanner cin = new Scanner(System.in);
Random random = new Random();
while (cin.hasNext()){
String message = cin.next();
String[] routingKeys = {"info","warning","error"};
String routingKey = routingKeys[random.nextInt(3)];
channel.basicPublish(EXCHANGE_NAME, routingKey, null, message.getBytes(StandardCharsets.UTF_8));
System.out.println("生产者发出"+routingKey+"级别的消息:"+message);
}
}
}
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
package com.zdk.direct;
import com.rabbitmq.client.Channel;
import com.rabbitmq.client.DeliverCallback;
import com.zdk.utils.RabbitMQUtils;
/**
* @author zdk
* @date 2022/5/3 19:23
*/
public class InfoWarningConsumer {
public static final String EXCHANGE_NAME = "logs2";
public static void main(String[] args) throws Exception {
Channel channel = RabbitMQUtils.getChannel();
//创建队列
String queueName = channel.queueDeclare().getQueue();
//给这个队列同时绑定两个routingKey info和warning
channel.queueBind(queueName, EXCHANGE_NAME, "info");
channel.queueBind(queueName, EXCHANGE_NAME, "warning");
System.out.println("消费者等待接收消息......");
DeliverCallback deliverCallback = (consumerTag, message)-> {
String routingKey = message.getEnvelope().getRoutingKey();
System.out.println("routingKey:"+routingKey+"收到消息:"+new String(message.getBody()));
};
//进行消费
channel.basicConsume(queueName, true, deliverCallback, (consumerTag)->{});
}
}
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
package com.zdk.direct;
import com.rabbitmq.client.Channel;
import com.rabbitmq.client.DeliverCallback;
import com.zdk.utils.RabbitMQUtils;
/**
* @author zdk
* @date 2022/5/3 19:23
*/
public class ErrorConsumer {
public static final String EXCHANGE_NAME = "logs2";
public static void main(String[] args) throws Exception {
Channel channel = RabbitMQUtils.getChannel();
//创建队列
String queueName = channel.queueDeclare().getQueue();
//给这个队列只绑定error
channel.queueBind(queueName, EXCHANGE_NAME, "error");
System.out.println("消费者等待接收消息......");
DeliverCallback deliverCallback = (consumerTag, message)-> {
String routingKey = message.getEnvelope().getRoutingKey();
System.out.println("routingKey:"+routingKey+"收到消息:"+new String(message.getBody()));
};
//进行消费
channel.basicConsume(queueName, true, deliverCallback, (consumerTag)->{});
}
}
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
运行结果:
总结
direct模式的交换机,可以根据routingKey,即队列与交换机绑定的key,来决定将消息分发给哪个队列供消费者消费;也可以理解为,队列与交换机绑定时,设定了routingKey,就只会接收交换机发送的与这个routingKey相等的消息,可以实现不同消息的分别消费,提高灵活性
# Topics exchange
# Topic 的介绍
在上一部分中,我们改进了日志记录系统。我们没有使用只能进行随意广播的 fanout 交换机,而是使用了 direct 交换机,从而有能实现有选择性地接收日志。
尽管使用 direct 交换机改进了我们的系统,但是它仍然存在局限性——比方说我们想接收的日志类型有 info.base 和 info.advantage,某个队列只想 info.base 的消息,那这个时候direct 就办不到了。这个时候就只能使用 topic 类型
Topic的要求
发送到类型是 topic 交换机的消息的 routingKey 不能随意写,必须满足一定的要求,它必须是一个单词列表,以点号分隔开。这些单词可以是任意单词
比如说:"stock.usd.nyse", "nyse.vmw", "quick.orange.rabbit"这种类型的。
当然这个单词列表最多不能超过 255 个字节。
在这个规则列表中,其中有两个替换符是大家需要注意的:
- *(星号)可以代替一个单词
- #(井号)可以替代零个或多个单词
# Topic 匹配案例
下图绑定关系如下
Q1-->绑定的是
- 中间带 orange 带 3 个单词的字符串
(*.orange.*)
- 中间带 orange 带 3 个单词的字符串
Q2-->绑定的是
- 最后一个单词是 rabbit 的 3 个单词
(*.*.rabbit)
- 第一个单词是 lazy 的多个单词
(lazy.#)
- 最后一个单词是 rabbit 的 3 个单词
上图是一个队列绑定关系图,我们来看看他们之间数据接收情况是怎么样的
例子 | 说明 |
---|---|
quick.orange.rabbit | 被队列 Q1Q2 接收到 |
azy.orange.elephant | 被队列 Q1Q2 接收到 |
quick.orange.fox | 被队列 Q1 接收到 |
lazy.brown.fox | 被队列 Q2 接收到 |
lazy.pink.rabbit | 虽然满足两个绑定但只被队列 Q2 接收一次 |
quick.brown.fox | 不匹配任何绑定不会被任何队列接收到会被丢弃 |
quick.orange.male.rabbit | 是四个单词不匹配任何绑定会被丢弃 |
lazy.orange.male.rabbit | 是四个单词但匹配 Q2 |
注意:
- 当一个队列绑定键是#,那么这个队列将接收所有数据,就有点像 fanout 了
- 如果队列绑定键当中没有#和*出现,那么该队列绑定类型就是 direct 了
# Topic 实战
代码如下:
package com.zdk.topic;
import com.rabbitmq.client.BuiltinExchangeType;
import com.rabbitmq.client.Channel;
import com.zdk.utils.RabbitMQUtils;
import java.util.HashMap;
import java.util.Map;
/**
* @author zdk
* @date 2022/5/3 20:16
*/
public class EmitLogTopic {
private static final String EXCHANGE_NAME = "topic_logs";
public static void main(String[] args) throws Exception {
Channel channel = RabbitMQUtils.getChannel();
channel.exchangeDeclare(EXCHANGE_NAME, BuiltinExchangeType.TOPIC);
/*
Q1-->绑定的是
中间带 orange 带 3 个单词的字符串(*.orange.*)
Q2-->绑定的是
最后一个单词是 rabbit 的 3 个单词(*.*.rabbit)
第一个单词是 lazy 的多个单词(lazy.#)
*/
Map<String, String> bindingKeyMap = new HashMap<>();
bindingKeyMap.put("quick.orange.rabbit", "被队列 Q1Q2 接收到");
bindingKeyMap.put("lazy.orange.elephant", "被队列 Q1Q2 接收到");
bindingKeyMap.put("quick.orange.fox", "被队列 Q1 接收到");
bindingKeyMap.put("lazy.brown.fox", "被队列 Q2 接收到");
bindingKeyMap.put("lazy.pink.rabbit", "虽然满足两个绑定但只被队列 Q2 接收一次");
bindingKeyMap.put("quick.brown.fox", "不匹配任何绑定不会被任何队列接收到会被丢弃");
bindingKeyMap.put("quick.orange.male.rabbit", "是四个单词不匹配任何绑定会被丢弃");
bindingKeyMap.put("lazy.orange.male.rabbit", "是四个单词但匹配 Q2");
for (Map.Entry<String, String> bindingKeyEntry : bindingKeyMap.entrySet()) {
String bindingKey = bindingKeyEntry.getKey();
String message = bindingKeyEntry.getValue();
channel.basicPublish(EXCHANGE_NAME, bindingKey, null, message.getBytes("UTF-8"));
System.out.println("生产者发出消息:" + message);
}
}
}
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
package com.zdk.topic;
import com.rabbitmq.client.Channel;
import com.rabbitmq.client.DeliverCallback;
import com.zdk.utils.RabbitMQUtils;
import java.nio.charset.StandardCharsets;
/**
* @author zdk
* @date 2022/5/3 20:17
*/
public class ReceiveLogsTopic01 {
private static final String EXCHANGE_NAME = "topic_logs";
public static void main(String[] args) throws Exception {
Channel channel = RabbitMQUtils.getChannel();
//声明 Q1 队列与绑定关系
String queueName = "Q1";
//声明
channel.queueDeclare(queueName, false, false, false, null);
//绑定
channel.queueBind(queueName, EXCHANGE_NAME, "*.orange.*");
System.out.println("等待接收消息........... ");
DeliverCallback deliverCallback = (consumerTag, delivery) -> {
String message = new String(delivery.getBody(), StandardCharsets.UTF_8);
System.out.println(" 接收队列:" + queueName + " 绑定键:" + delivery.getEnvelope().getRoutingKey() + ",消息:" + message);
};
channel.basicConsume(queueName, true, deliverCallback, consumerTag -> {
});
}
}
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
package com.zdk.topic;
import com.rabbitmq.client.Channel;
import com.rabbitmq.client.DeliverCallback;
import com.zdk.utils.RabbitMQUtils;
import java.nio.charset.StandardCharsets;
/**
* @author zdk
* @date 2022/5/3 20:17
*/
public class ReceiveLogsTopic02 {
private static final String EXCHANGE_NAME = "topic_logs";
public static void main(String[] args) throws Exception {
Channel channel = RabbitMQUtils.getChannel();
//声明 Q2 队列与绑定关系
String queueName = "Q2";
//声明
channel.queueDeclare(queueName, false, false, false, null);
//绑定
channel.queueBind(queueName, EXCHANGE_NAME, "*.*.rabbit");
channel.queueBind(queueName, EXCHANGE_NAME, "lazy.#");
System.out.println("等待接收消息........... ");
DeliverCallback deliverCallback = (consumerTag, delivery) -> {
String message = new String(delivery.getBody(), StandardCharsets.UTF_8);
System.out.println(" 接收队列:" + queueName + " 绑定键:" + delivery.getEnvelope().getRoutingKey() + ",消息:" + message);
};
channel.basicConsume(queueName, true, deliverCallback, consumerTag -> {
});
}
}
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
总结
topic模式实际上是包含了之前的fanout和direct模式。因为如果一个队列绑定的routingKey只是单独的'#'号,那么这个队列就会收到所有消息,类似fanout;如果一个队列绑定改的routingKey不包含'#'和'.',那么它只能收到指定的消息,类似direct模式。所以在多数情况下声明交换机的时候,声明其为topic模式的即可,然后改变routingKey去进行灵活适配