赞
踩
翻译地址:http://www.rabbitmq.com/tutorials/tutorial-five-java.html
在上一篇博文中,我们进一步改良了日志系统。使用Direct类型的转换器,使得接收者有能力进行选择性的接收日志,,而非fanout那样,只能够无脑的转发,如果你还不了解,请阅读:轻松搞定RabbitMQ(四)——发布/订阅。
虽然使用Direct类型的转换器改进了日志系统。但它仍然有一定的局限性——不能根据多重条件进行路由选择。
在我们的日志系统中,我们可能不仅仅根据日志严重性订阅日志,也想根据发送源订阅。你可能从unix工具syslog了解过这个概念,它可以根据严重性(info/warning/crit…)和设备(auth/cron/kern…)转发日志。
这将给我们更多的灵活性——我们可以订阅来自元‘cron’的致命错误日志,同时也可以订阅‘kern’的所有日志。
为了在我们的日志系统中实现上述需求,我们需要了解更复杂的主题类型的转发器——Topic Exchange。
发送给主题转发器的消息不能是任意设置的选择键,必须是用小数点隔开的一系列的标识符。这些标识符可以是随意,但是通常跟消息的某些特性相关联。一些合法的路由选择键比如“socket.usd.nyse”,"nyse.vmw","quick.orange.rabbit",你愿意用多少单词都可以,只要不超过上限的255个字节。
绑定键也必须以相同的格式。主题转发器的逻辑类似于direct类型的转发器。消息通过一个特定的路由键发送到所有与绑定键匹配的队列中。需要注意的是,关于绑定键有两种特殊的情况:*(星号)可以代替任意一个标识符 ;#(井号)可以代替零个或多个标识符。
举一个简单例子,如下图:
在上图例子中,我们发送描述动物的消息。消息会转发给包含3个单词(2个小数点)的路由键绑定的队列中。绑定键中的第一个单词描述的是速度,第二个是颜色,第三个是物种:“速度.颜色.物种”。
我们创建3个绑定:Q1绑定键是“.orange.”,Q2绑定键是“..rabbit”,Q3绑定键是“lazy.#”。这些绑定可以概括为:Q1只对橙色的动物感兴趣。Q2则是关注兔子和所有懒的动物。
路由键为“quick.orange.rabbit”的消息会被路由到2个队列中去。而“lazy.orange.elephant”的消息同样会发往2个队列。另外“quick.orange.fox” 仅仅发往第一个队列,而"lazy.brown.fox"则只发往第二个队列。“quick.brown.fox”则所有的绑定键都不匹配而被丢弃。
如果我们违反约定,发送了只带1个或者4个标识符的选择键,像“orange”或者“quick.orange.male.rabbit”,会发生什么呢?这些消息都不匹配任何绑定,所以将被丢弃。
另外,“lazy.orange.male.rabbit”,尽管有4个标识符,但是仍然匹配最后一个绑定键,所以会发送到第二个队列中。
注:主题类型的转发器非常强大,可以实现其他类型的转发器。当队列绑定#绑定键,可以接受任何消息,类似于fanout转发器。当特殊字符*和#不包含在绑定键中,这个主题转发器就像一个direct类型的转发器。
我们将主题类型的转发器应用到日志系统中,路由格式为:“<设备>.<严重级别>”。
发送端(EmitLogTopic.java)
- public class EmitLogDirect {
- private final static String EXCHANGE_NAME = "topic_logs";
-
- public static void main(String[] args) throws IOException {
- /**
- * 创建连接连接到MabbitMQ
- */
- ConnectionFactory factory = new ConnectionFactory();
- // 设置MabbitMQ所在主机ip或者主机名
- factory.setHost("127.0.0.1");
- // 创建一个连接
- Connection connection = factory.newConnection();
- // 创建一个频道
- Channel channel = connection.createChannel();
- // 指定转发——广播
- channel.exchangeDeclare(EXCHANGE_NAME, "topic");
-
- //所有设备和日志级别
- String[] facilities ={"auth","cron","kern","auth.A"};
- String[] severities={"error","info","warning"};
-
- for(int i=0;i<4;i++){
- for(int j=0;j<3;j++){
- //每一个设备,每种日志级别发送一条日志消息
- String routingKey = facilities[i]+"."+severities[j%3];
-
- // 发送的消息
- String message =" Hello World!"+Strings.repeat(".", i+1);
- //参数1:exchange name
- //参数2:routing key
- channel.basicPublish(EXCHANGE_NAME, routingKey, null, message.getBytes());
- System.out.println(" [x] Sent [" + routingKey +"] : '"+ message + "'");
- }
- }
- // 关闭频道和连接
- channel.close();
- connection.close();
- }
- }
消费者1(ReceiveLogs2Console.java)
- public class ReceiveLogs2Console {
- private static final String EXCHANGE_NAME = "topic_logs";
-
- public static void main(String[] argv) throws IOException, InterruptedException {
- ConnectionFactory factory = new ConnectionFactory();
- factory.setHost("127.0.0.1");
- // 打开连接和创建频道,与发送端一样
- Connection connection = factory.newConnection();
- final Channel channel = connection.createChannel();
-
- //声明exchange
- channel.exchangeDeclare(EXCHANGE_NAME, "topic");
- // 声明一个随机队列
- String queueName = channel.queueDeclare().getQueue();
-
- String[] routingKeys ={"auth.*","*.info","#.warning"};//关注所有的授权日志、所有info和waring级别的日志
- for (String routingKey : routingKeys) {
- //关注所有级别的日志(多重绑定)
- channel.queueBind(queueName, EXCHANGE_NAME, routingKey);
- }
- System.out.println(" [*] Waiting for messages. To exit press CTRL+C");
-
- // 创建队列消费者
- final Consumer consumer = new DefaultConsumer(channel) {
- @Override
- public void handleDelivery(String consumerTag, Envelope envelope, AMQP.BasicProperties properties, byte[] body) throws IOException {
- String message = new String(body, "UTF-8");
- System.out.println(" [x] Received [" + envelope.getRoutingKey() + "] :'" + message + "'");
- }
- };
- channel.basicConsume(queueName, true, consumer);
- }
- }
消费者2(ReceiveLogs2File.java)
- public class ReceiveLogs2File {
- private static final String EXCHANGE_NAME = "topic_logs";
-
- public static void main(String[] argv) throws IOException, InterruptedException {
- ConnectionFactory factory = new ConnectionFactory();
- factory.setHost("127.0.0.1");
- // 打开连接和创建频道,与发送端一样
- Connection connection = factory.newConnection();
- final Channel channel = connection.createChannel();
-
- channel.exchangeDeclare(EXCHANGE_NAME, "topic");
- // 声明一个随机队列
- String queueName = channel.queueDeclare().getQueue();
- channel.queueBind(queueName, EXCHANGE_NAME, "");
-
- String severity="kern.error";//只关注核心错误级别的日志,然后记录到文件中去。
- channel.queueBind(queueName, EXCHANGE_NAME, severity);
-
- System.out.println(" [*] Waiting for messages. To exit press CTRL+C");
-
- // 创建队列消费者
- final Consumer consumer = new DefaultConsumer(channel) {
- @Override
- public void handleDelivery(String consumerTag, Envelope envelope, AMQP.BasicProperties properties, byte[] body) throws IOException {
- String message = new String(body, "UTF-8");
- //记录日志到文件:
- print2File( "["+ envelope.getRoutingKey() + "] "+message);
- }
- };
- channel.basicConsume(queueName, true, consumer);
- }
-
- private static void print2File(String msg) {
- try {
- String dir = ReceiveLogs2File.class.getClassLoader().getResource("").getPath();
- String logFileName = new SimpleDateFormat("yyyy-MM-dd").format(new Date());
- File file = new File(dir, logFileName + ".log");
- FileOutputStream fos = new FileOutputStream(file, true);
- fos.write((new SimpleDateFormat("HH:mm:ss").format(new Date())+" - "+msg + "\r\n").getBytes());
- fos.flush();
- fos.close();
- } catch (FileNotFoundException e) {
- e.printStackTrace();
- } catch (IOException e) {
- e.printStackTrace();
- }
- }
- }
最终结果:
翻译:http://www.rabbitmq.com/tutorials/tutorial-six-java.html
在第二篇博文中,我们已经了解到了如何使用工作队列来向多个消费者分散耗时任务。
但是付过我们需要在远程电脑上运行一个方法然后等待结果,该怎么办?这是不同的需求。这个模式通常叫做RPC。
本文我们将使用RabbitMQ构建一个RPC系统:一个客户端和一个可扩展的RPC服务器端。由于我们没有任何真实的耗时任务需要分配,所以我们将创建一个虚拟的RPC服务,可以返回斐波纳契数列。
为了说明RPC服务可以使用,我们创建一个简单的客户端类。暴露一个方法——发送RPC请求,然后阻塞直到获得结果。
- FibonacciRpcClient fibonacciRpc = new FibonacciRpcClient();
- String result = fibonacciRpc.call("4");
- System.out.println( "fib(4) is " + result);
一般在RabbitMQ中做RPC是很简单的。客户端发送请求消息,服务器回复响应的消息。为了接受响应的消息,我们需要在请求消息中发送一个回调队列。可以用默认的队列(仅限java客户端)。试一试吧:
- BasicProperties props = new BasicProperties
- .Builder()
- .replyTo(callbackQueueName)
- .build();
-
- channel.basicPublish("", "rpc_queue", props, message.getBytes());
-
- // ... then code to read a response message from the callback_queue ...
-
AMQP协议为消息预定义了一组14个属性。大部分的属性是很少使用的。除了一下几种:
我们需要添加一个新的导入
import com.rabbitmq.client.AMQP.BasicProperties;
在上述方法中为每个RPC请求创建一个回调队列。这是很低效的。幸运的是,一个解决方案:可以为每个客户端创建一个单一的回调队列。
新的问题被提出,队列收到一条回复消息,但是不清楚是那条请求的回复。这是就需要使用correlationId属性了。我们要为每个请求设置唯一的值。然后,在回调队列中获取消息,看看这个属性,关联response和request就是基于这个属性值的。如果我们看到一个未知的correlationId属性值的消息,可以放心的无视它——它不是我们发送的请求。
你可能问道,为什么要忽略回调队列中未知的信息,而不是当作一个失败?这是由于在服务器端竞争条件的导致的。虽然不太可能,但是如果RPC服务器在发送给我们结果后,发送请求反馈前就挂掉了,这有可能会发送未知correlationId属性值的消息。如果发生了这种情况,重启RPC服务器将会重新处理该请求。这就是为什么在客户端必须很好的处理重复响应,RPC应该是幂等的。
我们的RPC的处理流程:
RPC服务器端(RPCServer.java)
- /**
- * RPC服务器端
- *
- * @author arron
- * @date 2015年9月30日 下午3:49:01
- * @version 1.0
- */
- public class RPCServer {
-
- private static final String RPC_QUEUE_NAME = "rpc_queue";
-
- public static void main(String[] args) throws Exception {
- ConnectionFactory factory = new ConnectionFactory();
- // 设置MabbitMQ所在主机ip或者主机名
- factory.setHost("127.0.0.1");
- // 创建一个连接
- Connection connection = factory.newConnection();
- // 创建一个频道
- Channel channel = connection.createChannel();
-
- //声明队列
- channel.queueDeclare(RPC_QUEUE_NAME, false, false, false, null);
-
- //限制:每次最多给一个消费者发送1条消息
- channel.basicQos(1);
-
- //为rpc_queue队列创建消费者,用于处理请求
- QueueingConsumer consumer = new QueueingConsumer(channel);
- channel.basicConsume(RPC_QUEUE_NAME, false, consumer);
-
- System.out.println(" [x] Awaiting RPC requests");
-
- while (true) {
- QueueingConsumer.Delivery delivery = consumer.nextDelivery();
-
- //获取请求中的correlationId属性值,并将其设置到结果消息的correlationId属性中
- BasicProperties props = delivery.getProperties();
- BasicProperties replyProps = new BasicProperties.Builder().correlationId(props.getCorrelationId()).build();
- //获取回调队列名字
- String callQueueName = props.getReplyTo();
-
- String message = new String(delivery.getBody(),"UTF-8");
-
- System.out.println(" [.] fib(" + message + ")");
-
- //获取结果
- String response = "" + fib(Integer.parseInt(message));
- //先发送回调结果
- channel.basicPublish("", callQueueName, replyProps,response.getBytes());
- //后手动发送消息反馈
- channel.basicAck(delivery.getEnvelope().getDeliveryTag(), false);
- }
- }
-
- /**
- * 计算斐波列其数列的第n项
- *
- * @param n
- * @return
- * @throws Exception
- */
- private static int fib(int n) throws Exception {
- if (n < 0)
- throw new Exception("参数错误,n必须大于等于0");
- if (n == 0)
- return 0;
- if (n == 1)
- return 1;
- return fib(n - 1) + fib(n - 2);
- }
- }
RPC客户端(RPCClient.java):
- /**
- *
- * @author arron
- * @date 2015年9月30日 下午3:44:43
- * @version 1.0
- */
- public class RPCClient {
-
- private static final String RPC_QUEUE_NAME = "rpc_queue";
-
- private Connection connection;
- private Channel channel;
- private String replyQueueName;
- private QueueingConsumer consumer;
-
- public RPCClient() throws Exception {
- ConnectionFactory factory = new ConnectionFactory();
- // 设置MabbitMQ所在主机ip或者主机名
- factory.setHost("127.0.0.1");
- // 创建一个连接
- connection = factory.newConnection();
- // 创建一个频道
- channel = connection.createChannel();
-
- //声明队列
- channel.queueDeclare(RPC_QUEUE_NAME, false, false, false, null);
-
- //为每一个客户端获取一个随机的回调队列
- replyQueueName = channel.queueDeclare().getQueue();
- //为每一个客户端创建一个消费者(用于监听回调队列,获取结果)
- consumer = new QueueingConsumer(channel);
- //消费者与队列关联
- channel.basicConsume(replyQueueName, true, consumer);
- }
-
- /**
- * 获取斐波列其数列的值
- *
- * @param message
- * @return
- * @throws Exception
- */
- public String call(String message) throws Exception{
- String response = null;
- String corrId = java.util.UUID.randomUUID().toString();
-
- //设置replyTo和correlationId属性值
- BasicProperties props = new BasicProperties.Builder().correlationId(corrId).replyTo(replyQueueName).build();
-
- //发送消息到rpc_queue队列
- channel.basicPublish("", RPC_QUEUE_NAME, props, message.getBytes());
-
- while (true) {
- QueueingConsumer.Delivery delivery = consumer.nextDelivery();
- if (delivery.getProperties().getCorrelationId().equals(corrId)) {
- response = new String(delivery.getBody(),"UTF-8");
- break;
- }
- }
-
- return response;
- }
-
- public static void main(String[] args) throws Exception {
- RPCClient fibonacciRpc = new RPCClient();
- String result = fibonacciRpc.call("4");
- System.out.println( "fib(4) is " + result);
- }
- }
输出结果:
fib(4) is 3
微信公众号【程序员黄小斜】新生代青年聚集地,程序员成长充电站。作者黄小斜,职业是阿里程序员,身份是斜杠青年,希望和更多的程序员交朋友,一起进步和成长!专注于分享技术、面试、职场等成长干货,这一次,我们一起出发。
关注公众号后回复“2020”领取我这两年整理的学习资料,涵盖自学编程、求职面试、算法刷题、Java技术学习、计算机基础和考研等8000G资料合集。
微信公众号【Java技术江湖】一位阿里 Java 工程师的技术小站,专注于 Java 相关技术:SSM、SpringBoot、MySQL、分布式、中间件、集群、Linux、网络、多线程,偶尔讲点Docker、ELK,同时也分享技术干货和学习经验,致力于Java全栈开发!
关注公众号后回复“PDF”即可领取200+页的《Java工程师面试指南》强烈推荐,几乎涵盖所有Java工程师必知必会的知识点。
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。