redis消息队列实现-redis消息队列文件(9-8-20)

Redis本文目录一览：

• 1、Kafka,Mq和Redis作为消息队列使用
• 2、常用的消息队列
• 3、redis怎么做消息队列?
• 4、通过Redis消息队列实现大文件处理
• 5、Redis(五)-特性-消息队列

Kafka,Mq和Redis作为消息队列使用

1、kafka是个日志处理缓冲组件，在大数据信息处理中使用。和传统的消息队列相比较简化了队列结构和功能，以流形式处理存储（持久化）消息（主要是日志）。

2、RabbitMQ于2007年发布，是最早创建的常见消息代理之一。它是一个开放源代码，通过实现高级消息队列协议（AMQP）通过点对点和pub-sub方法传递消息。它旨在支持复杂的路由逻辑。

3、最近在看 redis 这方面的知识，发现在 redis5 中产生了一种新的数据类型 Stream ，它和 kafka 的设计有些类似，可以当作一个简单的消息队列来使用。

常用的消息队列

1、流量削锋也是消息队列中的常用场景，一般在秒杀或团抢活动中使用广泛。 应用场景：秒杀活动，一般会因为流量过大，导致流量暴增，应用挂掉。为解决这个问题，一般需要在应用前端加入消息队列。

2、ActiveMQ，是Apache出品，最流行的，能力强劲的开源消息总线。ActiveMQ 是一个完全支持JMS1和J2EE 4规范的 JMS Provider实现，尽管JMS规范出台已经是很久的事情了，但是JMS在当今的J2EE应用中间仍然扮演着特殊的地位。

3、这样发布者和使用者都不用知道对方的存在。 常用的消息队列有哪些？RabbitMQ、RocketMQ、ActiveMQ、Kafka、ZeroMQ、MetaMq。甚至现在部分NoSQL也可做消息队列，如Redis。

4、ZeroMQ号称最快的消息队列系统，尤其针对大吞吐量的需求场景。ZeroMQ能够实现RabbitMQ不擅长的高级/复杂的队列，但是开发人员需要自己组合多种技术框架，技术上的复杂度是对这MQ能够应用成功的挑战。

5、消息队列的类型介绍：消息队列目前主要有两种类型：POSIX消息队列以及系统V消息队列，系统V消息队列目前被大量使用。每个消息队列都有一个队列头，用结构struct msg_queue来描述。队列头中包含了该消息队列的大量信息。

redis怎么做消息队列?

有两种方法：Redis自带的PUB/SUB机制，即发布-订阅模式。

一般来说，消息队列有两种模式，一种是发布者订阅模式，另外一种是生产者和消费者模式。Redis的消息队列，也是基于这2种原理的实现。 发布者和订阅者模式：发布者发送消息到队列，每个订阅者都能收到一样的消息。

应用Redis实现数据的读写，同时利用队列处理器定时将数据写入mysql。

通过Redis消息队列实现大文件处理

1、通过Redis做一个计数器 每读取一行记录数值，即使服务终止后，先从Redis读取这个数值 再通过cat指定行数开始读数据即可。 通过取模拆Key 分片到不同小Key存储 ，降低单个节点存储压力，也充分利用了存储资源。

2、kafka是个日志处理缓冲组件，在大数据信息处理中使用。和传统的消息队列相比较简化了队列结构和功能，以流形式处理存储（持久化）消息（主要是日志）。

3、进行插入操作的端称为队尾，进行删除操作的端称为队头。消息队列是在消息的传输过程中保存消息的容器。

4、redis是一个使用ANSI C编写的开源、支持网络、基于内存、可选持久性的键值对存储数据库。是NoSQL（非关系型数据库）的典型代表，也是时下是最流行的键值对存储数据库。

5、这可以减轻数据库的负担，提高系统的响应速度和并发能力。Redis提供了多种队列数据结构，如列表（list）和集合（set），可以用来实现任务队列和消息队列等。

6、redis支持多种数据结构，如字符串、哈希表、列表、集合、有序集合等。这些数据结构使得redis能够灵活的存储和处理各种类型的数据。例如，哈希表可以用于存储对象，列表可以用于实现消息队列，有序集合可以用于实现排行榜等功能。

Redis(五)-特性-消息队列

消息队列要能支持组件通信消息的快速读写，而Redis本身支持数据的高速访问，正好可以满足消息队列的读写性能需求。

进行插入操作的端称为队尾，进行删除操作的端称为队头。消息队列是在消息的传输过程中保存消息的容器。

消息队列、分布式锁。消息队列：Redis可以作为一种高性能的消息队列使用，实现异步处理和解耦。分布式锁：Redis可以作为一种分布式锁的存储层，通过缓存锁信息和锁状态，实现分布式锁和并发控制。

列表（list）类型是用来存储多个有序的字符串。可以做简单的消息队列的功能。另外，可以利用 lrange 命令，做基于 Redis的分页功能，性能极佳，用户体验好。

有两种方法：Redis自带的PUB/SUB机制，即发布-订阅模式。

基于Redis消息队列-实现短信服务化 Redis实现消息队列原理，常用的消息队列有RabbitMQ，ActiveMQ，个人觉得这种消息队列太大太重，本文介绍下基于Redis的轻量级消息队列服务。