kafka redis性能-kafka和redis高可用(9-13-54)

Redis本文目录一览：

• 1、kafka原理分析
• 2、RabbitMQ与redis的区别是什么呢?
• 3、redis适合什么场景
• 4、Redis、Kafka或RabbitMQ:哪个作为微服务消息代理最合适?
• 5、玩转Redis的高可用(主从、哨兵、集群)

kafka原理分析

Kafka是一个消息系统，原本开发自LinkedIn，用作LinkedIn的活动流数据（ActivityStream）和运营数据处理管道（Pipeline）的基础。现在它已被多家公司作为多种类型的数据管道和消息系统使用。

Kafka 有两种分配策略，一个是 RoundRobin，一个是 Range，默认为Range，当消费者组内消费者发生变化时，会触发分区分配策略（方法重新分配）。以上三种现象会使partition的所有权在消费者之间转移，这样的行为叫作再均衡。

Kafka 是一个消息系统，原本开发自 LinkedIn，用作 LinkedIn 的 活动流数据 （Activity Stream）和 运营数据 处理管道（Pipeline）的基础。现在它已被多家公司作为多种类型的数据管道和消息系统使用。

RabbitMQ与redis的区别是什么呢?

其次是Redis，Redis是一个基于Key-Value对的NoSQL数据库，开发维护很活跃。虽然它是一个Key-Value数据库存储系统，但它本身支持MQ功能，所以完全可以当做一个轻量级的队列服务来使用。

我们介绍了RabbitMQ，Kafka和Redis的一些特征。这三种动物都是它们的类别，但是如上所述，它们的运行方式大不相同。这是我们建议正确的消息代理根据不同用例使用的建议。

测试数据分为128Bytes、512Bytes、1K和10K四个不同大小的数据。

redis只是提供一个高性能的、原子操作内存键值对，具有高速访问能力，可用做消息队列的存储，但是不具备消息队列的任何功能和逻辑，要作为消息队列来实现的话，功能和逻辑要通过上层应用自己实现。我们以RabbitMQ为例介绍。

RabbitMQ与redis的区别是什么呢？我们介绍了RabbitMQ，Kafka和Redis的一些特征。这三种动物都是它们的类别，但是如上所述，它们的运行方式大不相同。这是我们建议正确的消息代理根据不同用例使用的建议。

redis适合什么场景

- 计数器：Redis 提供的 incr 命令可以实现计数器，适用于电商网站的浏览量、视频的播放量等场景。- 排行榜：Redis 提供的有序集合数据类型能实现各种复杂排行榜的应用。

云数据库redis的应用场景有：缓存、会话存储、发布/订阅系统、计数器和排行榜、实时数据分析。缓存 Redis最常见的用途就是作为缓存层，由于Redis存储在内存中，读写速度非常快，可以显著减轻数据库或其他后端服务的负载压力。

redis是一种支持Key-Value等多种数据结构的存储系统。可用于缓存，事件发布或订阅，高速队列等场景。该数据库使用ANSI C语言编写，支持网络，提供字符串，哈希，列表，队列，集合结构直接存取，基于内存，可持久化。

redis是key-value存储系统。key-value分布式存储系统查询速度快、存放数据量大、支持高并发，非常适合通过主键进行查询，但不能进行复杂的条件查询。

③Redis应用场景，它能做什么 众多语言都支持Redis，因为Redis交换数据快，所以在服务器中常用来存储一些需要频繁调取的数据，这样可以大大节省系统直接读取磁盘来获得数据的I/O开销，更重要的是可以极大提升速度。

redis是内存数据库，访问速度非常快，所以能够解决的也都是这些缓存类型的问题，如下：会话缓存（SessionCache）最常用的一种使用Redis的情景是会话缓存（sessioncache）。

Redis、Kafka或RabbitMQ:哪个作为微服务消息代理最合适?

我们介绍了RabbitMQ，Kafka和Redis的一些特征。这三种动物都是它们的类别，但是如上所述，它们的运行方式大不相同。这是我们建议正确的消息代理根据不同用例使用的建议。

Kafka和RabbitMq一样是通用意图消息代理，他们都是以分布式部署为目的。但是他们对消息语义模型的定义的假设是非常不同的。我对AMQP 更成熟这个论点是持怀疑态度的。让我们用事实说话来看看用什么解决方案来解决你的问题。

kafka是个日志处理缓冲组件，在大数据信息处理中使用。和传统的消息队列相比较简化了队列结构和功能，以流形式处理存储（持久化）消息（主要是日志）。

玩转Redis的高可用(主从、哨兵、集群)

1、基于以上，Redis集群方案显得尤为重要。通常有3个途径：官方Redis Cluster；通过Proxy分片；客户端分片（Smart Client）。以上三种方案各有利弊。

2、主从复制可以提高Redis集群的可用性，当主节点出现故障时，从节点可以自动或者手动替代主节点的职责，从而保证Redis集群的高可用性。

3、哨兵集群，基于主从复制模式，所有的主从配置优点，它全有。主从可以切换，故障可以转移，系统的可用性就会更好。哨兵模式就是主从模式的升级，手动到自动，更加健壮。集群容量一旦到达上限，在线扩容十分麻烦。

4、主节点会定期将数据同步到从节点中，保证数据一致性的问题。这种集群方式在运行时存在一些问题：Redis的哨兵机制就是解决主从复制存在缺陷（选举问题），解决问题保证我们的Redis高可用，实现自动化故障发现与故障转移。