pika和redis-redis和kafka一起使用(5-13-86)

更新时间：2024-12-10 分类：Redis 浏览量：2

Redis本文目录一览：

1、基于以上，Redis集群方案显得尤为重要。通常有3个途径：官方Redis Cluster；通过Proxy分片；客户端分片（Smart Client）。以上三种方案各有利弊。

2、主从复制可以提高Redis集群的可用性，当主节点出现故障时，从节点可以自动或者手动替代主节点的职责，从而保证Redis集群的高可用性。

3、哨兵集群，基于主从复制模式，所有的主从配置优点，它全有。主从可以切换，故障可以转移，系统的可用性就会更好。哨兵模式就是主从模式的升级，手动到自动，更加健壮。集群容量一旦到达上限，在线扩容十分麻烦。

4、主节点会定期将数据同步到从节点中，保证数据一致性的问题。这种集群方式在运行时存在一些问题：Redis的哨兵机制就是解决主从复制存在缺陷（选举问题），解决问题保证我们的Redis高可用，实现自动化故障发现与故障转移。

kafka是个日志处理缓冲组件，在大数据信息处理中使用。和传统的消息队列相比较简化了队列结构和功能，以流形式处理存储（持久化）消息（主要是日志）。

我们介绍了RabbitMQ，Kafka和Redis的一些特征。这三种动物都是它们的类别，但是如上所述，它们的运行方式大不相同。这是我们建议正确的消息代理根据不同用例使用的建议。

数据库应用场景不同：Redis主要用于缓存、队列、计数器等，而关系型数据库主要用于存储关系型数据。数据库的处理方式不同：Redis可以对数据进行持久化，包括RDB快照和AOF日志两种方式，保证数据不丢失。

1、spark streaming作为消费者，实时的从kafka中获取数据进行计算。计算结果保存至redis，供实时推荐使用。flume+kafka+spark+redis是实时数据收集与计算的一套经典架构。

2、保证你上层的Framework/Application可以移植Spark是个典型，他可以跑在Mesos上，也可以跑在Yarn上，还可以跑在自己上面（Standalone），实时上，泡在Yarn上的，以及跑Standalone模式的，都挺多的。

3、答案是肯定的，下面通过canal结合Kafka来实现mysql与redis之间的数据同步。架构设计通过上述结构设计图可以很清晰的知道用到的组件：MySQL、Canal、Kafka、ZooKeeper、Redis。

4、数据到Kafka后，一路数据同步到HDFS，用于离线统计。另一路用于实时计算。由于今天时间有限，接下来只能和大家分享下实时计算的一些经验。实时计算我们选择的Spark Streaming。

5、kafka与redis的区别： redis消息推送（基于分布式 pub/sub）多用于实时性较高的消息推送，并不保证可靠。其他的mq和kafka保证可靠但有一些延迟（非实时系统没有保证延迟）。