redis 1000万数据-Redis一次拿5万数据(6-17-32)

Redis本文目录一览：

• 1、刚刚问我,redis持久化数据到数据库是怎么操作的
• 2、Redis为什么会那么快?
• 3、Redis内存满了会怎么样?
• 4、关于Redis批量写入的介绍
• 5、redis批量读取数据spark

刚刚问我,redis持久化数据到数据库是怎么操作的

前言Redis是一种高级key-value数据库。它跟memcached类似，不过数据可以持久化，而且支持的数据类型很丰富。有字符串，链表，集 合和有序集合。支持在服务器端计算集合的并，交和补集（difference）等，还支持多种排序功能。

AOF（append only file）持久化：以独立日志的方式记录每次写命令，重启时再重新执行AOF文件中的命令达到恢复数据的目的。AOF的主要作用是解决了数据持久化的实时性，目前已经是Redis持久化的主流方式。

那么问题来了，它是怎么做到的呢？RDBRDB就是持久化的一种手段，把内存中数据在某些条件下写到磁盘中去。

Redis 集合的数据持久化有两种方式，分别是 RDB （Redis Database）和 AOF （Append Only File）。

flushall 命令用于清空 Redis 数据库，在生产环境下一定慎用，当 Redis 执行了 flushall 命令之后，则会触发自动持久化，把 RDB 文件清空。

Redis为什么会那么快?

Redis 的执行效率快的原因有以下几点：- Redis 将数据储存在内存里面，读写数据的时候都不会受到硬盘 I/O 速度的限制，所以速度极快。

Redis 之所以快，是因为它完全基于内存，绝大部分请求是纯粹的内存操作，非常快速。数据存在内存中，类似于HashMap，HashMap的优势就是查找和操作的时间复杂度都是O（1）。

Redis是纯内存数据库，一般都是简单的存取操作，线程占用的时间很多，时间的花费主要集中在IO上，所以读取速度快。

Redis内存满了会怎么样?

1、获取当前内存淘汰策略：通过配置文件设置淘汰策略（修改redis.conf文件）：通过命令修改淘汰策略：近似LRU算法 Redis使用的是近似LRU算法，它跟常规的LRU算法还不太一样。

2、与RDB 存储某个时刻的快照不同， AOF 持久化方式会记录客户端对服务器的每一次写操作命令，并将这些写操作以 Redis 协议追加保存到以后缀为 aof 文件末尾，在Redis服务器重启时，会加载并运行 aof 文件的命令，以达到恢复数据的目的。

3、数据库负载过高：如果Redis实例的负载较高，就会导致set操作的响应时间变慢。可以通过查看Redis的监控信息，确定是否存在负载过高的情况。网络延迟：如果Redis服务器和客户端之间的网络延迟较大，会导致set操作的耗时增加。

4、内存限制：Redis是基于内存的存储系统，当缓存数据量过大时，可能会消耗大量内存资源，影响软件其他功能的性能。缓存穿透、缓存击穿和缓存雪崩：这些现象可能导致缓存系统承受较大压力，进而影响整个软件的性能和稳定性。

5、- （jianshu.com） 在整合Redis的基础上，在新加监听配置 监听配置类 监听类 将Redis用作缓存时，如果内存空间用满，就会自动驱逐老的数据。

6、redis主要消耗内存物理资源。Redis（Remote Dictionary Server ），即远程字典服务，是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API。

关于Redis批量写入的介绍

redis-cli -x set name$i redis.log done 每次插入的值都是helloworld，但键不同，name0，name..name99999。

使用SparkRedisConnector：使用SparkRedisConnector是Redis批量读取数据到Spark的一种常用方法。这种方法可以高效地批量读取Redis数据，并利用Spark的分布式处理能力进行大规模数据处理。

第一，大量的数据是不会考虑放在JVM内存中；第二，如果需要缓存大量的dto，动态数据（又称过程数据）一般用的是redis；如果是静态，系统启动时就加载的大量配置，一般考虑放ehcache。

String字符串是最常用的数据类型，他能够存储任何类型的字符串，当然也包括二进制、JSON化的对象、甚至是base64编码之后的图片。在Redis中一个字符串最大的容量为512MB，可以说是无所不能了。

Redis hash是一个 string 类型的 field 和 value 的映射表，hash 特别适合用于存储对象。Redis list是简单的字符串列表，按照插入顺序排序。可以添加一个元素到列表的头部（左边）或者尾部（右边）。

将需要操作的key计算出对应的solt，得到hostAndPort，分组存放在一个map中。

redis批量读取数据spark

1、spark往redis刷入数据foreachpartitio。上面的代码中，一次性批量插入了整个partition的数据，单个partition的数据量太多，会导致Redis内存溢出，导致服务不可用。解决方法是在foreachPartition。

2、spark streaming作为消费者，实时的从kafka中获取数据进行计算。计算结果保存至redis，供实时推荐使用。flume+kafka+spark+redis是实时数据收集与计算的一套经典架构。

3、利用管道插入catdata.txt|redis-cli--pipeShellVSRedispipe下面通过测试来具体看看Shell批量导入和Redispipe之间的效率。测试思路：分别通过shell脚本和Redispipe向数据库中插入10万相同数据，查看各自所花费的时间。