redis缓存大量数据-redis存数据慢(4-8-38)

更新时间：2024-12-14 分类：Redis 浏览量：2

Redis本文目录一览：

Set适合经常地随机储存，插入，删除。但是在遍历时效率比较低。Set对每个对象只接受一次，并使用自己内部的排序方法（通常，你只关心某个元素是否属于Set，而不关心它的顺序--否则应该使用List）。

Redis将所有数据放在内存中，非数据同步正常工作中，是不需要从磁盘读取数据的，0次IO。内存响应时间大约为100纳秒，这是Redis速度快的重要基础。

在Redis中，这些复杂的操作通常和一般的GET/SET一样高效。所以，如果需要缓存能够支持更复杂的结构和操作，那么Redis会是不错的选择。

性能极限：在seckill场景下，性能总是被要求越高越好我们来看下如何利用Redis来解决上面的三个问题。库存安全利用Redis来做库存扣减，避免超限的方法很多，坑也很多，我们先来看下常用的陷阱有哪些。

类型不同 MySQL是关系型数据库；而Redis是非关系型数据库。作用不同 mysql用于持久化的存储数据到硬盘，功能强大，但是速度较慢。redis用于存储使用较为频繁的数据到缓存中，读取速度快。

mysql偏向于存数据，redis偏向于快速取数据，但redis查询复杂的表关系时不如mysql，所以可以把热门的数据放redis，mysql存基本数据看项目用在哪个地方吧，根据各自的所长结合起来才好用。

redis可以作为存储的扩展部分，但是不能直接替换掉mysql。redis对事务的支持还是比较简单的。但是redis的性能和扩展性比较好，使用起来比较方便。不会的。只能是一种互补。

1、数据库负载过高：如果Redis实例的负载较高，就会导致set操作的响应时间变慢。可以通过查看Redis的监控信息，确定是否存在负载过高的情况。网络延迟：如果Redis服务器和客户端之间的网络延迟较大，会导致set操作的耗时增加。

2、内存中的的数据写入磁盘，这个会加重磁盘的IO负担，操作磁盘成本要比操作内存的代价大得多。如果写入量很大，那么每次更新都会写入磁盘，此时机器的磁盘IO就会非常高，拖慢Redis的性能，因此我们不建议使用这种机制。

3、记录慢查询是Redis会对长命令进行截断，不会大量占用大量内存。在实际的生产环境中，为了减缓慢查询被移出的可能和更方便地定位慢查询，建议将慢查询日志的长度调整的大一些。比如可以设置为 1000以上。

4、redis并不会因为key的增加而导致写入明显变慢，肯定是其他因素。如果redis开启了持久化，在进行持久化时，性能必然下降，可以使用config命令查看持久化设置了没有。

5、将no-appendfsync-on-rewrite的配置设为yes可以缓解这个问题，设置为yes表示rewrite期间对新写操作不fsync，暂时存在内存中，等rewrite完成后再写入。最好是不开启Master的AOF备份功能。

1、一旦文件创建完，剩下的动作就是尽可能快的将其提供给Redis。

2、从MySQL中将数据导入到Redis的Hash结构中。当然，最直接的做法就是遍历MySQL数据，一条一条写入到Redis中。这样没什么错，但是速度会非常慢。

3、redis提供两种方式进行持久化，一种是RDB持久化：指在指定的时间间隔内将内存中的数据集快照写入磁盘，实际操作过程是fork一个子进程，先将数据集写入临时文件，写入成功后，再替换之前的文件，用二进制压缩存储。

4、使用SparkRedisConnector：使用SparkRedisConnector是Redis批量读取数据到Spark的一种常用方法。这种方法可以高效地批量读取Redis数据，并利用Spark的分布式处理能力进行大规模数据处理。

5、Redis 持久化也是 Redis？和 Memcached 的主要区别之一，因为 Memcached？是不具备持久化功能的。