Redis设计与实现3 哈希对象( ziplist /hashtable)
ziplist 编码的哈希对象使用压缩列表作为底层实现, 每当有新的键值对要加入到哈希对象时, 程序会先将保存了键的压缩列表节点推入到压缩列表表尾, 然后再将保存了值的压缩列表节点推入到压缩列表表尾, 因此:
保存了同一键值对的两个节点总是紧挨在一起, 保存键的节点在前, 保存值的节点在后;
先添加到哈希对象中的键值对会被放在压缩列表的表头方向, 而后来添加到哈希对象中的键值对会被放在压缩列表的表尾方向。
举个例子, 如果我们执行以下 HSET 命令, 那么服务器将创建一个列表对象作为 profile 键的值:
另一方面, hashtable 编码的哈希对象使用字典作为底层实现, 哈希对象中的每个键值对都使用一个字典键值对来保存:
Redis 的字典使用哈希表作为底层实现, 一个哈希表里面可以有多个哈希表节点, 而每个哈希表节点就保存了字典中的一个键值对。
Redis 字典所使用的哈希表由 dict.h/dictht 结构定义:
table 属性是一个数组, 数组中的每个元素都是一个指向 dict.h/dictEntry 结构的指针, 每个 dictEntry 结构保存着一个键值对。
size 属性记录了哈希表的大小, 也即是 table 数组的大小, 而 used 属性则记录了哈希表目前已有节点(键值对)的数量。
sizemask 属性的值总是等于 size - 1 , 这个属性和哈希值一起决定一个键应该被放到 table 数组的哪个索引上面。
图 4-1 展示了一个大小为 4 的空哈希表 (没有包含任何键值对)。
哈希表节点使用 dictEntry 结构表示, 每个 dictEntry 结构都保存着一个键值对:
key 属性保存着键值对中的键, 而 v 属性则保存着键值对中的值, 其中键值对的值可以是一个指针, 或者是一个 uint64_t 整数, 又或者是一个 int64_t 整数。
next 属性是指向另一个哈希表节点的指针, 这个指针可以将多个哈希值相同的键值对连接在一次, 以此来解决键冲突(collision)的问题。
举个例子, 图 4-2 就展示了如何通过 next 指针, 将两个索引值相同的键 k1 和 k0 连接在一起。
Redis 中的字典由 dict.h/dict 结构表示:
type 属性和 privdata 属性是针对不同类型的键值对, 为创建多态字典而设置的:
ht 属性是一个包含两个项的数组, 数组中的每个项都是一个 dictht 哈希表, 一般情况下, 字典只使用 ht[0] 哈希表, ht[1] 哈希表只会在对 ht[0] 哈希表进行 rehash 时使用。
除了 ht[1] 之外, 另一个和 rehash 有关的属性就是 rehashidx : 它记录了 rehash 目前的进度, 如果目前没有在进行 rehash , 那么它的值为 -1 。
图 4-3 展示了一个普通状态下(没有进行 rehash)的字典:
在Redis中,由于它对实时性要求更高,因此使用了渐进式rehash
当有新键值对添加到Redis字典时,有可能会触发rehash。Redis中处理哈希碰撞的方法与Java一样,都是采用链表法,整个哈希表的性能则依赖于它的大小size和它已经保存节点数量used的比率。
比率在1:1时,哈希表的性能最好,如果节点数量比哈希表大小大很多的话,则整个哈希表就退化成多个链表,其性能优势全无。
上图的哈希表,平均每次失败查找需要访问5个节点。为了保持高效性能,在不修改键值对情况下,
需要进行rehash,目标是将ratio比率维持在1:1左右。
Ratio = Used / Size
rehash触发条件:
rehash执行过程:
Redis哈希为了避免整个rehash过程中服务被阻塞,采用了渐进式的rehash,即rehash程序激活后,并不是
马上执行直到完成,而是分多次,渐进式(incremental)的完成。同时,为了保证并发安全,在执行rehash
中间执行添加时,新的节点会直接添加到ht[1]而不是ht[0], 这样保证了数据的完整性与安全性。
另一方面,哈希的Rehash在还提供了创新的(相对于Java HashMap)收缩(shrink)字典,当可用节点远远
大于已用节点的时候,rehash会自动进行收缩,具体过程与上面类似以保证比率始终高效使用。
当哈希对象可以同时满足以下两个条件时, 哈希对象使用 ziplist 编码:
还记得刚工作那会,每每听到大牛们聊技术,各种专业术语,巴拉巴拉的,简直像是在听天书,比如什么中间件、分布式、SOA、无状态、热更新、懒加载、ACID、LVS、LDAP、VIP、CDN、负载均衡、鲁棒性、POJO、DSL、DI、IOC,太多太多了。一转眼快 10 年过去了,当很多新人再问到我这些名词的时候,我就在想,能不能用通俗易懂的大白话,就能聊明白这些专业的技术知识呢?
最近,给几个公司做技术咨询,经常会聊到秒杀系统。所以,借这次机会,尝试用大白话和大家聊聊 Redis 秒杀系统的设计与实现,。
说起 “秒杀”,我相信大家肯定都耳熟能详了,双十一零点抢购、手机整点抢购、抢火车票、1 元秒杀、抢红包等等,都可以说是秒杀的各种应用场景了。
秒杀系统的设计 ,难就难在,在极短的时间内,应对瞬时涌入平时成百上千倍的巨大流量,还包括各种攻击刷量作弊等未知流量,最终我们要保证在用户体验顺畅良好的情况下,不能多卖或者少卖。
而当我们公司决定要做秒杀系统的时候,我就去找业务,到时大概会有多少 UV,不知道 10 倍或者 100 倍?然后去找老板,给技术多少预算,最多平时的 10 倍不能再多了,当然越少越好,呵呵,也就是说让我们用平时最多 10 倍的预算去解决不可预估的用户流量,怎么做?要是有钱直接扔 1 万台服务器跑去吧,钱能解决的事就不是事,但问题是现在还没那么多钱,还要把事情搞定。
在聊秒杀系统设计之前,让我们先回到现实生活中,聊聊常见的“秒杀”场景和秒杀场景的独有特点,以及它们都是怎么应对的,在应对过程中都需要注意什么。
日常生活中,其实也有很多秒杀场景,比如,早上 9 点超市开门,老大爷老大妈抢购蔬菜水果,是不是? 还有,新楼盘开盘抢购,是不是? 股市开盘、交易所现场,是不是?
对的,生活中其实有太多类似场景了, 你有没有发现“秒杀”的独有特点呢?
记住了上面三个特点,我们就可以区分和确定秒杀的业务场景了。 这里我举一个特别的例子, 你说挤公交车,算不算秒杀场景呢?
下面,我再和大家聊一个关于抢猪肉的故事。
在保安部门充分讨论之后,保安大队长决定通过以下安排,在保证人员安全的前提下,还要做到相对公平。
后来,活动井然有序的开始了,但是由于猪肉销售场地太远,销售窗口又少,老大爷和老大妈们买肉又精挑细选,导致整个过程很漫长,而且外面等候的人们都开始骚动起来,这个时候保安大队长赶紧找到经理:
故事讲完了,如果我们把上面的故事,理解为秒杀业务场景,我们就可以总结出一个 秒杀系统的设计原则 了:
《Redis设计与实现》(黄健宏)电子书网盘下载免费在线阅读
资源链接:
链接:https://pan.baidu.com/s/1M0lgX6oCAbCTQfyVSURJyQ
密码:g1k5书名:Redis设计与实现
作者:黄健宏
豆瓣评分:8.6
出版社:机械工业出版社
出版年份:2014-6
页数:388
内容简介:
【官方网站】
本书的官方网站 www.RedisBook.com 提供了书本试读、相关源码下载和勘误回报等服务,欢迎读者浏览和使用。
【编辑推荐】
系统而全面地描述了 Redis 内部运行机制
图示丰富,描述清晰,并给出大量参考信息,是NoSQL数据库开发人员案头必备
包括大部分Redis单机特征,以及所有多机特性
【读者评价】
这本书描述的知识点很丰富,覆盖很全,里面提到特性较多,有不少我们也没用过 :) 每个命令内部的机制的介绍很不错,很多估计也是首次有详细文档介绍。
——杨卫华(@TimYang)新浪微博技术总监
近几年Redis以其高性能、高灵活性的优点,变得越来越流行。但很多人在使用Redis时,仅仅还是停留在比较表层的功能性认识,缺乏对内部机制原理的深入理解。本书是huangz同学长期对Redis源码的阅读心得结晶,书中对Redis的各个方面都进行了详细且深入的讲解,将复杂的原理用最简单的方式为大家解构和讲解,强烈推荐给每一位Redis的使用者阅读。
—— iammutex,NoSQLFan站长,乐视网技术经理
Redis 是近些年来特别火爆的 NoSQL 之一。纵观中外各种书籍还没有一本能对 Redis 内部进行深入剖析,《Redis 设计与实现》可谓开此先河。常和作者在网上交流,知道作者为这本书付出了大量的心血。这本书行文流畅,思路清晰,详细地介绍了 Redis 源码的方方面面。无论是想学习 NoSQL、网络编程的初学者,还是源码控的进阶者,本书都会有很大的帮助。
—— 阮若夷,支付宝高级专家
【内容简介】
本书全面而完整地讲解了Redis的内部机制与实现方式,对Redis的大多数单机功能以及所有多机功能的实现原理进行了介绍,展示了这些功能的核心数据结构以及关键的算法思想,图示丰富,描述清晰,并给出大量参考信息。通过阅读本书,读者可以快速、有效地了解Redis的内部构造以及运作机制,更好、更高效地使用Redis。
本书主要分为四大部分。第一部分“数据结构与对象”介绍了Redis中的各种对象及其数据结构,并说明这些数据结构如何影响对象的功能和性能。第二部分“单机数据库的实现”对Redis实现单机数据库的方法进行了介绍,包括数据库、RDB持久化、AOF持久化、事件等。第三部分“多机数据库的实现”对Redis的Sentinel、复制、集群三个多机功能进行了介绍。第四部分“独立功能的实现”对Redis中各个相对独立的功能模块进行了介绍,涉及发布与订阅、事务、Lua脚本、排序、二进制位数组、慢查询日志、监视器等。本书作者专门维护了www.redisbook.com网站,提供带有详细注释的Redis源代码,以及本书相关的更新内容。
作者简介:
黄健宏 软件开发者,他喜欢函数式编程,热爱开源软件。出于对数据库的强烈兴趣,他开始阅读和分析 Redis 源代码,并对 Redis 2.6 和 Redis 3.0 的源代码进行了详细注释。他翻译并维护着 Redis 中文文档网站 www.RedisDoc .com ,编写 了 OORedis 库。除此之外,他还是《Redis in Action》一书的译者。
作者的豆瓣主页:douban.com/people/i_m_huangz/
《redis设计与实现完整》百度网盘pdf最新全集下载:
链接:https://pan.baidu.com/s/1TsSufHInxGwWGNzmnZgW3g
?pwd=wayh 提取码:wayh简介:edis设计与实现第二版高清pdf版是小编为大家搜集的经典机械图书,内容丰富,编撰细致,该图书仅供学习参考,不做商用,对Redis的大多数单机功能以及所有多机功能的实现原理进行了介绍
1.Redis设计与实现:Redis技术专家撰写,深入了解Redis技术内幕的之作。从源码角度解析Redis的架构设计、实现原理和工作机制,为高效使用 Redis 提供原理性指导;
2.深入理解Apache Dubbo与实战:主要侧重于详细解读Dubbo框架工作原理和底层机制,并结合少量核心源码进行讲解。在原理的基础上,展示一些动手扩展Dubbo特性的实战场;
3.Nacos架构&原理:Nacos 开源之前在阿里内部已经发展了十年,沉淀了很多优秀的能力,如其易用性、稳定性、实时性以及大规模的特性;也有很多历史负担,在开源的时候我们取其精华进行开源,为了提升代码的健壮性和扩展性,进行了充分的分层和模块化设计。
Redis可以说是除MySQL之外用的最多的一个数据库了!众所周知,它是一个种非关系型数据库(NoSQL),当然它的出现也绝不是为了取代MySQL。非关系型数据库有很多种类型:面向列的NoSQL、基于图的NoSQL、文档型NoSQL ...... Redis是一种Key-Value型的NoSQL。
使用Redis并不难,他和MySQL的关系也不大,甚至我觉得Redis的学习难度要小于MySQL。但是Redis在目前的技术架构中非常常见,它的作用也绝对不仅仅是缓存中间件,所以很显然这是Java从业者的必备技能。Redis在大厂面试中出现的频率非常的高,学好它能帮助你在面试中脱颖而出!
其实在写这份学习资料的时候,我才刚刚毕业,也谈不上多么精通Redis!但是我觉得学习任何一门数据库都是一个循序渐进的过程。先熟练掌握它的使用、然后了解它的底层原理、接着在实践中应用它、最后就是读源码完全吃透它!因为读者水平有限接下来我将推出 「《Java之禅 | Redis篇》」 ,希望能够给苦海中的同学一些指引,其实我觉得学完这两篇再背一下面经就可以和面试官侃侃而谈了!
最重要的事情说三遍: 「一定要多练、多练、多练!照着文档多敲多写,熟能生巧,切忌光看不动手!」
学习Redis一定逃不过黄健宏老师的这本 「《Redis设计与实现》」 ,这本书并不是教你怎么使用Redis的,而是带你深入了解Redis内部原理的!总结起来就是:通俗易懂、恍然大悟!
当然黄老师还有一本 「《Redis使用手册》」 ,这个的热度远远不如前一本,这本书更像是一本工具书,系统化介绍Redis命令和使用。
视频的话其实我觉得做的比较好的是 「尚硅谷的《Redis6入门到精通》和黑马程序员的《Redis入门到实战》」 。
「《Java之禅 | Redis篇》」 是我接下来要整理并开源的一份资料,我希望它能够以更加通俗易懂地方式教你使用和理解Redis。
写这个的初衷当然是希望后人能够更加顺畅的学习和使用它,我的学习之路其实挺艰难的,感觉很多教学视频讲的都不是太好,然后CSDN博客又有点乱,希望自己能够把我的理解与心得帮助其他人吧!
这份资料全篇分为 「《Redis技法》和《Redis基石》」 两部分。《Redis技法》主要是教你怎么使用,从简单的客户端到Java操作到高级应用,不涉及Redis的原理。《Redis基石》主要是学习Redis的设计思想和内部思路,希望能够窥探到一些Redis的底层实现,帮助大家更好地了解Redis。
作者:一壶漂泊难入喉
原文出处:https://mdnice.com/writing/264777dd98904db580e4c874cb6dcaea