面试题:1~2亿条数据需要缓存,请问如何设计这个存储案例?

--上述问题阿里P6~P7工程案例和场景设计类必考题目,一般业界有3种解决方案(第二种)

(顺序由易到难)

(2)一致性哈希算法分区

是什么?

一致性Hash算法背景:

一致性哈希算法在1997年由麻省理工学院中提出的,设计目标是为了解决。

分布式缓存数据变动和映射问题,某个机器单机了,分母数量改变了,自然取余数不OK(输出结果)。

能干嘛?

提出一致性Hash解决方案。

目的是当服务器个数发生变动时,尽量减少影响客户端到服务器的映射关系

3大步骤

(1)算法构建一致性哈希环(减轻底层机器台数变动之后,映射和分配规则)

一致性哈希算法必然有个hash函数并按照算法产生hash值,这个算法的所有可能哈希值会构成一个全量集,这个集合可以成为一个hash空间[0,2^32-1],这个是一个线性空间,但是在算法中,我们通过适当的逻辑控制将它首尾相连(0=2^32).这样让它逻辑上形成了一个环形空间。

它也是按照使用取模的方法,前面笔记介绍的节点取模法是对节点(服务器)的数量进行取模。而一致性Hash算法是对2^32取模,简单来说,一致性Hash算法将整个哈希值空间组织成一个虚拟的圆环。

如假设某哈希函数H的值空间为0-2^32-1(即哈希值是一个32位无符号整形),整个哈希环:整个空间按顺时针方向组织,圆环的正上方的点代表0,0点右侧的第一个点代表1,以此类推,2、3、4....直到2^32-1,也就是说0点左侧的第一个点代表2^32-1,0和2^32-1在零点中方向重合,我们把这个由2^32个点组成的圆环称为Hash环。

Docker 一致性哈希算法分区原理图文详解(上)

 

(2)服务器IP节点映射(环落在哪里)

节点映射:

将集群中各个IP节点映射到环上的某一个位置。

将各个服务器使用Hash进行一个哈希,具体可以选择服务器的IP或主机名作为关键字进行哈希,这样每台机器就能确定其在哈希环上的位置。

假如4个节点NodeA、B、C、D,经过IP地址的哈希函数计算(hash(ip)),使用IP地址哈希后在环空间的位置

 Docker 一致性哈希算法分区原理图文详解(上)           


(3)key落到服务器的落键规则

当我们需要存储一个kv键值对时,首先计算key的hash值,hash(key),将这个key使用相同的函数Hash计算出哈希值并确定此数据在环上的位置,从此位置沿环顺时针"行走",第一台遇到的服务器就是其应该定位到的服务器,并将该键值对存储在该节点上。

如我们有ObjectA、ObjectB、ObjectC、ObjectD四个数据对象,经过哈希计算后,在环空间上的位置如下:根据一致性Hash算法,数据A会被定为到NodeA上,B被定为到Node B上,C被定为到NodeC上,D被定为到Node D上。

Docker 一致性哈希算法分区原理图文详解(上)             

点赞(0)

C语言网提供由在职研发工程师或ACM蓝桥杯竞赛优秀选手录制的视频教程,并配有习题和答疑,点击了解:

一点编程也不会写的:零基础C语言学练课程

解决困扰你多年的C语言疑难杂症特性的C语言进阶课程

从零到写出一个爬虫的Python编程课程

只会语法写不出代码?手把手带你写100个编程真题的编程百练课程

信息学奥赛或C++选手的 必学C++课程

蓝桥杯ACM、信息学奥赛的必学课程:算法竞赛课入门课程

手把手讲解近五年真题的蓝桥杯辅导课程

Dotcpp在线编译      (登录可减少运行等待时间)