一、哈希概念
哈希（Hash）又称散列，是一种组织数据的方式。从译名来看，有散乱排列的意思。本质就是通过哈希函数把关键字 Key 跟存储位置建立一个映射关系，查找时通过这个哈希函数计算出 Key 存储的位置，进行快速查找。
1.1、直接定址法
当关键字的范围比较集中时，直接定址法就是非常简单高效的方法，比如一组关键字都在 [0,99] 之间，那么我们开一个 100 个数的数组，每个关键字的值直接就是存储位置的下标。再比如一组关键字值都在 [a,z] 的小写字母，那么我们开一个 26 个数的数组，每个关键字 ASCII 码 -a 的 ASCII 码就是存储位置的下标。也就是说直接定址法本质就是用关键字计算出一个绝对位置或者相对位置。这个方法我们在计数排序部分已经用过了。
1.2、哈希冲突
直接定址法的缺点也非常明显，当关键字的范围比较分散时，就很浪费内存甚至内存不够用。假设我们只有数据范围是 [0, 9999] 的 N 个值，我们要映射到一个 M 个空间的数组中 (一般情况下 M >= N)，那么就要借助哈希函数 (hash function) hf，关键字 key 被放到数组的 h(key) 位置，这里要注意的是 h(key) 计算出的值必须在 [0, M) 之间。
这里存在的一个问题就是，两个不同的 key 可能会映射到同一个位置去，这种问题我们叫做哈希冲突，或者哈希碰撞。理想情况是找出一个好的哈希函数避免冲突，但是实际场景中，冲突是不可避免的，所以我们尽可能设计出优秀的哈希函数，减少冲突的次数，同时也要去设计出解决冲突的方案。
1.3、负载因子
假设哈希表中已经映射存储了 N 个值，哈希表的大小为 M，那么 负载因子 = N/M，负载因子有些地方也翻译为载荷因子/装载因子等，他的英文为 load factor。负载因子越大，哈希冲突的概率越高，空间利用率越高；负载因子越小，哈希冲突的概率越低，空间利用率越低。
1.4、将关键字转为整数
我们将关键字映射到数组中位置，一般是整数好做映射计算，如果不是整数，我们要想办法转换成整数，这个细节我们后面代码实现中再进行细节展示。下面哈希函数部分我们讨论时，如果关键字不是整数，那么我们讨论的 Key 是关键字转换成的整数。
1.5、哈希函数
一个好的哈希函数应该让 N 个关键字被等概率的均匀的散列分布到哈希表的 M 个空间中，但是实际中却很难做到，但是我们要尽量往这个方向去考量设计。
1.5.1、除法散列法/除留余数法
- 除法散列法也叫做除留余数法，顾名思义，假设哈希表的大小为 M，那么通过 key 除以 M 的余数作为映射位置的下标，也就是哈希函数为：h(key) = key % M。
- 当使用除法散列法时，要尽量避免 M 为某些值，如 2 的幂，10 的幂等。如果是 2ⁿ，那么 key % 2ⁿ本质相当于保留 key 的后 n 位，那么后 n 位相同的值，计算出的哈希值都是一样的，就冲突了。如：{63 , 31} 看起来没有关联的值，如果 M 是 16，也就是 2²·2²，那么计算出的哈希值都是 15，因为 63 的二进制后 8 位是 00111111，31 的二进制后 8 位是 00011111。如果是 10ⁿ，就更明显了，保留的都是 10 进值的后 n 位，如：{112, 12312}，如果 M 是 100，也就是 10²，那么计算出的哈希值都是 12。
- 当使用除法散列法时，建议 M 取不太接近 2 的整数次幂的一个质数 (素数)。
- 需要说明的是，实践中也是八仙过海，各显神通，Java 的 HashMap 采用除法散列法时就是 2 的整数次幂做哈希表的大小 M，这样玩的话，就不用取模，而可以直接位运算，相对而言位运算比模更高效一些。但是他不是单纯的去取模，比如 M 是 2^16 次方，本质是取后 16 位，那么用 key'= key>>16，然后把 key 和 key' 异或的结果作为哈希值。也就是说我们映射出的值还是在 [0,M) 范围内，但是尽量让 key 所有的位都参与计算，这样映射出的哈希值更均匀一些即可。所以我们上面建议 M 取不太接近 2 的整数次幂的一个质数的理论是大多数数据结构书籍中写的理论吗，但是实践中，灵活运用，抓住本质，而不能死读书。
1.5.2、乘法散列法
- 乘法散列法对哈希表大小 M 没有要求，他的大思路第一步：用关键字 K 乘上常数 A (0<A<1)，并抽取出 kA 的小数部分。第二步：后再用 M 乘以 kA 的小数部分，再向下取整。
- h(key) = floor(M × ((A × key)%1.0))，其中 floor 表示对表达式进行下取整，A∈(0,1)，这里最重要的是 A 的值应该如何设定，Knuth 认为 A = (√5 - 1)/2 = 0.6180339887…(黄金分割点) 比较好。
- 乘法散列法对哈希表大小 M 是没有要求的，假设 M 为 1024，key 为 1234，A = 0.6180339887, Akey = 762.6539420558，取小数部分为 0.6539420558, M×((A×key)%1.0) = 0.65394205581024 = 669.6366651392，那么 h(1234) = 669。
1.5.3、全域散列法
- 如果存在一个恶意的对手，他针对我们提供的散列函数，特意构造出一个发生严重冲突的数据集，比如，让所有关键字全部落入同一个位置中。这种情况是可以存在的，只要散列函数是公开且确定的，就可以实现此攻击。解决方法自然是见招拆招，给散列函数增加随机性，攻击者就无法找出确定可以导致最坏情况的数据。这种方法叫做全域散列。
- hab(key) = ((a × key + b)%P )%M，P 需要选一个足够大的质数，a 可以随机选 [1,P-1] 之间的任意整数，b 可以随机选 [0,P-1] 之间的任意整数，这些函数构成了一个 P*(P-1) 组全域散列函数组。假设 P=17，M=6，a = 3，b = 4, 则 h34(8) = ((3 × 8 + 4)%17)%6 = 5。
- 需要注意的是每次初始化哈希表时，随机选取全域散列函数组中的一个散列函数使用，后续增删查改都固定使用这个散列函数，否则每次哈希都是随机选一个散列函数，那么插入是一个散列函数，查找又是另一个散列函数，就会导致找不到插入的 key 了。
1.5.4、其他方法
• 上面的几种方法是《算法导论》书籍中讲解的方法。 • 《殷人昆 数据结构：用面向对象方法与 C++ 语言描述（第二版）》和《[数据结构 (C 语言版)].严蔚敏_吴伟民》等教材型书籍上面还给出了平方取中法、折叠法、随机数法、数学分析法等，这些方法相对更适用于一些局限的特定场景，有兴趣可以去看看这些书籍。
二、处理哈希冲突
实践中哈希表一般还是选择除法散列法作为哈希函数，当然哈希表无论选择什么哈希函数也避免不了冲突，那么插入数据时，如何解决冲突呢？主要有两种两种方法，开放定址法和链地址法。
2.1、开放定址法
在开放定址法中所有的元素都放到哈希表里，当一个关键字 key 用哈希函数计算出的位置冲突了，则按照某种规则找到一个没有存储数据的位置进行存储，开放定址法中负载因子一定是小于 1 的。这里的规则有三种：线性探测、二次探测、双重探测。
2.1.1、线性探测
- 从发生冲突的位置开始，依次线性向后探测，直到寻找到下一个没有存储数据的位置为止，如果走到哈希表尾，则回绕到哈希表头的位置。
- h(key) = hash0 = key % M, hash0 位置冲突了，则线性探测公式为：hc(key, i) = hashi = (hash0 + i) % M，i = {1, 2, 3, …, M - 1}，因为负载因子小于 1，则最多探测 M-1 次，一定能找到一个存储 key 的位置。
- 线性探测的比较简单且容易实现，线性探测的问题假设，hash0 位置连续冲突，hash0，hash1，hash2 位置已经存储数据了，后续映射到 hash0，hash1，hash2，hash3 的值都会争夺 hash3 位置，这种现象叫做群集/堆积。下面的二次探测可以一定程度改善这个问题。
- 下面演示
{19,30,5,36,13,20,21,12}等这一组值映射到 M=11 的表中。
映射:h(19) = 8，h(30) = 8，h(5) = 5，h(36) = 3，h(13) = 2，h(20) = 9，h(21) =10，h(12) = 1
2.1.2、二次探测
- 从发生冲突的位置开始，依次左右按二次方跳跃式探测，直到寻找到下一个没有存储数据的位置为止，如果往右走到哈希表尾，则回绕到哈希表头的位置；如果往左走到哈希表头，则回绕到哈希表尾的位置；
- h(key) = hash0 = key % M, hash0 位置冲突了，则二次探测公式为： hc(key, i) = hashi = (hash0 ± i²) % M，i = {1, 2, 3, …, M/2}
- 二次探测当 hashi = (hash0 - i²)%M 时，当 hashi<0 时，需要 hashi += M
- 下面演示
{19,30,52,63,11,22}等这一组值映射到 M=11 的表中。
映射:h(19) = 8, h(30) = 8, h(52) = 8, h(63) = 8, h(11) = 0, h(22) = 0
2.1.3、双重散列
- 第一个哈希函数计算出的值发生冲突，使用第二个哈希函数计算出一个跟 key 相关的偏移量值，不断往后探测，直到寻找到下一个没有存储数据的位置为止。
- h1(key) = hash0 = key % M, hash0 位置冲突了，则双重探测公式为： hc(key, i) = hashi = (hash0 + i ∗ h₂(key)) % M，i = {1, 2, 3, …, M}
- 要求 h2(key) < M 且 h₂(key) 和 M 互为质数，有两种简单的取值方法：1、当 M 为 2 整数幂时，h₂(key) 从 [0，M-1] 任选一个奇数； 2、当 M 为质数时，h₂(key) = key % (M - 1) + 1
- 保证 h₂(key) 与 M 互质是因为根据固定的偏移量所寻址的所有位置将形成一个群，若最大公约数 p = gcd(M, h₁(key)) > 1，那么所能寻址的位置的个数为 M/P < M，使得对于一个关键字来说无法充分利用整个散列表。 举例来说，若初始探查位置为 1，偏移量为 3，整个散列表大小为 12，那么所能寻址的位置为 {1, 4, 7, 10}，寻址个数为 12/gcd(12, 3) = 4
下面演示 {19,30,52} 等这一组值映射到 M=11 的表中，设 h₂(key) = key%10 + 1
2.1.4、开放定址法代码实现
开放定址法在实践中，不如下面讲的链地址法，因为开放定址法解决冲突不管使用哪种方法，占用的都是哈希表中的空间，始终存在互相影响的问题。所以开放定址法，我们简单选择线性探测实现即可。
开放定址法的哈希表结构
enum State { EXIST, EMPTY, DELETE };
template<class K, class V>
struct HashData {
pair<K, V> _kv;
State _state = EMPTY;
};
template<class K, class V>
class HashTable {
private:
vector<HashData<K, V>> _tables;
size_t _n = 0; // 表中存储数据个数
};
要注意的是这里需要给每个存储值的位置加一个状态标识，否则删除一些值以后，会影响后面冲突的值的查找。如下图，我们删除 30，会导致查找 20 失败，当我们给每个位置加一个状态标识 {EXIST,EMPTY,DELETE}，删除 30 就可以不用删除值，而是把状态改为 DELETE，那么查找 20 时是遇到 EMPTY 才能停止，就可以找到 20。
如下 h(19) = 8，h(30) = 8，h(5) = 5，h(36) = 3，h(13) = 2，h(20) = 9，h(21) =10，h(12) = 1
扩容
这里我们哈希表负载因子控制在 0.7，当负载因子到 0.7 以后我们就需要扩容了，我们还是按照 2 倍扩容，但是同时我们要保持哈希表大小是一个质数，第一个是质数，2 倍后就不是质数了。那么如何解决了，一种方案就是上面除法散列中我们讲的 Java HashMap 的使用 2 的整数幂，但是计算时不能直接取模的改进方法。另外一种方案是 sgi 版本的哈希表使用的方法，给了一个近似 2 倍的质数表，每次去质数表获取扩容后的大小。
inline unsigned long __stl_next_prime(unsigned long n) {
// Note: assumes long is at least 32 bits.
static const int __stl_num_primes = 28;
static const unsigned long __stl_prime_list[__stl_num_primes] = {
53, 97, 193, 389, 769, 1543, 3079, 6151, 12289, 24593, 49157,
98317, 196613, 393241, 786433, 1572869, 3145739, 6291469,
12582917, 25165843, 50331653, 100663319, 201326611, 402653189,
805306457, 1610612741, 3221225473, 4294967291
};
const unsigned long* first = __stl_prime_list;
const unsigned long* last = __stl_prime_list + __stl_num_primes;
const unsigned long* pos = lower_bound(first, last, n);
return pos == last ? *(last - ) : *pos;
}
key 不能取模的问题
当 key 是 string/Date 等类型时，key 不能取模，那么我们需要给 HashTable 增加一个仿函数，这个仿函数支持把 key 转换成一个可以取模的整形，如果 key 可以转换为整形并且不容易冲突，那么这个仿函数就用默认参数即可，如果这个 Key 不能转换为整形，我们就需要自己实现一个仿函数传给这个参数，实现这个仿函数的要求就是尽量 key 的每值都参与到计算中，让不同的 key 转换出的整形值不同。string 做哈希表的 key 非常常见，所以我们可以考虑把 string 特化一下。
template<class K>
struct HashFunc {
size_t operator()(const K& key) {
return (size_t)key;
}
};
// 特化
template<>
struct HashFunc<string> {
// 字符串转换成整形，可以把字符 ascii 码相加即可
// 但是直接相加的话，类似"abcd"和"bcad"这样的字符串计算出是相同的
// 这里我们使用 BKDR 哈希的思路，用上次的计算结果去乘以一个质数，这个质数一般去 31, 131 等效果会比较好
size_t operator()(const string& key) {
size_t hash = 0;
for (auto e : key) {
hash *= 131;
hash += e;
}
return hash;
}
};
template<class K, class V, class Hash = HashFunc<K>>
class HashTable {
public:
// ...
private:
vector<HashData<K, V>> _tables;
size_t _n = 0; // 表中存储数据个数
};
完整代码实现
// 线性探测
namespace open_address {
enum State { EXIST, EMPTY, DELETE };
template<class K, class V>
struct HashData {
pair<K, V> _kv;
State _state = EMPTY;
};
template<class K, class V, class Hash = HashFunc<K>>
class HashTable {
public:
inline unsigned long __stl_next_prime(unsigned long n) {
static const int __stl_num_primes = 28;
static const unsigned long __stl_prime_list[__stl_num_primes] = {
53, 97, 193, 389, 769, 1543, 3079, 6151, 12289, 24593, 49157,
98317, 196613, 393241, 786433, 1572869, 3145739, 6291469,
12582917, 25165843, 50331653, , , ,
, , ,
};
* first = __stl_prime_list;
* last = __stl_prime_list + __stl_num_primes;
* pos = (first, last, n);
pos == last ? *(last - ) : *pos;
}
() : _tables(__stl_next_prime()), _n() {}
{
((kv.first)) ;
(_n * / _tables.() >= ) {
HashTable<K, V, Hash> newht;
newht._tables.(__stl_next_prime(_tables.() + ));
(& data : _tables) {
(data._state == EXIST) {
newht.(data._kv);
}
}
_tables.(newht._tables);
}
Hash hash;
hash0 = (kv.first) % _tables.();
hashi = hash0;
i = ;
(_tables[hashi]._state == EXIST) {
hashi = (hash0 + i) % _tables.();
++i;
}
_tables[hashi]._kv = kv;
_tables[hashi]._state = EXIST;
++_n;
;
}
{
Hash hash;
hash0 = (key) % _tables.();
hashi = hash0;
i = ;
(_tables[hashi]._state != EMPTY) {
(_tables[hashi]._state == EXIST && _tables[hashi]._kv.first == key) {
&_tables[hashi];
}
hashi = (hash0 + i) % _tables.();
++i;
}
;
}
{
HashData<K, V>* ret = (key);
(ret) {
ret->_state = DELETE;
;
} {
;
}
}
:
vector<HashData<K, V>> _tables;
_n;
};
}
2.2、链地址法
解决冲突的思路
开放定址法中所有的元素都放到哈希表里，链地址法中所有的数据不再直接存储在哈希表中，哈希表中存储一个指针，没有数据映射这个位置时，这个指针为空，有多个数据映射到这个位置时，我们把这些冲突的数据链接成一个链表，挂在哈希表这个位置下面，链地址法也叫做拉链法或者哈希桶。
- 下面演示
{19,30,5,36,13,20,21,12,24,96}等这一组值映射到 M=11 的表中。
映射:h(19) = 8，h(30) = 8，h(5) = 5，h(36) = 3，h(13) = 2，h(20) = 9，h(21) =10，h(12) = 1,h(24) = 2,h(96) = 88
扩容
开放定址法负载因子必须小于 1，链地址法的负载因子就没有限制了，可以大于 1。负载因子越大，哈希冲突的概率越高，空间利用率越高；负载因子越小，哈希冲突的概率越低，空间利用率越低；stl 中 unordered_xxx 的最大负载因子基本控制在 1，大于 1 就扩容，我们下面实现也使用这个方式。
极端场景
如果极端场景下，某个桶特别长怎么办？其实我们可以考虑使用全域散列法，这样就不容易被针对了。但是假设不是被针对了，用了全域散列法，但是偶然情况下，某个桶很长，查找效率很低怎么办？这里在 Java8 的 HashMap 中当桶的长度超过一定阀值 (8) 时就把链表转换成红黑树。一般情况下，不断扩容，单个桶很长的场景还是比较少的，下面我们实现就不搞这么复杂了，这个解决极端场景的思路，大家了解一下。
2.2.1、链地址法代码实现
namespace hash_bucket {
template<class K, class V>
struct HashNode {
pair<K, V> _kv;
HashNode<K, V>* _next;
HashNode(const pair<K, V>& kv) : _kv(kv), _next(nullptr) {}
};
template<class K, class V, class Hash = HashFunc<K>>
class Hashtable {
typedef HashNode<K, V> Node;
public:
inline unsigned long __stl_next_prime(unsigned long n) {
static const int __stl_num_primes = 28;
static const unsigned long __stl_prime_list[__stl_num_primes] = {
53, 97, 193, 389, 769, 1543, 3079, 6151, 12289, 24593, 49157,
98317, 196613, 393241, 786433, 1572869, 3145739, 6291469,
12582917, , , , , ,
, , ,
};
* first = __stl_prime_list;
* last = __stl_prime_list + __stl_num_primes;
* pos = (first, last, n);
pos == last ? *(last - ) : *pos;
}
() : _tables(__stl_next_prime()), _n() {}
~() {
( i = ; i < _tables.(); i++) {
Node* cur = _tables[i];
(cur) {
Node* next = cur->_next;
cur;
cur = next;
}
_tables[i] = ;
}
}
{
((kv.first)) ;
Hash hash;
(_n == _tables.()) {
;
( i = ; i < _tables.(); i++) {
Node* cur = _tables[i];
(cur) {
Node* next = cur->_next;
hashi = (cur->_kv.first) % newTable.();
cur->_next = newTable[hashi];
newTable[hashi] = cur;
cur = next;
}
_tables[i] = ;
}
_tables.(newTable);
}
hashi = (kv.first) % _tables.();
Node* newnode = (kv);
newnode->_next = _tables[hashi];
_tables[hashi] = newnode;
++_n;
;
}
{
Hash hash;
hashi = (key) % _tables.();
Node* cur = _tables[hashi];
(cur) {
(cur->_kv.first == key) {
cur;
}
cur = cur->_next;
}
;
}
{
hashi = key % _tables.();
Node* prev = ;
Node* cur = _tables[hashi];
(cur) {
(cur->_kv.first == key) {
(prev == ) {
_tables[hashi] = cur->_next;
} {
prev->_next = cur->_next;
}
cur;
--_n;
;
} {
prev = cur;
cur = cur->_next;
}
}
;
}
:
vector<Node*> _tables;
_n = ;
};
}
