var internPool map[string]string
// Intern 返回一个与 s 相等的字符串,但可能与之前传递给 Intern 的字符串共享存储。
func Intern(s string) string {
pooled, ok := internPool[s]
if !ok {
// 克隆字符串,以防它是某个更大字符串的一部分。
pooled = strings.Clone(s)
internPool[pooled] = pooled
}
return pooled
}
在Go 1.23版本的标准库中,终于迎来了一个令人振奋的新成员——独特包(unique package)。这个包的目的在于实现可比较值的规范化,简单来说,就是它能够去重值,使得这些值指向一个单一的、规范的、独特的副本。在后台,独特包高效地管理这些规范副本。这一概念在计算机科学中并不陌生,通常被称为“字符串内存共享”或简称“interning”。现在,就让我们深入探索一下这个新包的工作原理及其潜在应用。
📜 字符串内存共享的简单实现
从高层次来看,字符串内存共享是一个非常简单的概念。以下是一个使用普通映射来去重字符串的代码示例:
这个简单的实现非常适合处理大量可能重复的字符串,比如在解析文本格式时。然而,这种实现方式存在一些问题。首先,它从不移除池中的字符串;其次,它不能安全地被多个 goroutine 并发使用;最后,它仅适用于字符串,尽管这个想法具有广泛的适用性。
🚀 迎接独特包的到来
新的独特包引入了一个名为 Make 的函数,其功能与 Intern 类似。内部实现使用了一个全局映射(一个快速的通用并发映射),而 Make 函数会在该映射中查找提供的值。与 Intern 不同的是,Make 接受任何可比较类型的值,并返回一个包装值 Handle[T],通过该包装值可以检索到规范值。
Handle[T] 是设计的关键。Handle[T] 的性质是:两个 Handle[T] 值相等,当且仅当用于创建它们的值相等。此外,比较两个 Handle[T] 值的成本非常低,只需进行指针比较即可,这与比较两个长字符串的代价相差一个数量级!
🌍 真实世界中的应用示例
那么,如何使用 unique.Make 呢?我们可以看看标准库中的 net/netip 包,它在内部对类型为 addrDetail 的值进行了字符串内存共享,该类型是 netip.Addr 结构的一部分。以下是 net/netip 中使用 unique 的简化代码示例:
在上面的代码中,许多 IP 地址可能会使用相同的区域,而这个区域是它们身份的一部分。因此,进行规范化是非常有意义的,这不仅减少了每个 netip.Addr 的平均内存占用,还使得比较 netip.Addr 值更加高效,因为比较区域名称变成了简单的指针比较。
🧩 字符串内存共享的小注释
虽然 unique 包非常有用,但 Make 与字符串的 Intern 不完全相同,因为在 Handle[T] 的帮助下,字符串才能避免从内部映射中被删除。这意味着你需要在代码中同时保留句柄和字符串。然而,字符串在内部包含指针,这意味着我们有可能只对字符串的底层存储进行规范化,将 Handle[T] 的细节隐藏在字符串本身内部。
在此之前,unique.Make(“my string”).Value() 是一种可能的解决方案。尽管未能保留句柄会导致字符串从 unique 的内部映射中被删除,但映射条目并不会立即被删除。实际上,条目不会在下次垃圾收集完成之前被删除,因此这种解决方案仍然在收集之间允许了一定程度的去重。
🔮 历史与未来展望
事实上,net/netip 包自引入以来就一直在进行区域字符串的内存共享。它使用的内存共享包是 go4.org/intern 的内部副本。与 unique 包类似,intern 也有一个 Value 类型(在泛型之前看起来很像 Handle[T]),并且具有在其句柄不再被引用时会移除内部映射条目的显著特性。
为了实现这种行为,它不得不做一些不安全的事情,特别是对垃圾收集器行为的假设,以便在运行时外实现 弱指针。弱指针是一种指针,它不会阻止垃圾收集器回收变量;当这种情况发生时,指针会自动变为 nil。
随着 unique 包的实现,我们为垃圾收集器添加了适当的弱指针支持。经过对弱指针伴随的设计决策的反思(例如,弱指针应该跟踪对象复活吗?不!),我们惊讶于这一切是多么简单和直接。弱指针现在已成为公共提案。这项工作还促使我们重新审视终结器,从而提出了一个更易于使用和更高效的终结器替代方案。随着针对可比较值的哈希函数的到来,Go中构建内存高效缓存的未来一片光明!
📚 参考文献
通过对新的独特包的深入探讨,我们可以看到Go语言在性能优化和内存管理方面的不断进步。无论是新手还是资深开发者,都能从中获得启发,推动他们的项目向前发展。