比人类算法快70%！谷歌DeepMind用AI改进数据排序，登上Nature

智东西6月8日消息，昨晚，人工智能研究实验室Google DeepMind发布三大AI工具AlphaZero、MuZero、AlphaDev，这些工具可以提高数据中心资源利用率、提升视频压缩效率、发现更快算法，从而优化整个计算生态系统。

Google DeepMind正在努力创建对世界具有广泛理解的AI工具来优化计算生态系统，作为构建更加强大和通用人工智能系统的一部分。

研究人员还在扩展基于强化学习的谷歌AI模型AlphaZero、MuZero的能力，用来帮助优化数据中心的视频压缩，使得数据中心未充分利用的硬件数量减少19%，以及在不损失视频质量的同时，进一步降低比特率。

这些工具目前实现了整个计算生态系统中效率的提升，但这些结果也证明了未来更通用的人工智能工具具有变革的潜力。

AlphaDev可以被用于快速排序（faster sorting）和散列算法（hashing algorithms），这两种算法每天会被使用数万亿次来对数据进行排序、存储、检索。

排序算法会影响所有数字设备处理和显示信息的方式，包括一些在线搜索结果的呈现、社交媒体上帖子的排名以及一些用户推荐内容。

AlphaDev研发了一种可以提升排序效率的算法，并且该算法与C++库中人类设计的算法相比可以将短元素序列的排序效率提高70%，将超过25万个元素的序列排序效率提高约1.7%。这也使得当用户提交搜索查询时，AlphaDev的算法可以快速对结果进行排序，以更快找到与用户搜索相关度高的答案。

散列信息算法通常用于在数据库中进行存储和检索。散列算法通常使用一个关键词来生成一个对应的唯一散列，这一散列就会对应于需要检索的数据值，如输入关键词用户名“Jane Doe”，会生成检索对应的“订单号164335-87”。

一个较为相似的场景是，图书管理员通过分类系统来快速查找特定书籍，计算机借助散列算法，就可以快速理解它要找什么以及在哪里能找到。

当应用于数据中心9-16字节范围的散列算法时，AlphaDev的算法能将检索效率提升30%。

去年1月，Google DeepMind的研究人员在LLVM项目的C++标准库中发布了基于机器学习的排序算法，在Abseil库发布了散列算法，目前，已经有云计算、在线购物、供应链管理等行业的数百万开发人员和公司正在应用这些算法。

数据中心需要管理从提供搜索结果到处理数据集的一切任务。谷歌大规模集群管理系统Borg管理着谷歌的数十亿个任务，同时这一系统还要去分配工作负载来优化数据中心的内部基础设施，并处理谷歌搜索等用户使用的服务，管理批处理。

分配工作负载这一过程就像Borg在玩俄罗斯方块，如何在有限的空间内，最大程度地放置更多的方块，把空余的位置都利用起来。

此前，Borg需要使用手动编码的规则来安排任务，优化工作负载。但面对庞大如数十亿个任务的规模时，这些手动编码的规则无法考虑不断变化的工作负载分布的多样性，因此它们被设计为“最适合所有人的一种尺寸”，也就是选择了一个中间值。

在这一场景下，AlphaZero就派上了用场，其构建的算法能够自动创建单独的最佳定制规则，这些规则使得Borg在分配工作负载时更加高效，能找到适合不同任务的规则。

研究人员在实验期间发现，AlphaZero还能识别进入数据中心的任务的模式，以及预测管理容量的最佳方法，并做出具有最佳长期结果的决策。

当AlphaZero应用于Borg时，研究人员的实验表明，这种方法可以将未充分利用的硬件数量减少多达19%，优化谷歌数据中心的资源利用率。

在互联网中，视频流会占据其流量的相当大一部分，因此，如果能提升视频传输的效率，将会对每天观看视频的数百万人产生巨大影响。

去年，Google DeepMind与视频网站YouTube合作，通过MuZero来压缩和传输视频，其结果显示，这一工具能在不影响视频质量的情况下将比特率降低4%。

早期，研究人员将MuZero应用于优化视频中每个单独帧的压缩，现在，他们将其扩展至决定在编码过程中如何对帧进行分组和引用。

最开始，MuZero会定义要压缩的GOP（group of pictures，图片组）帧，然后根据图片的视觉相似性进行分组。MuZero会将其中一个图片组的关键帧进行压缩，再参考关键帧去压缩其它帧，在这一过程中，该算法会通过块搜索（block search）来查找图片中变化最小的区域，使得压缩效果更好还能保证视频质量。

最后，一组图片组压缩完成后，MuZero再按照同样的步骤完成视频其它部分图片组的压缩。

当下，Google DeepMind的AI工具正在使得数十亿用户在使用计算机的过程中节省时间和精力，包括从玩游戏到解决每台计算机设备核心的复杂工程问题。研究人员认为，这仅仅是个开始。

未来，越来越多的通用人工智能工具或许可以优化为数字世界提供动力的整个计算生态系统，但与此同时，支持这些工具背后的数字基础设施需要更快、更高效、更可持续。因此，这一愿景的实现需要更多理论和技术上的突破。