近日，科技巨头谷歌旗下的DeepMind团队发布了一项革命性的新技术——Mixture-of-Depths（MoD）。这一全新架构彻底改变了传统的Transformer计算模式，以其独特的动态资源分配机制，在人工智能领域引起了广泛关注。
MoD的核心思想是通过动态分配大型模型中的浮点运算次数（FLOPs），优化不同模型深度层次的资源分配。在传统的Transformer架构中，每个层次的计算资源是固定的，无论处理的信息复杂程度如何，都会进行相同的计算量。然而，这种方法在处理不同难度任务时显得不够灵活，往往会导致计算资源的浪费。
MoD通过限制给定层的自注意力和多层感知器（MLP）计算的token数量，实现了更为精细的计算资源管理。它能够在处理每个任务时，根据任务的难易程度动态调整计算深度。这意味着，在处理简单任务时，MoD可以跳过一些不必要的计算层次，从而节省计算资源；而在处理复杂任务时，它又能够集中更多资源在关键层次上，以确保任务的准确完成。
这种动态分配机制使得神经网络能够学会主要关注真正重要的信息。例如，在自然语言处理任务中，预测下一个句子的内容可能需要大量的计算资源，因为这其中涉及到复杂的语义理解和推理；而预测句子结束的标点符号则相对简单，不需要过多的计算。在传统的Transformer架构中，这两类任务可能会分配相同的计算资源，这无疑是对资源的极大浪费。而MoD则能够智能地分配更多的资源给复杂任务，同时减少简单任务的资源消耗。
据谷歌方面发布的相关测试结果显示，MoD架构在保持等效计算量和训练时间的前提下，每次向前传播所需的计算量更小。这意味着在相同的硬件条件下，使用MoD架构可以处理更多的任务，从而提高了整体的工作效率。此外，在后训练采样过程中，MoD还展现出了显著的步进速度提升，达到了50%以上。
除了在计算资源分配上的创新外，谷歌研究团队还进一步探讨了MoD与Mixture-of-Experts（MoE）结合的可能性，这种结合被命名为MoDE。MoE是一种通过集成多个专家模型来提高整体性能的技术。当MoD与MoE相结合时，可以充分发挥两者的优势，实现更高的性能和更快的推理速度。这种结合为人工智能领域的发展带来了新的可能性。
值得一提的是，谷歌在AI技术的研发上并不仅限于提高计算效率和性能。为了解决AI幻觉问题——即AI在某些情况下会产生与事实不符的输出，谷歌DeepMind还与斯坦福大学联合开发了一款名为“搜索增强事实评估器”（Search-Augmented Factuality Evaluator，SAFE）的AI事实核查工具。
SAFE通过四个步骤对AI聊天机器人生成的回复进行分析、处理和评估，以验证其准确性和真实性。这一工具首先将回复分割成多个单个待核查内容，并对上述内容进行修正。然后，它将这些内容与谷歌搜索结果进行比较，以检查其一致性。此外，SAFE还会检查各个事实与原始问题的相关性，从而确保回复的准确性和有用性。
为了评估SAFE的性能，谷歌研究人员创建了包含约16000个事实的数据集LongFact，并在多个大语言模型上进行了测试。结果显示，在对100个有争议事实进行的重点分析中，SAFE的判定在进一步审查下正确率达到了76%。这一结果表明，SAFE在提高AI输出准确性方面具有显著的效果。同时，SAFE还具备显著的经济性优势。与传统的人工注释相比，使用SAFE进行事实核查的成本要低得多，这使得它成为一种实用且高效的AI质量保障工具。这些技术不仅提高了AI的计算效率和性能，还加强了AI输出的准确性和真实性核查能力。随着这些技术的不断发展和完善，我们有理由相信人工智能将在未来发挥更加广泛和深入的作用。
