2020 年，谷歌开始谈论 SMITH，这是“基于暹罗多深度 Transformer 的分层编码器”的首字母缩写词。和过去相比会有什么变化？基于自注意力的模型，例如 BERT，在理解单句单词方面取得了最先进的性能，但它们在较长文本的语义匹配方面仍然受到限制。
原因多种多样：
1）当文本很长时，术语之间的匹配需要更深入地理解语义关系，包括更远的文本片段之间的匹配模式。
2）长文档被构建为句子、段落和章节，这对于人类读者和模型理解内容都起着关键作用。
3）处理长文本可能会引发内存管理方面的实际问题。
SMITH 模型经过训练可以理解整个文档上下文中的段落，因为它将输入文本的最大长度从 512 增加到 2048。
SMITH 的一个重要部分是“预训
练和调整”范式，该范式也提供给 BERT。不同之处在于，这里不仅隐藏了单个单词，还隐藏了句子块。
我们对 Smith 算法的了解仅限于谷歌发布了描述其主要优势的研究论文，但尚未正式宣布其实施。一些人猜测它是 印尼号码采集 随着谷歌 2020 年 12 月的更新而实现的，但尚未得到验证，而另一些人则认为这只是一个停留在“纸面上”但从未实施的项目。
Google MUM：多任务统一模型。
在 2021 年 Google I/O 大会上，谷歌的 Prabhakar Raghavan 介绍了一项名为 MUM的新技术。
借助 MUM，谷歌可能能够更好地理解更复杂的问题和需求。与 BERT 一样，它建立在，但功能强大 1000 倍，可以同时执行更多任务。 MUM 接受过多达 75 种不同语言的训练，可以理解文本和图像等不同格式的信息，但未来可能会扩展到音频和视频等其他形式。
在 I/O 上，Raghavan 举了一个例子
“我徒步攀登了亚当斯山，明年秋天我想攀登富士山。我应该做哪些不同的准备工作？”。如今，为了给出这个问 信息图显示截至年月全球最受欢迎的顶级域名 题的答案，谷歌必须收到特定的搜索，例如“富士山的高度是多少？”，“富士山的秋季平均气温是多少？”， “富士山的徒步路线难度如何？”，“徒步富士山应该使用什么装备？”等等。
然而，只需一个合理的查询，
MUM 就能知道您正在比较两座山，并会自动提供有关海拔和路线的信息。此外，他或她会明白，在徒步旅行的背景下，“准备”可能包 西班牙比特币数据库 括有关训练和正确装备的信息。 MUM 可能会展示相关主题以供进一步探索，并参考来自网络的有用文章、视频和图片。用户还可以拍下自己的登山靴的照片并询问“我可以用它们去徒步富士山吗？” MUM 会理解图像并将其与问题联系起来，从而能够就所选设备是否合适提供答案。最后，很高兴知道 MUM 可以从非以用户执行搜索所使用的语言编写的来源中学习。假设日语搜索结果中有关于富士山的有用信息：今天，用户可能无法找到它，但经过此更新，它将以意大利语返回。