谷歌的 CALM——OpenAI 的解决方案？

已发表: 2023-04-19

Google 的新功能有可能彻底改变大型语言模型 (LLM) 领域。 称为 CALM（自信的自适应语言建模）的突破性技术旨在加速 GPT-3 和 LaMDA 等 LLM，而不会影响性能水平。

什么是平静？

CALM 是谷歌开发的一种高级语言模型技术，旨在提高其搜索引擎理解和解释自然语言查询的能力。 它代表语言模型的持续适应，这本质上意味着该技术正在不断学习和适应以提高其性能。

谷歌多年来一直在使用语言模型技术，但 CALM 是向前迈出的重要一步，因为它建立在神经网络架构之上，使其能够更有效地处理自然语言查询。 CALM 使用基于转换器的模型，可以分析和理解查询的上下文，使其更有能力决定哪些任务需要更多的努力。 就像人脑会分配能量，这样我们就不会像写一封全公司的电子邮件那样花同样的精力在咖啡里倒奶精，CALM，好吧，可以使 AI 语言模型平静下来。

一般来说，LLM 接受大量文本数据的训练，以学习语言中的模式和实体关系。 例如，GPT 的初始版本于 2018 年在 BookCorpus 上进行了训练，包含 9.85 亿个单词。 同年，BERT 在 BookCorpus 和英文维基百科的组合上进行了训练，总计 33 亿词。

最近的 LLM，例如 GPT-3，已经在更大的数据集上进行了训练。 GPT-3 拥有超过 1750 亿个参数，并接受了约 45 TB 文本的训练。 用于 GPT-3 的训练数据并未公开披露，但据信其来源多种多样，例如书籍、文章和网站。

现在想象一下图书馆中的所有数据。 你一个人坐在图书馆里，突然间，人们开始带着疑问走进门来。 “给我讲讲南美洲的历史。” “哪种脱脂牛奶最适合我？” “我的企业如何从影响者营销中获益？” “给我写 10 个社交媒体文案选项” “作为一名记者，给我写一份关于即将到来的经济衰退的文案。” 你也会有点不知所措，对吧？ 你不知道如何确定这些查询的优先级，你必须筛选数百万条数据才能找到正确的答案呈现给提问者。

每当我们要求 LLM 生成一些东西时，这就是 LLM 所做的——以及为什么当天平台可能会因为高流量而要求您稍后返回。 但是，如果 LLM 有一种方法可以更有效地筛选数据——知道每个查询的哪些部分需要优先处理，哪些需要“全力以赴”与“部分努力”——他们可能会更有效。

CALM 的学术论文是这样说的：

“基于 Transformer 的大型语言模型 (LLM) 的最新进展已导致许多任务的性能显着提高。

这些收益伴随着模型大小的急剧增加，可能导致推理时使用缓慢且成本高昂。

然而，在实践中，LLM 生成的系列是由不同难度级别组成的。

虽然某些预测真正受益于模型的全部容量，但其他延续更为微不足道，可以通过减少计算来解决。

……虽然大型模型通常表现更好，但并非每个输入都需要相同数量的计算才能实现相似的性能（例如，取决于输入是简单还是困难）。”

红色 = 满容量/绿色 = 小于一半容量

谷歌平静

上图显示了这个想法的实际应用。 研究人员写道：

'颜色代表用于每个标记的解码层数——浅绿色阴影表示不到总层数的一半。 只有少数选定的标记使用模型的全部容量（红色），而对于大多数标记，模型在一个或几个解码层后退出（绿色）。”

研究人员还在他们的结论中指出，在 LLM 中实施 CALM 只需要最少的修改即可帮助语言模型提高速度。 从本质上讲，这使 LLM 可以更快、更有效地接受培训，这意味着他们可以处理更多信息并在更短的时间内产生更准确的结果。

这对任何行业的企业都有明显的影响，因为这意味着他们可以更快、更准确地收集见解并做出决策。 但这对 B2B 营销人员意味着什么？

CALM 对 B2B 营销人员的启示

内容营销

CALM 功能可以对 B2B 内容营销策略产生重大影响，因为它可以帮助营销人员根据实时数据和见解生成更准确和相关的内容。 通过访问更多更好的数据，LLM 可以帮助营销人员更快地识别新趋势和机会，从而使他们能够更快地做出响应并在竞争中保持领先地位。 这对于快速发展或面临颠覆的行业尤为重要。

客户参与和个性化

B2B 营销人员可以通过提供与目标受众产生共鸣的个性化内容来改进客户参与策略。 LLM 可以帮助识别客户行为和偏好的模式，使营销人员能够更有效地定制他们的信息和内容。 这在拥有复杂或技术产品的行业中尤其重要，在这些行业中，有针对性的消息传递可以产生很大的不同。 营销人员还可以通过对客户查询提供准确且相关的响应来利用该技术来改善他们的客户服务。

翻译

CALM 技术可以提高自动化翻译工具的准确性和有效性，这对于在全球市场运营的 B2B 公司来说是无价的。 通过提高翻译准确性，CALM 可以让 B2B 公司更有效地与其国际客户和合作伙伴进行沟通。

当然，CALM 只是 B2B 营销中的一块拼图。 对于营销人员来说，跟上他们所在领域的所有最新发展非常重要，从不断变化的消费者行为到新的营销渠道和营销策略。 如果您想在营销策略中掌握这些最新的 AI 发展，请联系我们。