谷歌的 CALM——OpenAI 的解決方案？

已發表: 2023-04-19

Google 的新功能有可能徹底改變大型語言模型 (LLM) 領域。 稱為 CALM（自信的自適應語言建模）的突破性技術旨在加速 GPT-3 和 LaMDA 等 LLM，而不會影響性能水平。

什麼是冷靜？

CALM 是谷歌開發的一種高級語言模型技術，旨在提高其搜索引擎理解和解釋自然語言查詢的能力。 它代表語言模型的持續適應，這本質上意味著該技術正在不斷學習和適應以提高其性能。

谷歌多年來一直在使用語言模型技術，但 CALM 是向前邁出的重要一步，因為它建立在神經網絡架構之上，使其能夠更有效地處理自然語言查詢。 CALM 使用基於轉換器的模型，可以分析和理解查詢的上下文，使其更有能力決定哪些任務需要更多的努力。 就像人腦會分配能量，這樣我們就不會像寫一封全公司的電子郵件那樣花同樣的精力在咖啡裡倒奶精，CALM，好吧，可以使 AI 語言模型平靜下來。

一般來說，LLM 接受大量文本數據的訓練，以學習語言中的模式和實體關係。 例如，GPT 的初始版本於 2018 年在 BookCorpus 上進行了訓練，包含 9.85 億個單詞。 同年，BERT 在 BookCorpus 和英文維基百科的組合上進行了訓練，總計 33 億詞。

最近的 LLM，例如 GPT-3，已經在更大的數據集上進行了訓練。 GPT-3 擁有超過 1750 億個參數，並接受了約 45 TB 文本的訓練。 用於 GPT-3 的訓練數據並未公開披露，但據信其來源多種多樣，例如書籍、文章和網站。

現在想像一下圖書館中的所有數據。 你一個人坐在圖書館裡，突然間，人們開始帶著疑問走進門來。 “給我講講南美洲的歷史。” “哪種脫脂牛奶最適合我？” “我的企業如何從影響者營銷中獲益？” “給我寫 10 個社交媒體文案選項” “作為一名記者，給我寫一份關於即將到來的經濟衰退的文案。” 你也會有點不知所措，對吧？ 你不知道如何確定這些查詢的優先級，你必須篩選數百萬條數據才能找到正確的答案呈現給提問者。

每當我們要求 LLM 生成一些東西時，這就是 LLM 所做的——以及為什麼當天平台可能會因為高流量而要求您稍後返回。 但是，如果 LLM 有一種方法可以更有效地篩選數據——知道每個查詢的哪些部分需要優先處理，哪些需要“全力以赴”與“部分努力”——他們可能會更有效。

CALM 的學術論文是這樣說的：

“基於 Transformer 的大型語言模型 (LLM) 的最新進展已導致許多任務的性能顯著提高。

這些收益伴隨著模型大小的急劇增加，可能導致推理時使用緩慢且成本高昂。

然而，在實踐中，LLM 生成的系列是由不同難度級別組成的。

雖然某些預測真正受益於模型的全部容量，但其他延續更為微不足道，可以通過減少計算來解決。

……雖然大型模型通常表現更好，但並非每個輸入都需要相同數量的計算才能實現相似的性能（例如，取決於輸入是簡單還是困難）。”

紅色 = 滿容量/綠色 = 小於一半容量

谷歌平靜

上圖顯示了這個想法的實際應用。 研究人員寫道：

'顏色代表用於​​每個標記的解碼層數——淺綠色陰影表示不到總層數的一半。 只有少數選定的標記使用模型的全部容量（紅色），而對於大多數標記，模型在一個或幾個解碼層後退出（綠色）。”

研究人員還在他們的結論中指出，在 LLM 中實施 CALM 只需要最少的修改即可幫助語言模型提高速度。 從本質上講，這使 LLM 可以更快、更有效地接受培訓，這意味著他們可以處理更多信息並在更短的時間內產生更準確的結果。

這對任何行業的企業都有明顯的影響，因為這意味著他們可以更快、更準確地收集見解並做出決策。 但這對 B2B 營銷人員意味著什麼？

CALM 對 B2B 營銷人員的啟示

內容營銷

CALM 功能可以對 B2B 內容營銷策略產生重大影響，因為它可以幫助營銷人員根據實時數據和見解生成更準確和相關的內容。 通過訪問更多更好的數據，LLM 可以幫助營銷人員更快地識別新趨勢和機會，從而使他們能夠更快地做出響應並在競爭中保持領先地位。 這對於快速發展或面臨顛覆的行業尤為重要。

客戶參與和個性化

B2B 營銷人員可以通過提供與目標受眾產生共鳴的個性化內容來改進客戶參與策略。 LLM 可以幫助識別客戶行為和偏好的模式，使營銷人員能夠更有效地定制他們的信息和內容。 這在擁有復雜或技術產品的行業中尤其重要，在這些行業中，有針對性的消息傳遞可以產生很大的不同。 營銷人員還可以通過對客戶查詢提供準確且相關的響應來利用該技術來改善他們的客戶服務。

翻譯

CALM 技術可以提高自動化翻譯工具的準確性和有效性，這對於在全球市​​場運營的 B2B 公司來說是無價的。 通過提高翻譯準確性，CALM 可以讓 B2B 公司更有效地與其國際客戶和合作夥伴進行溝通。

當然，CALM 只是 B2B 營銷中的一塊拼圖。 對於營銷人員來說，跟上他們所在領域的所有最新發展非常重要，從不斷變化的消費者行為到新的營銷渠道和營銷策略。 如果您想在營銷策略中掌握這些最新的 AI 發展，請聯繫我們。