Google の CALM — OpenAI へのソリューション?

Google の新機能は、大規模言語モデル (LLM) の分野に革命を起こす可能性を秘めています。 CALM (Confident Adaptive Language Modeling) と呼ばれる画期的なテクノロジは、パフォーマンス レベルを損なうことなく、GPT-3 や LaMDA などの LLM を高速化するように設計されています。

カームとは？

CALM は、自然言語クエリを理解して解釈する検索エンジンの能力を向上させるために Google が開発した高度な言語モデル テクノロジです。 これは、Continuous Adaptation for Language Model の略で、基本的には、テクノロジがパフォーマンスを向上させるために継続的に学習し、適応していることを意味します。

Google は言語モデル テクノロジーを何年も使用してきましたが、CALM は、自然言語クエリをより効率的に処理できるニューラル ネットワーク アーキテクチャ上に構築されているため、大きな進歩を遂げています。 CALM は、クエリのコンテキストを分析および理解できるトランスフォーマー ベースのモデルを使用するため、より多くの作業が必要なタスクをより適切に判断できます。 人間の脳がエネルギーを委譲して、会社全体のメールを書くときと同じようにコーヒーにクリーマーを注がないようにするのと同じように、CALM は AI 言語モデルを落ち着かせます。

一般的に言えば、LLM は、言語のパターンとエンティティの関係を学習するために、大量のテキスト データでトレーニングされます。 たとえば、GPT の初期バージョンは 2018 年に BookCorpus でトレーニングされ、9 億 8,500 万語で構成されていました。 同年、BERT は BookCorpus と英語版ウィキペディアの組み合わせでトレーニングされ、合計 33 億語になりました。

GPT-3 などの最近の LLM は、さらに大きなデータセットでトレーニングされています。 GPT-3 には 1,750 億を超えるパラメーターがあり、約 45 TB のテキストでトレーニングされました。 GPT-3 に使用されるトレーニング データは公開されていませんが、書籍、記事、Web サイトなど、さまざまなソースが含まれていると考えられています。

ライブラリ内のすべてのデータを想像してみてください。 あなたが一人で図書館に座っていると、突然、人々が質問をしながらドアの中を歩き始めます。 「南米の歴史について教えてください。」 「どの乳製品を含まない牛乳が私に最適ですか?」 「インフルエンサー マーケティングを使用すると、ビジネスにどのようなメリットがありますか?」 「ソーシャル メディア コピーの 10 のオプションを書いてください」「ジャーナリストとして行動し、差し迫った景気後退についてのコピーを書いてください」 あなたも少し圧倒されますよね？ これらのクエリに優先順位を付ける方法がわからず、何百万ものデータをふるいにかけて、質問者に提示する適切な回答を見つける必要があります.

これは、LLM が何かを生成するように依頼するたびに行うことです。また、トラフィックが多いために後でプラットフォームに戻るように求められるポイントが 1 日にある場合がある理由です。 しかし、LLM がより効率的にデータをふるいにかける方法 (各クエリのどの部分を優先するか、「完全な作業」と「部分的な作業」が必要な部分) を知る方法を持っていれば、LLM はより効果的である可能性があります。

CALM に関する学術論文では、次のように説明されています。

「Transformer ベースの大規模言語モデル (LLM) の最近の進歩により、多くのタスクでパフォーマンスが大幅に向上しました。

これらの利点は、モデルのサイズの大幅な増加に伴い、推論時の使用が遅くなり、コストがかかる可能性があります。

ただし、実際には、LLM によって作成される一連の世代は、さまざまなレベルの難易度で構成されています。

特定の予測はモデルの全容量から本当に恩恵を受けますが、他の継続はより自明であり、計算量を削減して解決できます。

…大規模なモデルは一般的に優れていますが、同様のパフォーマンスを達成するために、すべての入力に対して同じ量の計算が必要になるとは限りません (たとえば、入力が簡単か難しいかによって異なります)。」

赤 = フル容量/緑 = 容量の半分未満

上の画像は、このアイデアの動作を示しています。 研究者は次のように書いています。

色は、各トークンに使用されるデコード レイヤーの数を表します。薄緑色の色合いは、レイヤー全体の半分未満であることを示します。 一部の選択されたトークンのみがモデルの全容量を使用しますが (赤で表示)、ほとんどのトークンでは、1 つまたはいくつかのデコード レイヤー (緑で表示) の後にモデルが終了します。」

研究者はまた、LLM で CALM を実装することは、言語モデルの速度を上げるために最小限の変更しか必要としないという結論に言及しています。 基本的に、これにより LLM をより高速かつ効率的にトレーニングできるようになり、より多くの情報を処理してより正確な結果をより短時間で生成できるようになります。

これは、あらゆる業界の企業にとって明らかな意味を持ちます。これは、洞察を収集し、より迅速かつ正確に意思決定を行うことができることを意味します。 しかし、これは B2B マーケターにとって何を意味するのでしょうか?

B2B マーケターにとっての CALM の意味

コンテンツ マーケティング

CALM 機能は、マーケティング担当者がリアルタイムのデータと洞察に基づいて、より正確で関連性の高いコンテンツを生成するのに役立つため、B2B コンテンツ マーケティング戦略に大きな影響を与える可能性があります。 LLM は、より多くの優れたデータにアクセスできるため、マーケティング担当者が新しいトレンドや機会をより迅速に特定するのに役立ち、より迅速に対応して競争に勝ち続けることができます。 これは、急速に進化している業界や混乱に直面している業界では特に重要です。

顧客エンゲージメントとパーソナライゼーション

B2B マーケティング担当者は、ターゲット ユーザーの共感を呼ぶパーソナライズされたコンテンツを提供することで、顧客エンゲージメント戦略を改善できます。 LLM は、顧客の行動や好みのパターンを特定するのに役立ち、マーケティング担当者がメッセージやコンテンツをより効果的に調整できるようにします。 これは、ターゲットを絞ったメッセージが大きな違いを生む可能性がある、複雑な製品や技術的な製品を扱う業界では特に重要です。 マーケティング担当者は、このテクノロジーを活用して、顧客の問い合わせに対して正確で関連性のある応答を提供することにより、顧客サービスを向上させることもできます。

翻訳

CALM テクノロジーは、自動翻訳ツールの精度と有効性を高めることができます。これは、グローバル市場で事業を展開する B2B 企業にとって非常に貴重です。 翻訳の精度を向上させることで、CALM は B2B 企業が海外の顧客やパートナーとより効果的にコミュニケーションできるようにします。

もちろん、B2B マーケティングに関しては、CALM はパズルの 1 ピースにすぎません。 マーケティング担当者は、消費者行動の変化から新しいマーケティング チャネルやマーケティング戦術に至るまで、その分野の最新の動向に遅れずについていくことが重要です。 マーケティング戦略でこれらの最新の AI 開発を習得するための支援が必要な場合は、連絡してください。