CALM de Google—La solution à OpenAI ?

La nouvelle fonctionnalité de Google a le potentiel de révolutionner le domaine des grands modèles linguistiques (LLM). La technologie révolutionnaire appelée CALM (Confident Adaptive Language Modeling) est conçue pour accélérer les LLM comme GPT-3 et LaMDA, sans compromettre les niveaux de performance.

C'est quoi CALME ?

CALM est une technologie de modèle de langage avancé que Google a développée pour améliorer la capacité de son moteur de recherche à comprendre et à interpréter les requêtes en langage naturel. Cela signifie Adaptation continue pour le modèle de langage, ce qui signifie essentiellement que la technologie apprend et s'adapte en permanence pour améliorer ses performances.

Google utilise la technologie des modèles de langage depuis des années, mais CALM est un pas en avant significatif car il est construit sur une architecture de réseau de neurones qui lui permet de traiter plus efficacement les requêtes en langage naturel. CALM utilise un modèle basé sur un transformateur qui peut analyser et comprendre le contexte d'une requête, ce qui le rend plus capable de décider quelles tâches nécessitent plus d'efforts. Comme le cerveau humain délègue de l'énergie pour que nous ne mettions pas le même effort à verser de la crème dans nos cafés qu'à écrire un e-mail à l'échelle de l'entreprise, CALM, eh bien, calme les modèles de langage de l'IA.

De manière générale, les LLM sont formés sur des quantités massives de données textuelles afin d'apprendre des modèles et des relations d'entités dans la langue. Par exemple, la version initiale de GPT a été formée en 2018 sur BookCorpus, composée de 985 millions de mots. La même année, BERT a été formé sur une combinaison de BookCorpus et de Wikipedia anglais, totalisant 3,3 milliards de mots.

Des LLM plus récents, tels que GPT-3, ont été formés sur des ensembles de données encore plus volumineux. GPT-3 contient plus de 175 milliards de paramètres et a été formé sur environ 45 To de texte. Les données de formation utilisées pour GPT-3 ne sont pas divulguées publiquement, mais on pense qu'elles incluent un large éventail de sources, telles que des livres, des articles et des sites Web.

Imaginez maintenant toutes ces données dans une bibliothèque. Vous êtes assis seul dans la bibliothèque et tout à coup, les gens commencent à franchir la porte avec des questions. "Parlez-moi de l'histoire de l'Amérique du Sud." « Quel type de lait sans produits laitiers me convient le mieux ? » "Comment mon entreprise peut-elle bénéficier de l'utilisation du marketing d'influence ?" "Écrivez-moi 10 options pour la copie des médias sociaux" "Agis en tant que journaliste et écris-moi une copie sur la récession imminente." Vous seriez un peu dépassé, vous aussi, n'est-ce pas ? Vous ne savez pas comment hiérarchiser ces requêtes et vous devez parcourir des millions de données pour trouver la bonne réponse à présenter au demandeur.

C'est ce que font les LLM chaque fois que nous leur demandons de générer quelque chose - et pourquoi il peut y avoir des moments dans la journée où la plateforme vous demande de revenir plus tard en raison d'un trafic élevé. Mais si les LLM avaient un moyen de passer au crible les données plus efficacement - pour savoir quelles parties de chaque requête prioriser, ce qui nécessite un «effort complet» par rapport à un «effort partiel» - ils pourraient être plus efficaces.

L'article académique sur CALM le dit ainsi:

« Les progrès récents des grands modèles de langage (LLM) basés sur Transformer ont conduit à des améliorations significatives des performances dans de nombreuses tâches.

Ces gains s'accompagnent d'une augmentation drastique de la taille des modèles, entraînant potentiellement une utilisation lente et coûteuse au moment de l'inférence.

En pratique, cependant, la série de générations constituée par les LLM est composée de différents niveaux de difficulté.

Alors que certaines prédictions bénéficient réellement de la pleine capacité des modèles, d'autres continuations sont plus triviales et peuvent être résolues avec un calcul réduit.

… Bien que les grands modèles fonctionnent mieux en général, la même quantité de calculs peut ne pas être nécessaire pour chaque entrée pour obtenir des performances similaires (par exemple, selon que l'entrée est facile ou difficile).

Rouge = pleine capacité/vert = moins de la moitié de la capacité

L'image ci-dessus montre cette idée en action. Les chercheurs ont écrit :

"Les couleurs représentent le nombre de couches de décodage utilisées pour chaque jeton - les nuances de vert clair indiquent moins de la moitié des couches totales. Seuls quelques jetons sélectionnés utilisent la pleine capacité du modèle (colorés en rouge), tandis que pour la plupart des jetons, le modèle sort après une ou quelques couches de décodage (colorés en vert).

Les chercheurs ont également noté dans leur conclusion que la mise en œuvre de CALM dans un LLM ne nécessite qu'une modification minimale pour aider le modèle de langage à augmenter la vitesse. Cela permet essentiellement aux LLM d'être formés plus rapidement et plus efficacement, ce qui signifie qu'ils peuvent traiter plus d'informations et produire des résultats plus précis en moins de temps.

Cela a des implications évidentes pour les entreprises de tous les secteurs, car cela signifie qu'elles peuvent recueillir des informations et prendre des décisions plus rapidement et avec une plus grande précision. Mais qu'est-ce que tout cela signifie pour les spécialistes du marketing B2B ?

Les implications de CALM pour les spécialistes du marketing B2B

Marketing de contenu

La fonctionnalité CALM peut avoir un impact significatif sur les stratégies de marketing de contenu B2B, car elle peut aider les spécialistes du marketing à générer un contenu plus précis et pertinent basé sur des données et des informations en temps réel. Avec un accès à des données plus nombreuses et de meilleure qualité, les LLM pourraient aider les spécialistes du marketing à identifier plus rapidement les nouvelles tendances et opportunités, leur permettant de réagir plus rapidement et de garder une longueur d'avance sur la concurrence. Cela pourrait être particulièrement important dans les industries qui évoluent rapidement ou qui sont confrontées à des perturbations.

Engagement client et personnalisation

Les spécialistes du marketing B2B peuvent améliorer les stratégies d'engagement client en fournissant un contenu personnalisé qui résonne avec leur public cible. Les LLM peuvent aider à identifier les modèles de comportement et de préférences des clients, permettant aux spécialistes du marketing d'adapter plus efficacement leur messagerie et leur contenu. Cela peut être particulièrement important dans les industries avec des produits complexes ou techniques, où la messagerie ciblée peut faire une grande différence. Les spécialistes du marketing peuvent également tirer parti de la technologie pour améliorer leur service client, en fournissant des réponses précises et pertinentes aux demandes des clients.

Traduction

La technologie CALM peut améliorer la précision et l'efficacité des outils de traduction automatique, ce qui peut être inestimable pour les entreprises B2B qui opèrent sur les marchés mondiaux. En améliorant la précision des traductions, CALM peut permettre aux entreprises B2B de communiquer plus efficacement avec leurs clients et partenaires internationaux.

Bien sûr, CALM n'est qu'une pièce du puzzle en matière de marketing B2B. Il est important que les spécialistes du marketing se tiennent au courant de tous les derniers développements dans leur domaine, de l'évolution des comportements des consommateurs aux nouveaux canaux de marketing et tactiques de marketing. Si vous souhaitez obtenir de l'aide pour maîtriser ces derniers développements de l'IA dans votre stratégie marketing, contactez-nous.