AI の未来を明らかにする
公開: 2023-06-30ケネス・ウェンガーによるマーケティング ポッドキャスト
ダクトテープマーケティングポッドキャストのこのエピソードでは、ケネス・ウェンガーにインタビューします。 彼は作家であり、トロント メトロポリタン大学の研究者であり、Squint AI Inc. の CTO です。彼の研究関心は人間と機械の交差点にあり、テクノロジーの責任ある使用に基づいて未来を構築することを保証します。
彼の最新の著書「 I s the Algorithm Plotting Against Us?: A Layperson's Guide to the Concepts, Math, and Pitfalls of AI」では、 AI の複雑さを説明し、その可能性を実証し、その欠点を明らかにしています。 彼は、読者が「AI とは一体何ですか?」という質問に答えることができるようにしています。
重要なポイント:
AI は大幅な進歩を遂げてきましたが、私たちはまだ開発の初期段階にいます。 ただし、現在の AI モデルは、深いインテリジェンスを示すのではなく、主に単純な統計タスクを実行しています。AI の将来は、コンテキストを理解し、正解と不正解を区別できるモデルの開発にあります。
Kenneth 氏は、AI に依存することの落とし穴、特にモデルの意思決定プロセスの背後にある理解の欠如と偏った結果が生じる可能性についても強調しています。 これらのマシンの信頼性と説明責任は、特に医療や法律のように人命が危険にさらされる可能性がある安全性が重要な領域において、開発する上で非常に重要です。 全体として、AI は大幅な進歩を遂げていますが、その真の可能性を解き放ち、それに伴う課題に対処するにはまだ長い道のりがあります。
ケネス・ウェンガーに尋ねる質問:
- [02:32] あなたの本のタイトルは、これに対してプロットするアルゴリズムです。これは少し挑発的な質問です。 では、なぜこの質問をするのでしょうか?
- [03:45] AI の進化の連続体の中で、私たちは実際どの位置にいると思いますか?
- [07:58] AI マシンが人々に質問を返す日が来るでしょうか?
- [07:20] あなたのキャリアの中で、「これはうまくいく、これは私がやるべきことのようだ」と感じた具体的な例を挙げていただけますか?
- [09:25] この本のタイトルには素人と数学の両方が含まれていますが、それがどのように行われるのかについて素人向けのバージョンを教えていただけますか?
- [15:30] AI に依存することの実際の明らかな落とし穴は何ですか?
- [19:49] 人々がこれらのマシンに依存し始めて、情報が得られるはずの意思決定を頻繁に行うようになるにつれて、予測が間違っている可能性がありますよね?
ケネス・ウェンガーについてさらに詳しく:
- 『Is the Algorithm Plotting Against Us?: A Layperson's Guide to the Concepts, Math, and Pitfalls of A I』のコピーを入手してください。
- ケネスとつながります。
代理店認定集中トレーニングの詳細:
- 代理店認定集中トレーニングの詳細については、こちらをご覧ください。
マーケティング評価を受ける:
- マーケティング評価.co
この番組が好きですか? クリックして iTunes でレビューをお願いします!
John Jantch (00:00):こんにちは、HubSpot の年次インバウンド カンファレンスが近づいていることをご存知ですか? それは正しい。 9月5日から8日までボストンで開催されます。 インバウンドでは毎年、ビジネス、販売、マーケティング、カスタマーサクセス、運営などのリーダーが集まります。 持続可能な方法でビジネスを拡大するために実際に導入できる、知っておくべき最新のトレンドと戦術をすべて見つけることができます。 業界の専門家から学び、注目を集める素晴らしい才能からインスピレーションを受けることができます。 今年は、リース・ウィザースプーン、デレク・ジーター、ガイ・ラズらが出演する予定だ。 inside.com にアクセスして、今すぐチケットを入手してください。 後悔はしないでしょう。 このプログラムはインスピレーションと充電を保証します。 それは正しい。 今すぐinbound.comにアクセスしてチケットを入手してください。
(01:03):こんにちは。ダクトテープ マーケティング ポッドキャストの別のエピソードへようこそ。ジョン・ヤンチュです。 今日のゲストはケネス・ヴェンゲルです。 彼は作家であり、トロント メトロポリタン大学の研究者であり、Squint AI Inc. の CTO です。彼の研究関心は人間と機械の交差点にあり、テクノロジーの責任ある使用に基づいて未来を築くことを保証します。 今日は彼の著書『Is the Algorithm Plotting Against Us?: A Layperson's Guide to the Concepts, Math, and Pitfalls of AI』についてお話します。 それでは、ケン、ショーへようこそ。
ケネス・ウェンガー (01:40):こんにちは、ジョン。どうもありがとうございます。 呼んでくれてありがとう。
John Jantch (01:42):それで、この本について話しますが、ちょっと興味があるのですが、Squint AI は何をするのですか?
Kenneth Wenger (01:47):素晴らしい質問ですね。それで、目を細めて AI は、えー、いくつかの研究を行い、えー、次のことを可能にするプラットフォームを開発するために私たちが設立した会社です。
(02:00): AI をもっと責任ある方法で実行してください。わかった。 わかった。 それで、えー、この話に入ると思いますが、私はそれについて、えー、本の中でも多くの場合に触れています、そこで、えー、ai、ai の倫理的使用、 aiの崩壊。 それで、私たちが Squint でやっているのは、アルゴリズムがいつ機能していないのかを理解できる方法で AI を使用できる環境をどのように作成するかを考えているということです。ベストなとき、ミスをしたときなど。 うん、
ジョン・ヤンチュ (02:30):そうですね。それで、あなたの本のタイトルは「The Algorithm Plotting Against」ですが、これは少し挑発的な質問です。 つまり、明らかにノーと言っている人がいると思います
Kenneth Wenger (02:49):そうですね、私は実際、それは実際には異なる意味で多くの異なる人々によって尋ねられている質問だと感じているからです。右? つまり、AI は存続の脅威となるのか? という質問とほぼ同じです。 私、私、それは人によって意味が異なる質問です。 右。 そこで私はこの本でその点について触れて、2つのことを試みたいと思いました。 まず、その質問を自分で理解できるツールを人々に提供します。 まず、その議論の中で彼らがどのような立場にあるのかを把握し、次に、その過程で私の意見も提供します。
ジョン・ヤンチュ (03:21):はい、そうです。そして私はおそらく、その質問を思ったほどエレガントに尋ねていませんでした。 実際、あなたが質問してくれるのは素晴らしいことだと思います。なぜなら、私たちがやろうとしているのは、最終的には、これは AI に当てはまる、これは AI に当てはまらない、と言うのではなく、人々に自分自身の判断を下してもらうことだからです。
Kenneth Wenger (03:36):その通りです。それは正しい。 そして、そして、そして、特にそれは微妙な問題であるため、繰り返します。 うん。 そして、それは人によって意味が異なります。
John Jantch (03:44):それで、これは本当に難しい質問ですが、聞きたいのですが、AI の連続体の中で、私たちは実際のところどこにいるのでしょうか?つまり、このテーマに長年取り組んできた人々は、それが私たちが毎日使用し、当然のことだと思っている多くのものに組み込まれていることを認識しています。明らかに、私たち ChatGPT は、今では少なくとも、少なくともそれが何であるかを説明する語彙。 しかし、私は覚えています、私は30年間自分のビジネスを持っていました。 つまり、ウェブがありませんでした
Kenneth Wenger (04:32):ご存知のとおり、それは素晴らしい質問です。なぜなら、私たちは実際には非常に早い段階にあると思うからです。うん。 私たちは、非常に短期間で目覚ましい進歩を遂げたと思いますが、まだ初期段階にあると思います。 ご存知のように、私たちが今いる状況、10 年前の AI について考えてみると、ある程度の進歩はありました。 しかし、基本的に、科学のレベルではまだ表面をなぞり始めただけだと思います。 いくつか例を挙げてみましょう。 最初、最初のモデルは、質問を投げかけるこの新しい方法が、本質的にはニューラル ネットワークであるという証拠を提供することに非常に優れていました。 ええ、ええ。 右。 それらは非常に複雑な方程式です。 GPU を使用してこれらの複雑な方程式を実行すると、実際にかなり複雑な問題を解決できるようになります。 これは 2012 年頃と 2017 年頃から認識されたことであり、2012 年から 2017 年までの間の進歩は非常に直線的でした。
(05:28):新しいモデルが作成され、新しいアイデアが提案されましたが、物事は非常に直線的にスケールし、進歩しました。しかし 2017 年以降、chat、g、pt、およびこれらすべての大きな言語モデルの背後にある基本アーキテクチャである Transformer と呼ばれるモデルの導入により、私たちは別の種類の認識を得ました。 そのとき、これらのモデルをスケールアップし、さらにスケールアップすると、モデルのサイズとトレーニングに使用したデータセットのサイズの点で、モデルが飛躍的に向上することに気づきました。 わかった。 そして、それが私たちが今日の地点に到達したときです。そこで、単にスケーリングするだけで、繰り返しますが、2017 年以来根本的に異なることは何もしていないことに気づきました。私たちが行ったのは、モデルのサイズを大きくし、モデルのサイズを大きくしたことだけです。データセットのサイズが大きくなり、指数関数的に向上しています。
John Jantch (06:14):では、加算ではなく乗算ですか?
Kenneth Wenger (06:18):そうですね、その通りです。うん。 では、そうではなく、進歩は直線的な軌道にとどまらず、指数関数的に進んできました。 うん。 しかし、繰り返しになりますが、これらのモデルでは基本的にはあまり変わっていないという事実は、すぐに先細りになるだろうと思います。 それは私の期待です。 そして今、私たちはタイムラインのどこにいるのでしょうか? これがあなたの最初の質問でした。 今日のモデルたちが何をしているかを考えてみると、彼らは非常に素のことをしていると思います。 彼らは本質的に非常に単純な統計を行っています。 うーん、うーん。
ジョン・ヤンチュ (07:39):もちろんです。つまり、人工知能については完全に同意します。 私は実際にそれを「ia」と呼んでいます。 それは情報に基づいた自動化だと思います。
ケネス・ウェンガー (08:06):そうですね。つまり、単純な答えは「はい」です。 私は、間違いなくそう思います。 そしてそれは、より高いレベルの知性を達成することがどのようなものであるかということの一部だと思います。 それは、彼らが単にあなたの入札を行っているだけではなく、単なるツールでもない場合です。 ええ、ええ。 ああ、でも彼らには、達成しようとしている独自の目的があるようです。 それで、基本的にシステムから質問のようなものが生じるのがわかるでしょう? それは、彼らが達成したい目標を持っているときです。つまり、それから、その目標に到達するための計画を立てるときです。 そうすると、自分への疑問のようなものが浮かび上がってくるのです。 まだそこまでは到達していないと思いますが、確かにその可能性はあると思います。
John Jantch (08:40):でも、それも SF バージョンですよね?つまり、人々が「映画のこと」と言い始めると、「いやいや、ケン、君はまだその情報を知らないんだよ」という感じです。 それがいつわかるか決めるよ
Kenneth Wenger (08:52):そうですね、その通りです。つまり、質問の仕方は、原理的には可能ですかというようなものでした。 絶対にそう思います。 はい。 うん。 それが欲しいですか? つまり、私にはわかりません。 それは、そうですね、私たちがどのようなユースケースを考えているかによると思います。 ええと、しかし第一原理の観点から言えば、そうです、それは確かに可能です。 うん。 モデルを取得しないこと
ジョン・ヤンチュ (09:13):そうしなさい。 それで、私は、何十人もの人々がいると思いますが、彼らがAIについて理解しているのは、私がボックスのあるこの場所に行って質問を入力すると、答えが吐き出されるということだけです。 タイトルに素人と数学の両方が入っているので、それがどのように行われるかについて素人向けのバージョンを教えていただけますか?
Kenneth Wenger (09:33):ええ、その通りです。それで、まあ、少なくとも私は努力してみます、そう言えばいいですか、
(10:31):つまり、基本的に、a、a、プロンプトまたはテキストのコーパス内のあらゆる単語について、その単語がそのシーケンスに属する確率を計算します。右? そして彼らは、そこで正しい確率が最も高い次の単語を選択します。 わかった? さて、これは次の意味で非常に単純なモデルです。 私たちがどのようにコミュニケーションをとっているかを考えてみると、そうですよね? ご存知のとおり、私たちは今会話中です。 あなたが質問するとき、私は立ち止まって、これから何を言おうとしているのか考えると思います。 つまり、私には世界のモデルがあり、その会話には目的があります。 何を返したいかを考え、言葉を発し、発する能力を使ってそれを伝えます。 右? おそらく、私の脳には、言葉を言い始めるとすぐに、次に言おうとしている言葉が最も可能性の高い言葉であるという意味で、大規模な言語モデルと非常によく似た働きをするシステムが私の脳内にあるのかもしれません。私が今言った言葉を考えると、それは正しいことです。
(11:32):その可能性は非常に高いです。それは本当だ。 しかし、違うのは、少なくとも、私がこれから言おうとしていることの計画が、潜在的な空間ですでに決まっているということです。 すでに何らかの形式でエンコードしています。 私が伝えたいのは、言葉を生み出すプロの能力は言語モデルに非常に似ているかもしれないということです。 しかし、違いは、大規模な言語モデルは、それらの単語を思いつくと同時に、何を言おうとしているのかを理解しようとしているということです。 うーん、うーん。
John Jantch (12:20):私は確かに、その点に沿って非常に興味深い出力をいくつか見たことがあります。でも、あなたがそれについて話しているのを聞いたので、つまり、多くの点で、私たちがやっているのは、私たちが教えられたこと、つまり、私たちが教えてきた言葉のデータベースを照会しているということです。私たちが研究してきた概念に加えて、それを知っていて、明確に表現することができます。 つまり、ある意味、私たちはそれを私に問い合わせたり、促したり、私があなたに質問したりしているのですが、同じように機能します。 言いますか
Kenneth Wenger (12:47):質問を促し、それに答えるという側面は似ていますが、異なるのは、説明しようとしている概念です。 それで、繰り返しになりますが、あなたが私に質問をするとき、私はそれについて考えて、思いつきます。つまり、私には、人生を生きていくためにこれまでのところうまく機能する世界モデルがありますよね? そして、その世界モデルにより、さまざまな概念をさまざまな方法で理解できるようになります。 そして、あなたの質問に答えようとするとき、私はそれについて考え、答えを組み立て、それをあなたに伝える方法を見つけます。 わかった? これらの言語モデルが行っていることにはそのステップが欠けていますよね? 彼らはプロンプトを受け取りますが、何らかの目標を持って応答を策定するステップはありませんよね? 右? はい。 何らかの目的。 彼らは基本的にテキストを取得し、生成中に理解される一連の単語を生成しようとしているのですよね? 究極の計画なんてない。 つまり、それは非常に根本的な違いです。
John Jantch (13:54):それでは、Made Simple のマーケティングを担当するスポンサーから一言聞きましょう。これは、Dr. J j Peterson がホストするポッドキャストで、HubSpot Podcast Network によって提供されています。HubSpot Podcast Network は、マーケティングを簡素化するビジネス プロフェッショナル向けの音声配信先であり、マーケティングを容易にし、さらに重要なことに、マーケティングを成功させるための実践的なヒントを提供します。 そして、最近のエピソードでは、JJ と April は、マーケティング目的で ChatGPT を使用する方法について、StoryBrand 認定ガイドおよび代理店のオーナーとチャットしています。 それが今日どれほど重要であるかを私たちは皆知っています。 マーケティングの「Made Simple」を聞いてください。 ポッドキャストをどこからでも入手できます。
(14:30):マーケティング代理店のオーナーの皆さん、ご存知のとおり、わずか 90 日でビジネスを 2 倍にする鍵をお教えします。そうでない場合は返金いたします。面白そうですね。 あなたがしなければならないのは、当社の 3 段階のプロセスのライセンスを取得することだけです。これにより、競合他社を無関係にし、サービスにプレミアムを請求し、おそらくオーバーヘッドを追加することなく拡張できるようになります。 そしてここが最高の部分です。 今後開催される代理店認定集中調査に参加するだけで、代理店向けにこのシステム全体のライセンスを取得できます。なぜホイールを作成するのでしょうか? 20 年以上かけて作成した一連のツールを使用してください。 今すぐ入手できます。dtm.world/certification で確認してください。 それがDTM世界スラッシュ認定です。
(15:18):私は将来に何が起こるのかを知りたいと思っていますが、この本の中で詳しく説明されているいくつかの点について詳しくお話したいと思います。メディアが広める恐怖以外に何があるの?
Kenneth Wenger (15:38):最大の問題であり、この本を書き始めたときの本当の動機の 1 つは、この本が 2 つの理由で強力なツールであることだと思います。とても使いやすそうですよね? うん。 週末をかけて Python を学習し、数行書くだけで、ライブラリを使用するだけでは以前はできなかったデータの変換、分析、解析が可能になります。 つまり、自分が何をしているのかを実際に理解する必要はなく、役に立ちそうな結果を得ることができます。 うーん、うーん。
(16:42):他の人に影響を与える可能性のある方法で。たとえば、あなたが金融機関で働いているとします。そして、誰に評価を与え、承認を得るべきかを判断するためのモデルを思いついたとします。誰のため、クレジットラインの信用のため、そして誰のためではないのか。 さて、現在、銀行は独自のモデルを持っていますが、確かに、そこから AI を取り出すと、これらのモデルは伝統的に統計学者によって考え抜かれており、時には間違ったことをすることもありますが、少なくとも彼らには大きな問題があります。データを分析してデータに偏りを与えるということが何を意味するのか、よくわかりますよね? データの偏りはどのような影響を及ぼしますか? これらすべてをどうやって取り除くかは、優れた統計学者が訓練を受けるべきことです。 しかし今、統計学者を排除すると、誰でもモデルを使用してデータを分析し、何らかの予測を得ることができるので、何が起こるかというと、あなたと一緒にいる人々の信用枠を拒否したり承認したりすることになり、影響が及ぶ可能性があります。ご存知のとおり、これはデータ内の非常に負のバイアスによって引き起こされます。
(17:44):そうですね、人口の特定の部分に悪影響を与える可能性があります。もしかしたら、特定の地域に住んでいるという理由だけでクレジットラインを取得できない人もいるかもしれません。
John Jantch (17:57):しかし、以前はそれが要因ではなかったでしょうか?つまり、確かに近隣地域は考慮されています
Kenneth Wenger (18:06):ええ、その通りです。先ほども言いましたが、私たちは常にバイアスの問題を抱えていました。 データの中ですよね? しかし伝統的には、2 つのことが起こることを期待します。 まず、モデルを思いつく人は、それが複雑な問題であるという理由だけで、満足のいく統計トレーニングを受けている必要があると期待するでしょう。 うん。 右? そして、倫理統計学者は、データの偏りにどう対処するかを検討する必要があるでしょう? それが1番です。 2 番目に、私たちが現在抱えている問題は、まず第一に、決まった決断をする必要がないということです。 何が起こっているのか理解せずにモデルを使用することはできますよね? 右。 そしてさらに悪いことに、これらのモデルでは実際にどのようにモデルが到着したのか、または予測がどのようになったのかを理解することができない、あるいは伝統的に理解することが非常に困難であるということです。 それで、本の中で話しているように、たとえば裁判で信用枠や保釈金のいずれかを拒否された場合、えー、なぜ私が?と反論するのは非常に困難です。 なぜ、なぜ私はこのことを拒否されたのですか? そして、決定事項がある従来のアプローチで再度監査するプロセスを経ると、いつでも質問できるようになります。では、これをどのようにモデル化したのでしょうか? ええと、なぜこの人は監査でこの特定のケースを拒否されたのですか? うーん、うーん。
John Jantch (19:21):つまり、つまり、つまり、あなたの言っていることは、最初の問題の 1 つは、人々が出力、つまりデータに依存しているということです。つまり、私はそれを非常に単純な方法で使用しています。 私はマーケティング会社を経営していますが、コピーのアイデアを提供したり、ヘッドラインのアイデアを提供したりするために、このサービスをよく利用しています。 だから、たぶん他の人と同じように聞こえること以外には、そこに本当の危険があるとは感じません
ケネス・ウェンガー (19:57):はい。そして、それは非常に多いので、答えは「はい」です。 さて、それには 2 つの理由があります。 ところで、話を戻しますが、もちろん、これをスペクトルとして考えなければならないユースケースもあります。 そうそう、そうそう。 何か間違ったことをした場合の影響が他の場合よりもひどい場合もありますよね? したがって、あなたが言うように、コピーを生成しようとしていて、それがナンセンスであることがわかっている場合は、そのまま変更してください。 そして一日の終わりには、おそらくそれを見直すことになるでしょう。 したがって、その方がコストが低くなり、おそらくコストが低くなります。 そこでの間違いの代償は、たとえば裁判手続きでモデルを使用する場合よりも低くなります。 右? 右。 右。 さて、これらのモデルが時々失敗したり、間違いを犯したりするという事実に関して言えば、その理由は、これらのモデルが実際に機能する方法が実際に機能するためであり、欺瞞になる可能性がある部分は、これらのモデルが非常にうまく機能する傾向があるということです。つまり、データ内の領域、つまり彼らがよく理解している領域です。
(20:56):つまり、データセットのことを考えてみてください。そのため、データセット内のほとんどのデータに対してデータセットを使用してトレーニングされており、非常にうまくモデル化できるようになります。 だからこそ、特定のデータセットに対して、たとえば 90% の精度でパフォーマンスを発揮するモデルが得られるのです。 問題は、本当にうまくモデル化できない 10% の間違いが顕著であり、人間がそうした間違いを犯すことは不可能であるということです。 うん。 では、まず、得られたモデルをトレーニングしているときに、この特定のデータセットでエラー率が 10% になった場合はどうなるでしょうか。 1 つ問題は、それを実稼働環境に導入するときに、それらのエラーの発生率が現実世界でも同じになるかどうかわからないということです。
(21:40):最終的には、データ セットよりもはるかに高い割合でエラーにつながるデータ ポイントを取得する状況に陥る可能性があります。問題が 1 つだけあります。 2番目の問題は、ユースケース、プロダクション、アプリケーションの場合、たとえば医療ユースケースや自動運転など、ミスが損害を被る可能性がある場合です。戻って、なぜ間違ったのか、なぜモデルが間違ったのかを説明しなければならないとき、それは人間が間違っていることとは奇妙にも異なっています。 これが、現在安全性が重要な領域全体にこれらのシステムを導入していない根本的な理由の 1 つです。 ところで、これが私たちが Splint を作成した根本的な理由の 1 つであり、特にこれらの問題に取り組むことであり、モデルのセットや、モデルがいつ正常に動作しているかを明確に理解できるシステムをどのように作成できるかを考え出すことです。実行時に問題が発生したとき。 それが、現時点で私たちが本来あるべきほど進歩していない根本的な理由の 1 つであると私は心から思っています。 モデルが本当にうまく機能するとき、えー、データをモデル化できるときは、モデルはうまく機能するからです。 しかし、データのそのセクションをモデル化できない場合、間違いは信じられないほど大きくなります。 人間では決して作れないようなものです
ジョン・ヤンチュ (23:00):間違いです。 ええ、ええ、ええ。 そして、明らかに、それは確実にそうなるでしょう、AIか何かによって誘導された有人宇宙船の送信を誰かが信頼する前に、それを解決する必要がありますよね? つまり、人命が危険にさらされていることを知っているときは、信頼を持たなければなりません。 したがって、その意思決定が信頼できない場合、人々は確実にそのテクノロジーを利用できなくなるでしょう。
ケネス・ウェンガー (23:24):そうでしょう?あるいは、例えば、先ほども言ったように、がんの診断などの医療分野でそれらを使用することですよね。 たとえば生検スキャンなど、特定の種類のがんを検出できるモデルが必要な場合は、そのモデルを信頼できるようにする必要があります。 さて、基本的に、どんなモデルであっても、間違いは起こります。 完璧なものはありませんが、2 つのことが起こってほしいと考えています。 まず、モデルが犯す可能性のある間違いの種類を最小限に抑えたいと考えており、モデルの予測の品質が高くないという何らかの兆候を得る必要があります。 そんなものは欲しくないでしょう。 うん。 そして第二に、一度間違いが起こったら、その間違いが起こった理由は、人間ですらこれ以上のことはできないほどデータの品質が高かったからだと弁護できなければなりません。 うん。 人間の医師が見て「これは明らかに間違っている」と言うような間違いをモデルにさせることはできません。
ジョン・ヤンチュ (24:15):そうですね。うん。 絶対。 ケン、ダクトテープマーケティングポッドキャストにお立ち寄りいただきありがとうございます。 あなたは、人々がどこで見つけて、必要に応じてあなたとつながり、そして当然、どこで『アルゴリズムは私たちに対して陰謀を企てているのか?』のコピーを入手できるかを人々に伝えたいと考えています。
ケネス・ウェンガー (24:29):その通りです。まず初めに、私を迎えてくれて本当にありがとう。 素晴らしい会話でした。 そうです、LinkedIn で私に連絡して、警察にこの本のコピーを入手してください。そして、Amazon と私たちの出版社の Web サイト (working fires.org) の両方から入手できます。
ジョン・ヤンチュ (24:42):素晴らしいですね。繰り返しになりますが、素晴らしい会話で解決してくれてありがとう。 うまくいけば、いつか道路であなたに会えるかもしれません。
ケネス・ウェンガー (24:49):ありがとうございます。
John Jantch (24:49):ねえ、帰る前に最後に一つだけ。私がマーケティング戦略、戦術の前に戦略についてどのように話すか知っていますか? そうですね、マーケティング戦略の作成に関して自分がどのような立場にあるのか、何をする必要があるのかを理解するのが難しい場合があります。 そこで私たちはあなたのために無料のツールを作成しました。 それはマーケティング戦略評価と呼ばれます。 .com、dot co ではなく、@marketingassessment.co で見つけることができます。 無料のマーケティング評価をチェックして、現在の戦略がどのような状況にあるのかを確認してください。 それは単なるマーケティング評価です.co. 得られた結果についてお話したいと思います。
登録して最新情報をメールで受け取る
以下に名前とメール アドレスを入力してください。ポッドキャストに関する最新情報を定期的にお送りします。
ダクトテープマーケティングポッドキャストのこのエピソードは、HubSpot ポッドキャスト ネットワークによって提供されます。
HubSpot Podcast Network は、ビジネスを成長させる方法について最高の教育とインスピレーションを求めるビジネス プロフェッショナルのための音声配信先です。