揭开人工智能的未来

已发表: 2023-06-30

肯尼思·温格的营销播客

肯尼思·温格 (Kenneth Wenger),管道胶带营销播客的嘉宾 在本期管道胶带营销播客中,我采访了肯尼思·温格。 是一位作家、多伦多城市大学的研究学者、Squint AI Inc. 的首席技术官。他的研究兴趣在于人类与机器的交叉点,确保我们建立一个基于负责任地使用技术的未来。

他的最新著作《算法对我们不利?:人工智能概念、数学和陷阱的外行指南》。肯尼思解释了人工智能的复杂性,展示了其潜力并暴露了其缺陷。 他让读者能够回答这个问题:人工智能到底是什么?

要点:

尽管人工智能已经取得了重大进展,但我们仍处于其发展的早期阶段。 然而,当前的人工智能模型主要执行简单的统计任务,而不是展现深度智能。人工智能的未来在于开发能够理解上下文并区分正确和错误答案的模型。

肯尼斯还强调了依赖人工智能的陷阱,特别是缺乏对模型决策过程背后的理解以及可能出现有偏见的结果。 这些机器的可信度和责任感对于开发至关重要,尤其是在医学或法律等可能危及人类生命的安全关键领域。 总体而言,虽然人工智能已经取得了长足的进步,但在释放其真正潜力和应对相关挑战方面仍有很长的路要走。

我问肯尼思·温格的问题:

  • [02:32] 你的书的标题是针对这个问题绘制的算法,这是一个有点挑衅性的问题。 那么为什么要问这个问题呢?
  • [03:45] 您认为我们在人工智能发展的连续体中到底处于什么位置?
  • [07:58] 你认为人工智能机器有一天会开始向人们提问吗?
  • [07:20] 您能举出您职业生涯中的一个具体实例吗?在该实例中您感觉“这会起作用,这就是我应该做的事情”?
  • [09:25] 书名中同时包含了外行和数学,您能给我们一些外行版本的内容吗?
  • [15:30] 依赖人工智能的真正和明显的陷阱是什么?
  • [19:49] 当人们开始依赖这些机器来做出应该被多次告知的决定时,预测可能是错误的,对吧?

更多关于肯尼思·温格:

  • 获取《算法是否对我们不利?:人工智能概念、数学和陷阱的外行指南》。
  • 与肯尼斯联系。

有关该机构认证强化培训的更多信息:

  • 在此处了解有关机构认证强化培训的更多信息

进行营销评估:

  • 营销评估网站

喜欢这个节目吗? 请点击 并在 iTunes 上给我们一个评论!

电子邮件 下载 新标签

John Jantsch (00:00):嘿,您知道 HubSpot 年度入站会议即将召开吗? 这是正确的。 将于 9 月 5 日至 8 日在波士顿举行。 每年,业务、销售、营销、客户成功、运营等领域的领导者都会齐聚一堂。 您将能够发现所有必须了解的最新趋势和策略,您可以实际实施这些趋势和策略,以可持续的方式扩展您的业务。 您可以向行业专家学习,并受到令人瞩目的人才的启发。 今年,瑞茜·威瑟斯彭 (Reese Witherspoon)、德里克·杰特 (Derek Jeter)、盖伊·拉兹 (Guy Raz) 等明星都将亮相。 立即访问 inbound.com 并获取机票。 你不会后悔的。 这个节目一定能激发灵感并恢复活力。 这是正确的。 立即前往 inbound.com 获取机票。

(01:03):大家好,欢迎收看管道胶带营销播客的另一集。这是约翰·詹奇。 今天我的客人是肯尼思·温格。 他是一位作家、多伦多城市大学的研究学者和 Squint AI Inc. 的首席技术官。他的研究兴趣在于人类与机器的交叉,确保我们建立一个基于负责任地使用技术的未来。 今天我们要讨论他的书《算法对我们不利吗?:人工智能概念、数学和陷阱的外行指南》。 那么,肯,欢迎来到这个节目。

肯尼思·温格 (01:40):嗨,约翰。非常感谢。 谢谢你有我。

John Jantsch (01:42):所以,我们要讨论这本书,但我,我只是好奇,Squint AI 是做什么的?

肯尼思·温格 (01:47):这是一个很好的问题。所以,squint ai,嗯,是我们创建的一家公司,嗯,做一些研究并开发一个平台,使我们能够,嗯,

(02:00):以一种更负责任的方式,呃,做人工智能。好的。 好的。 所以,呃,我确信我们会讨论这个,但是我在书中也在很多情况下谈到了它,我们谈论,呃,人工智能,人工智能的道德使用,一些艾的垮台。 因此,我们正在用 Squint 做的是,我们试图弄清楚,你知道,我们如何尝试创建一个环境,使我们能够以某种方式使用人工智能,让我们了解这些算法何时无法执行当他们犯错误等等时,他们处于最佳状态。 是的,

约翰·詹奇 (02:30):是的。所以,你的书的标题是《算法绘图反对》,这是一个有点挑衅性的问题。 我的意思是,显然我确信有人会说不,有些人说,嗯,绝对如此。 那么,为什么要问这个问题呢?

肯尼思·温格 (02:49):嗯,因为我实际上觉得这是一个由许多不同的人提出的问题,实际上具有不同的含义。正确的? 所以,这几乎与人工智能是否构成生存威胁的问题相同? 我,我,这个问题对不同的人来说意味着不同的事情。 正确的。 所以我想在书中深入探讨这一点,并尝试做两件事。 首先,为人们提供能够自己理解这个问题的工具,对吧。 首先弄清楚他们在这场辩论中的立场,然后,嗯,你知道,一路上也提供我的观点。

约翰·詹奇 (03:21):是的,是的。我可能没有像我想的那样优雅地问这个问题。 我实际上认为你问这个问题很好,因为最终我们想做的是让人们做出自己的决定,而不是说,人工智能是这样,或者人工智能不是这样。 正确的。

肯尼思·温格 (03:36):没错。这是正确的。 而且,而且,再一次,特别是因为这是一个微妙的问题。 是的。 这对不同的人来说意味着不同的事情。

John Jantsch (03:44):这是一个非常困难的问题,但我要问你,你知道,我们真正处于人工智能的连续体中吗?我的意思是,多年来一直关注这个话题的人们意识到它已经融入到我们每天使用的许多东西中,并认为这是理所当然的,显然我们 ChatGPT 带来了另一类人,你知道,现在至少有一个关于它是什么的谈话词汇。 但我记得,你知道,我已经、我已经、我拥有自己的事业 30 年了。 我的意思是,我们没有网络,我们没有网站,你知道,我们没有现在肯定发挥作用的移动设备,但我记得当每一个出现时,人们就像,哦,我们注定要失败。 结束了。 正确的。 那么,目前围绕人工智能有很多此类语言,但您认为我们真正处于进化的连续体中的哪个位置?

Kenneth Wenger (04:32):你知道,这是一个很好的问题,因为我认为我们实际上还处于起步阶段。是的。 我认为,我们在很短的时间内取得了显着的进展,但我认为我们仍然处于非常早期的阶段。 你知道,如果你想到我们现在的人工智能水平,我们已经在十年前取得了一些进展。 但我认为,从根本上来说,在科学层面上,我们才刚刚开始触及表面。 我给你举一些例子。 所以最初,你知道,第一个模型,它们非常擅长为我们提供一些证据,证明这种提出问题的新方式本质上是,呃,神经网络。 是啊是啊。 正确的。 它们是非常复杂的方程。 呃,如果你使用 GPU 来运行这些复杂的方程,那么我们实际上可以解决相当复杂的问题。 这是我们在 2012 年左右以及在 2017 年左右意识到的事情,所以在 2012 年到 2017 年之间,进展是非常线性的。

(05:28):你知道,新的模型被创建了,新的想法被提出了,但事情的扩展和进展非常线性。但在 2017 年之后,随着 Transformer 模型的引入,它是 chat、g、pt 和所有这些大型语言模型背后的基础架构,我们有了另一种实现。 就在那时,我们意识到,如果你采用这些模型,然后将它们放大,就模型的大小和我们用来训练它们的数据集的大小而言,它们会呈指数级增长。 好的。 就在那时,我们到达了今天的地步,我们再次意识到,自 2017 年以来,仅仅通过缩放它们,我们就没有做任何根本上不同的事情。我们所做的就是增加模型的大小,增加数据集的大小,而且它们的性能呈指数级增长。

John Jantsch (06:14):所以,乘法而不是加法?

肯尼思·温格 (06:18):嗯,是的,完全正确。是的。 所以,事实并非如此,进步是指数级的,不仅仅是在线性轨迹上。 是的。 但我认为,事实上,我们在这些模型中没有从根本上改变太多,这种情况很快就会逐渐减少。 这是我的期望。 现在我们处于时间轴的哪个位置? 这是你原来的问题。 我想,如果你想想模特们今天在做什么,就会发现他们所做的事情非常重要。 本质上,他们正在做非常简单的统计。 嗯嗯。 ,它们并不是这些模型被称为人工智能的想法。 正确的。 我认为有时这有点用词不当。 我同意。 这引发了人们的一些问题。 嗯,因为那里并没有太多深度智能,只是统计建模,而且非常简单。 然后我们从这里走向何方,我希望未来是什么,那就是我们开始的时候,我认为,当我们开始获得不仅能够进行简单统计的模型时,事情将会发生巨大变化,但能够理解他们想要实现的目标的背景。 是的。 并且能够理解正确答案和错误答案。 因此,例如,他们,他们,他们,他们能够知道什么时候他们在谈论他们知道的事情,什么时候他们在回避他们并不真正了解的事情的灰色地带。 那有意义吗? 是的,

约翰·詹奇 (07:39):当然。我的意思是,我完全同意你关于人工智能的看法。 我实际上一直称它为ia。 我认为这更多的是信息自动化。 这就是我的看法,至少在我的工作中是这样。 你是否看到有一天,你知道,提示提问,你知道,这就是很多人在街头使用人工智能的方式。 你是否有一天会开始向你提问? 比如,你为什么想知道这个? 或者你想通过问这个问题来实现什么目的?

肯尼思·温格 (08:06):是的。所以,简单的答案是肯定的。 我,我绝对愿意。 我认为这就是实现更高水平智力的一部分。 当他们不只是执行你的命令时,它不仅仅是一个工具。 是啊是啊。 呃,但是他们,他们有自己想要实现的目标。 所以那时你会看到诸如问题之类的事情本质上是由系统产生的,对吗? 当他们有一个想要实现的目标时,你知道,然后他们制定一个计划来实现该目标。 那时你会看到一些事情的出现,比如向你提出的问题。 我认为我们还没有做到这一点,但是,是的,我认为这当然是可能的。

John Jantsch (08:40):但这也是科幻版本,对吧?我的意思是,人们开始说,你知道,电影,就像,不,不,肯,你还不知道这些信息。 我会决定你什么时候能知道

肯尼思·温格 (08:52):嗯,你是对的。我的意思是,这个问题,你问问题的方式更像是,原则上可能吗? 我认为绝对是。 是的。 是的。 我们想要那个吗? 我是说,我,我不知道。 我想这是一部分,是的,这取决于我们正在考虑的用例。 呃,但是从第一原理的角度来说是的,是的,这当然是可能的。 是的。 不是为了得到一个模型

约翰·詹奇 (09:13):这样做。 所以我,我确实认为有很多人,他们对人工智能的唯一理解是我去这个有一个盒子的地方,我输入一个问题,它会给出一个答案。 由于标题中同时包含了外行和数学,您能否给我们提供一些外行版本的信息,说明它是如何做到这一点的?

肯尼思·温格 (09:33):是的,绝对如此。所以,好吧,至少我会尝试,让我这么说, ,刚才我提到这些模型,本质上它们是什么,它们是非常简单的统计模型。 这本身,这句话本身,有点争议,因为归根结底,我们不知道我们拥有什么样的情报,对吗? 因此,如果你考虑一下我们的智力,我们不知道在某种程度上我们是否也是一个统计模型,对吧? 然而,我今天所说的像 ChatGPT 这样的大型语言模型中的人工智能是简单的统计模型,我的意思是它们正在执行一项非常简单的任务。 因此,如果你想到 ChatGPT,他们正在做的就是尝试,本质上是预测序列中的下一个最佳单词。 这就是他们所做的一切。 他们这样做的方式是计算所谓的概率分布。

(10:31):基本上,对于 a、a、提示或文本语料库中的任何单词,他们都会计算该单词属于该序列的概率。正确的? 然后他们选择下一个正确概率最高的单词。 好的? 现在,从以下意义上来说,这是一个非常简单的模型。 如果你想想我们如何沟通,对吗? 你知道,我们现在正在谈话。 我想当你问我一个问题时,我,我会停下来思考我要说什么,对吧? 所以我有一个世界模型,我的谈话有一个目的。 我想出我想要回应的想法,然后我利用我的能力来说出并发音来与你沟通。 正确的? 我的大脑中可能有一个与大型语言模型非常相似的系统,从某种意义上说,一旦我开始说单词,我要说的下一个单词就是最有可能的单词鉴于我刚才所说的话,是正确的。

(11:32):这很有可能。这是真的。 然而不同的是,至少我已经在某个潜在的空间里对我要说的话有了一个计划。 我已经以某种形式编码了。 我想表达的意思是,专业人士生成这些单词的能力可能与语言模型非常相似。 但不同之处在于,大型语言模型试图弄清楚它要说什么,同时提出这些单词。 嗯嗯。 , 正确的? 那有意义吗? 所以这有点像他们在胡言乱语,有时如果他们说得太久,他们就会在无意义的领域里胡言乱语。 是的。 是的。 因为他们不知道自己要说什么,直到他们说出来。 。 是的。 所以,这是一个非常根本的区别。 是的。

John Jantsch (12:20):我,我,我当然看到了一些非常有趣的输出。但是,你知道,正如我听到你谈论的那样,我的意思是,在很多方面,我们正在做的就是我们正在查询我们所教的内容的数据库,是我们所学的单词。除了我们研究过的概念之外,我们还知道这些概念,并且能够清楚地表达出来。 我的意思是,在某些方面我们正在向我询问,提示或我也问你一个问题,我的意思是,它的工作原理类似。 你可以说

Kenneth Wenger (12:47):提出问题然后回答它的方面,它是相似的,但不同的是,你试图描述的概念。 所以,再一次,当你问我一个问题时,我会思考,然后我想出,所以我再一次,我有一个世界模型,到目前为止对我来说有效,可以帮助我度过一生,对吗? 这个世界模型让我以不同的方式理解不同的概念。 当我要回答你的问题时,我会思考,制定答案,然后找到一种与你沟通的方法。 好的? 这些语言模型正在做的事情缺少这一步,对吧? 他们得到了提示,但没有任何步骤让他们制定具有某种目标的响应,对吧? 正确的? 是的。 某种目的。 他们本质上是在获取文本,并尝试生成一系列单词,这些单词在生成时正在被弄清楚,对吧? 没有最终的计划。 所以,这是一个非常根本的区别。

John Jantsch (13:54):现在,让我们听听赞助商“营销变得简单”的一句话。这是由 J j Peterson 博士主持的播客,由 HubSpot Podcast Network 为您带来,HubSpot Podcast Network 是商务专业人士营销变得简单的音频目的地,为您带来实用的技巧,让您的营销变得简单,更重要的是,让它发挥作用。 在最近的一集中,JJ 和 April 与 StoryBrand 认证指南和机构所有者讨论如何使用 ChatGPT 进行营销。 我们都知道这在今天有多重要。 听听《营销变得简单》。 无论您在哪里获取播客。

(14:30):嘿,营销机构老板,你知道,我可以教你在短短 90 天内将你的业务翻倍的关键,或者你的退款。听起来很有趣。 您所要做的就是许可我们的三步流程,这将使您能够让您的竞争对手变得无关紧要,为您的服务收取溢价,并在不增加管理费用的情况下进行扩展。 这是最好的部分。 您只需参加即将举行的机构认证强化考察,即可为您的机构授权整个系统,为什么要创造轮子呢? 使用我们花费 20 多年创建的一套工具。 今天您就可以拥有它们,请访问 dtm.world/certification 进行查看。 这就是 DTM 世界斜线认证。

(15:18):我确实想要喜欢未来的发展,但我想详细讨论一下您在书中深入探讨的几件事。你知道,除了媒体传播的恐惧之外,还有什么,你知道,依赖人工智能的真正的、明显的陷阱是什么?

Kenneth Wenger (15:38):我认为最大的问题之一,我的意思是,当我开始写这本书时,对我来说真正的动力是,它是一个强大的工具,原因有两个。看起来很容易使用,对吗? 是的。 你可以花一个周末学习Python,你可以写几行,你可以转换,你可以分析,你可以解析以前仅使用库无法完成的数据。 因此,您实际上不必了解自己在做什么,并且可以获得一些看起来有用的结果,好吗? 嗯嗯。 ,但是在这个过程中加热,对吧? 事实上,您可以获取大量数据,以某种方式对其进行修改,然后获得响应,获得一些结果,而无需了解中间发生的情况,这会对误解您所获得的结果产生巨大影响, 正确的? 然后,如果您在世界上使用这些工具,对吧?

(16:42):以一种可以影响其他人的方式。例如,你知道,假设你在一家金融机构工作,你想出了一个模型来弄清楚,呃,你应该给谁,你应该给谁一些信用,获得,你知道,批准为、为信贷、为信贷额度,以及你不应该为谁。 现在,现在,银行有自己的模型,但当然,如果你把人工智能从中剔除,传统上这些模型是由统计学家仔细考虑的,他们可能偶尔会出错,但至少他们有一个很大的你知道,分析数据、使数据产生偏差意味着什么,对吗? 数据偏差会产生什么影响? 如何摆脱所有这些事情是一个优秀的统计学家应该接受培训的事情。 但现在,如果你去掉统计学家,因为任何人都可以使用模型来分析数据并获得一些预测,那么最终会发生的情况是,你最终会拒绝和批准那些与你一起的人的信用额度,你知道,其后果可能是,你知道,是由数据中非常负面的偏见驱动的,对吗?

(17:44):就像,它可能会对某些人群产生负面影响。也许有些人无法再获得信贷额度,只是因为他们住在某个特定的社区……嗯。 ,或者他们,你知道,有很多原因导致这可能成为一个问题,

John Jantsch (17:57):但这不是以前的一个因素吗?我的意思是,当然会考虑社区,你知道,作为的一部分,你知道,即使在模拟模型中,我认为也是如此。

肯尼思·温格 (18:06):是的,绝对如此。就像我说的,我们总是存在偏见的问题,对吗? 数据里有吧? 但传统上,你会希望,所以会发生两件事。 首先,你会希望无论是谁提出一个模型,仅仅因为这是一个复杂的问题,他们就必须接受一些令人满意的统计训练。 是的。 正确的? a,道德统计学家必须考虑如何处理数据中的偏差,对吗? 所以这是第一。 第二,我们现在面临的问题是,首先,你不需要做出这样的决定。 您可以只使用该模型而不了解发生了什么,对吧? 正确的。 更糟糕的是,对于这些模型,我们实际上无法理解,或者传统上很难理解模型是如何到达或预测的。 因此,如果您被拒绝信用额度,或者正如我在书中谈到的保释,例如,在法庭案件中,呃,很难争论,好吧,为什么是我? 为什么,为什么我这件事被拒绝了? 然后,如果您使用传统方法再次审核并做出决定,您总是可以问,那么您是如何建模的? 呃,为什么这个人在审计中被拒绝了这个特殊案例? 嗯嗯。 例如,对于一个神经网络,这会变得更加复杂。

John Jantsch (19:21):所以我,我的意思是,所以你所说的,最初的问题之一是人们依赖输出、数据。我的意思是,甚至,你知道,我以一种非常简单的方式使用它。 我经营一家营销公司,我们经常使用它来为我们提供文案创意,为我们提供标题创意,你知道,一些事情。 所以我真的不觉得那里有任何真正的危险,除了听起来可能和其他人一样在你的副本中。 呃,但是,但是你是说,你知道,当人们开始依赖这些来做出应该知情的决定时,很多时候预测都是错误的。

肯尼思·温格 (19:57):是的。而且,而且非常,所以答案是肯定的。 现在,有两个原因。 顺便说一句,让我回过头来说一下,在某些用例中,您当然必须将其视为一个频谱,对吗? 就像是的,是的。 在某些情况下,犯错的后果比其他情况更严重,对吗? 所以正如你所说,如果你试图生成一些副本,并且你知道,如果它是无意义的,那么你就继续更改它。 到最后,你可能还是会回顾它。 所以,成本更低,可能更低。 例如,错误的成本将低于在司法程序中使用模型的情况。 正确的? 正确的。 正确的。 现在,关于这些模型有时会犯错误的事实,其原因是这些模型实际工作的方式是它们,而且,可能具有欺骗性的部分是它们往往非常适合也就是说,他们非常了解数据中的领域。

(20:56):所以,如果你想到一个数据集,对吗?因此,他们使用数据集中的大部分数据进行训练,他们将能够很好地对其进行建模。 这就是为什么您得到的模型在特定数据集上的准确率达到 90%。 问题是,对于 10% 的人来说,他们无法很好地建模,那里的错误是显着的,而且在某种程度上,人类是不可能犯这些错误的。 是的。 那么在这些情况下会发生什么,首先,当我们训练我们得到的这些模型时,我们说,嗯,你知道,我们在这个特定的数据集中得到 10% 的错误率。 一个问题是,当您将其投入生产时,您不知道这些错误的发生率在现实世界中是相同的,对吧?

(21:40):您最终可能会遇到这样的情况:您获得的数据点导致错误的比率比您在数据集中的错误率高得多。只有一个问题。 第二个问题是,如果你处于一个用例中,如果你的生产,你知道,应用程序,那么错误可能会付出代价,比如在医疗用例或自动驾驶中,当你必须回去解释为什么你出错了,为什么模型出错了,而这与人类出错的地方有如此奇怪的不同。 这是我们今天没有在安全关键领域部署这些系统的根本原因之一。 顺便说一句,这就是我们创建夹板的根本原因之一,就是为了专门解决这些问题,就是弄清楚我们如何创建一组模型或一个系统,能够具体理解模型何时做对了,并且当他们在运行时出错时。 因为我真的认为这是我们目前没有取得应有进展的根本原因之一。 这是因为当模型工作得非常好时,呃,当他们能够对数据进行建模时,那么他们就会工作得很好。 但对于他们无法对这部分数据进行建模的情况,错误简直令人难以置信,对吧? 这是人类永远不会制造的东西

约翰·詹奇 (23:00):错误。 耶耶耶。 而且,显然,你知道,在任何人信任发送由人工智能或其他东西引导的载人航天器之前,这肯定是必须解决的,对吗? 我的意思是,当你知道人的生命处于危险之中时,你就知道,你必须有信任。 因此,我想,如果你不能相信这个决策,那肯定会阻止人们使用这项技术。

肯尼思·温格 (23:24):对吗?或者,例如,正如我所说,使用它们来帮助医疗领域,例如癌症诊断,对吧? 如果您希望模型能够检测某些类型的癌症(例如活检扫描),您希望能够信任该模型。 现在任何东西、任何模型本质上都会犯错误。 没有什么是完美的,但你希望发生两件事。 首先,您希望能够最大限度地减少模型可能犯的错误类型,并且您需要有一些迹象表明模型的预测质量不佳。 你不想拥有那个。 是的。 其次,一旦发生错误,你必须能够辩护说,错误发生的原因是因为数据的质量,你知道,即使是人类也无法做得更好。 是的。 我们不能让模型犯错误,让人类医生看到后说,好吧,这显然是不对的。

约翰·詹奇 (24:15):是的。是的。 绝对地。 好吧,肯,我想,呃,我想感谢您花一点时间观看管道胶带营销播客。 你想告诉人们在哪里可以找到,如果你愿意的话可以与你联系,然后显然他们可以在哪里找到《算法正在针对我们吗?》的副本。

肯尼思·温格 (24:29):当然。首先非常感谢您邀请我。 这是一次很棒的谈话。 所以,是的,你可以在 LinkedIn 上联系我,也可以向警察索要这本书的副本,也可以从亚马逊以及我们的出版商网站(即工作 fires.org)获取该书。

约翰·詹奇 (24:42):太棒了。好吧,再次感谢您通过愉快的谈话解决了问题。 希望有一天我们会在路上遇到你。

肯尼思·温格(24:49):谢谢。

John Jantsch (24:49):嘿,走之前还有最后一件事。你知道我如何谈论营销策略,先策略后战术吗? 好吧,有时可能很难理解您在这方面的立场,以及在制定营销策略方面需要做什么。 因此我们为您创建了一个免费工具。 这称为营销策略评估。 您可以在 @marketingassessment.co、not.com、dot co 找到它。 查看我们的免费营销评估,了解您当前的策略状况。 这只是marketingassessment.co。 我很乐意与您讨论您得到的结果。

供电

本期管道胶带营销播客由 HubSpot 播客网络为您带来。

HubSpot Podcast Network是商业专业人士的音频目的地,他们寻求有关如何发展业务的最佳教育和灵感。