John Jantsch (00:00): Ei, você sabia que a conferência anual da HubSpot está chegando?Isso mesmo. Será em Boston de 5 a 8 de setembro. Todos os anos, o inbound reúne líderes de negócios, vendas, marketing, sucesso do cliente, operações e muito mais. Você será capaz de descobrir todas as tendências e táticas mais recentes que você pode realmente colocar em prática para expandir seus negócios de maneira sustentável. Você pode aprender com especialistas do setor e ser inspirado por talentos incríveis. Este ano, nomes como Reese Witherspoon, Derek Jeter e Guy Raz farão aparições. Visite inbound.com e adquira seu ingresso hoje. Você não vai se arrepender. Esta programação é garantida para inspirar e recarregar. Isso mesmo. Vá para inbound.com para obter seu ingresso hoje.

(01:03): Olá e bem-vindo a mais um episódio do Duct Tape Marketing Podcast.Este é John Jantsch. Meu convidado de hoje é Kenneth Wenger. Ele é um autor, pesquisador da Toronto Metropolitan University e CTO da Squint AI Inc. Seus interesses de pesquisa estão na interseção entre humanos e máquinas, garantindo que construamos um futuro baseado no uso responsável da tecnologia. Vamos falar sobre o livro dele hoje, Is the Algorithm Plotting Against Us?: A Layperson's Guide to the Concepts, Math, and Pitfalls of AI. Então, Ken, bem-vindo ao show.

Kenneth Wenger (01:40): Olá, John.Muito obrigado. Obrigado por me receber.

John Jantsch (01:42): Então, vamos falar sobre o livro, mas eu, só estou curioso, o que, o que o Squint AI faz?

Kenneth Wenger (01:47): Essa é uma ótima pergunta.Então, squint ai, hum, é uma empresa que criamos para, hum, fazer algumas pesquisas e desenvolver uma plataforma que nos permite, hum,

(02:00): Faça, faça IA de uma maneira mais responsável.OK. OK. Então, uh, tenho certeza de que vamos entrar nisso, mas eu toco nisso, uh, no livro em muitos casos também, onde falamos sobre, uh, ai, uso ético de ai, alguns dos quedas de ai. E então, o que estamos fazendo com o Squint é tentar descobrir, você sabe, como tentamos criar um, um ambiente que nos permita usar a IA de uma forma que nos permita entender quando esses algoritmos não estão funcionando no seu melhor, quando estão cometendo erros e assim por diante. Sim,

John Jantsch (02:30): Sim.Então, o título do seu livro é The Algorithm Plotting Against, essa é uma pergunta meio provocativa. Quero dizer, obviamente, tenho certeza de que há pessoas por aí que estão dizendo não , e alguns estão dizendo, bem, com certeza. Então, por que fazer a pergunta então?

Kenneth Wenger (02:49): Bem, porque eu, na verdade, sinto que essa é uma pergunta que está sendo feita por muitas pessoas diferentes com significados diferentes.Certo? Então, é quase o mesmo que a questão de a IA representar uma ameaça existencial? Eu, eu, é uma pergunta que significa coisas diferentes para pessoas diferentes. Certo. Então eu queria entrar nisso no livro e tentar fazer duas coisas. Primeiro, ofereça às pessoas as ferramentas para que possam entender essa pergunta por si mesmas, certo. E primeiro descobrir como, onde eles estão nesse debate, e depois, hum, você sabe, também fornecer minha opinião ao longo do caminho.

John Jantsch (03:21): Sim, sim.E provavelmente não fiz essa pergunta com a elegância que gostaria. Na verdade, acho ótimo que você faça a pergunta, porque, em última análise, o que estamos tentando fazer é deixar as pessoas tomarem suas próprias decisões, em vez de dizer, isso é verdade para IA ou isso não é verdade para IA. . Certo.

Kenneth Wenger (03:36): Isso mesmo.Isso mesmo. E, e, e novamente, especialmente porque é um problema matizado. Sim. E significa coisas diferentes para pessoas diferentes.

John Jantsch (03:44): Então, esta é uma pergunta muito difícil, mas vou perguntar, você sabe, onde estamos realmente no continuum da IA?Quero dizer, as pessoas que estão neste tópico há muitos anos percebem que ele foi construído em muitas coisas que usamos todos os dias e tomamos como certo, obviamente nós, ChatGPT, trouxemos todo um outro espectro de pessoas que agora, você sabe, pelo menos têm um vocabulário falante do que é. Mas eu me lembro, você sabe, eu tenho, eu tenho meu próprio negócio há 30 anos. Quero dizer, não tínhamos a web , não tínhamos sites, você sabe, não tínhamos dispositivos móveis que certamente agora desempenham um papel, mas lembro que cada um deles apareceu, as pessoas pensavam, oh, estamos condenados. Acabou . Certo. Então, atualmente há muito desse tipo de linguagem em torno da IA, mas onde você acha que realmente estamos no continuum da evolução?

Kenneth Wenger (04:32): Sabe, essa é uma ótima pergunta, porque acho que estamos muito no início.Sim. Eu acho que, você sabe, nós, fizemos um progresso notável em um período muito curto de tempo, mas acho que ainda estamos nos estágios iniciais. Sabe, se você pensar onde estamos agora, estávamos há uma década, fizemos algum progresso. Mas acho que, fundamentalmente, a nível científico, apenas começamos a arranhar a superfície. Vou dar alguns exemplos. Então, inicialmente, você sabe, os primeiros modelos, eles foram ótimos em realmente nos dar alguma prova de que essa nova maneira de fazer perguntas, você sabe, as redes neurais essencialmente. Yeah, yeah. Certo. São equações muito complexas. Uh, se você usar GPUs para executar essas equações complexas, podemos resolver problemas bastante complexos. Isso é algo que percebemos por volta de 2012 e depois por volta de 2017, então, entre 2012 e 2017, o progresso foi muito linear.

(05:28): Sabe, novos modelos foram criados, novas ideias foram propostas, mas as coisas escalaram e progrediram de forma muito linear.Mas depois de 2017, com a introdução do modelo chamado Transformer, que é a arquitetura básica por trás do chat, g, pt e todos esses grandes modelos de linguagem, tivemos outro tipo de realização. Foi quando percebemos que, se você pegar esses modelos e aumentá-los e aumentá-los, em termos do tamanho do modelo e do tamanho do conjunto de dados que usamos para treiná-los, eles ficam exponencialmente melhores. OK. E foi aí que chegamos ao ponto em que estamos hoje, onde percebemos que apenas dimensionando-os, novamente, não fizemos nada fundamentalmente diferente desde 2017. Tudo o que fizemos foi aumentar o tamanho do modelo, aumentar o tamanho do conjunto de dados e estão melhorando exponencialmente.

John Jantsch (06:14): Então, multiplicação em vez de adição?

Kenneth Wenger (06:18): Bem, sim, exatamente.Sim. Então, não é, a evolução tem sido exponencial, não só na trajetória linear. Sim. Mas eu acho, mas novamente, o fato de não termos mudado muito fundamentalmente nesses modelos, isso vai diminuir muito em breve. É minha expectativa. E agora onde estamos na linha do tempo? Qual era a sua pergunta original. Acho que se você pensar sobre o que as modelos estão fazendo hoje, elas estão fazendo muito elemento. Eles estão fazendo estatísticas muito simples, essencialmente. Mm-hmm. , eles não são a ideia de esses modelos serem chamados de inteligência artificial. Certo. Eu acho que é um pouco impróprio às vezes. Concordo. E isso leva a algumas das perguntas que as pessoas têm. Hum, porque lá, não há muito como inteligência profunda acontecendo, é apenas modelagem estatística e muito simples nisso. E então, para onde estamos indo daqui e o que espero que seja o futuro, é quando começamos, acho que as coisas vão mudar drasticamente quando começarmos a obter modelos que são capazes não apenas de fazer estatísticas simples, mas são capazes de entender o contexto do que estão tentando alcançar. Sim. E são capazes de entender, você sabe, a resposta certa, bem como a resposta errada. Então, por exemplo, eles, eles, eles são capazes de saber quando estão falando sobre coisas que conhecem e quando estão contornando essa área cinzenta de coisas que realmente não conhecem. Isso faz sentido? Sim,

John Jantsch (07:39): Com certeza.Quero dizer, concordo totalmente com você sobre inteligência artificial. Na verdade, tenho chamado de ia. Eu acho que é mais uma automação informada. é como eu vejo isso, pelo menos no meu trabalho. Você vê um dia em que, você sabe, prompts fazendo perguntas são, você sabe, esse é o tipo de uso de rua, se você quiser, de IA para muitas pessoas. Você vê um dia em que começa a fazer perguntas de volta? Tipo, por que você quer saber disso? Ou o que você está tentando alcançar, uh, fazendo esta pergunta?

Kenneth Wenger (08:06): Sim.Então, a resposta simples é sim. Eu, eu definitivamente quero. E acho que isso é parte do que seria alcançar um nível superior de inteligência. É quando eles não estão apenas fazendo o seu lance, não é apenas uma ferramenta. Yeah, yeah. Uh, mas eles, eles meio que têm seu próprio propósito que estão tentando alcançar. E é aí que você vê coisas como perguntas essencialmente, uh, surgem do sistema, certo? É quando eles têm um, um, um objetivo que querem atingir, que é, você sabe, e, então, eles descobrem um plano para atingir esse objetivo. É quando você pode ver o surgimento de coisas como perguntas para você. Acho que ainda não chegamos lá, mas sim, acho que certamente é possível.

John Jantsch (08:40): Mas essa é a versão de ficção científica também, certo?Quero dizer, onde as pessoas começam a dizer, você sabe, os filmes, é como, não, não, Ken, você não conhece essa informação ainda. Eu decidirei quando você pode saber disso .

Kenneth Wenger (08:52): Bem, você está certo.Quero dizer, a pergunta, a maneira como você fez a pergunta foi mais como, é possível em princípio? Eu acho absolutamente. Sim. Sim. Queremos isso? Quero dizer, eu, eu não sei. Acho que isso faz parte, sim, depende do caso de uso em que estamos pensando. Uh, mas da perspectiva de um primeiro princípio Sim, é, certamente é possível. Sim. Não para obter um modelo para

John Jantsch (09:13): Faça isso.Então eu, eu acho que há dezenas e dezenas de pessoas, elas só entendem a IA se eu for a este lugar onde há uma caixa e digito uma pergunta e ela cospe uma resposta. Como você tem tanto o leigo quanto a matemática no título, você poderia nos dar uma espécie de versão do leigo de como ele faz isso?

Kenneth Wenger (09:33): Sim, com certeza.Então, bem, pelo menos vou tentar, deixe-me colocar dessa forma, , quando, momentos atrás, quando mencionei que esses modelos, essencialmente o que são, são modelos estatísticos muito simples. Isso mesmo, essa frase em si, é um pouco, é polêmico porque no final das contas a gente não sabe que tipo de inteligência a gente tem, né? Então, se você pensar em nossa inteligência, não sabemos se em algum nível também somos um modelo estatístico, certo? No entanto, o que quero dizer com IA hoje em grandes modelos de linguagem como ChatGPT sendo modelos estatísticos simples, o que quero dizer com isso é que eles estão realizando uma tarefa muito simples. Então, se você pensar no ChatGPT, o que eles estão fazendo é tentar, essencialmente, prever a próxima melhor palavra em uma sequência. Isso é tudo que eles estão fazendo. E a palavra, a maneira como eles estão fazendo isso é que eles calculam o que chamamos de distribuição de probabilidade.

(10:31): Então, basicamente, para qualquer palavra em a, em a, em um prompt ou em um corpus de texto, eles calculam a probabilidade de que a palavra pertença a essa sequência.Certo? E então eles escolhem a próxima palavra com a maior probabilidade de estar correta ali. OK? Agora, esse é um modelo muito simples no seguinte sentido. Se você pensar em como nos comunicamos, certo? Sabe, estamos conversando agora. Acho que quando você me faz uma pergunta, eu paro e penso no que vou dizer, certo? Portanto, tenho um modelo do mundo e um propósito nessa conversa. Eu tenho a ideia do que quero responder e então uso minha habilidade de produzir palavras e pronunciá-las para comunicar isso a você. Certo? Pode ser possível que eu tenha um sistema em meu cérebro que funcione de maneira muito semelhante a um grande modelo de linguagem, no sentido de que, assim que começo a dizer palavras, a próxima palavra que estou prestes a dizer é a mais provável. estar correto, dadas as palavras que acabei de dizer.

(11:32): É muito possível.Isso é verdade. Porém, o que é diferente é que pelo menos já tenho um plano do que vou dizer em algum espaço latente. Eu já codifiquei de alguma forma. O que quero transmitir, como digo, é que a capacidade de pro produzir essas palavras pode ser muito semelhante a um modelo de linguagem. Mas a diferença é que um grande modelo de linguagem está tentando descobrir o que vai dizer, além de criar essas palavras ao mesmo tempo. Mm-hmm. , certo? Isso faz sentido? Então é um pouco como se eles estivessem divagando e, às vezes, se eles falam por muito tempo, eles divagam em um território sem sentido. Sim. Sim. Porque eles não sabem o que vão dizer até que digam. . Sim. Então, essa é uma diferença muito fundamental. Sim.

John Jantsch (12:20): Eu, eu, eu certamente vi alguns resultados que são bastante interessantes nesse sentido.Mas, você sabe, como eu ouvi você falar sobre isso, quero dizer, de várias maneiras, é isso que estamos fazendo, estamos consultando um banco de dados do que nos foi ensinado, são as, as palavras que nós conhecer além dos conceitos que estudamos, uh, e somos capazes de articular. Quero dizer, de certa forma, estamos questionando isso para mim, solicitando ou fazendo uma pergunta a você também, quero dizer, funciona de maneira semelhante. Você diria

Kenneth Wenger (12:47): O aspecto de fazer uma pergunta e depois respondê-la é semelhante, mas o que é diferente é o conceito que você está tentando descrever.Então, novamente, quando você me faz uma pergunta, eu penso sobre isso, e eu penso, então eu, novamente, eu tenho um modelo de mundo que funciona até agora para me levar pela vida, certo? E esse modelo de mundo me permite entender diferentes conceitos de maneiras diferentes. E quando estou prestes a responder à sua pergunta, penso a respeito, formulo uma resposta e depois descubro uma maneira de comunicá-la a você. OK? Essa etapa está faltando no que esses modelos de linguagem estão fazendo, certo? Eles estão recebendo uma solicitação, mas não há uma etapa em que eles estejam formulando uma resposta com algum objetivo, certo? Certo? Sim. Algum propósito. Eles estão basicamente recebendo um texto e estão tentando gerar uma sequência de palavras que vão sendo calculadas à medida que são produzidas, certo? Não há um plano definitivo. Então, essa é uma diferença muito fundamental.

John Jantsch (13:54): E agora, vamos ouvir uma palavra do nosso patrocinador, marketing Made Simple.É um podcast apresentado pelo Dr. J j Peterson e é oferecido a você pela HubSpot Podcast Network, o destino de áudio para marketing profissional simplificado, traz dicas práticas para facilitar seu marketing e, mais importante, fazê-lo funcionar. E em um episódio recente, JJ e April conversam com guias certificados pela StoryBrand e proprietários de agências sobre como usar o ChatGPT para fins de marketing. Todos nós sabemos o quanto isso é importante hoje. Ouça marketing simplificado. Onde quer que você obtenha seus podcasts.

(14:30): Ei, proprietários de agências de marketing, vocês sabem, posso ensinar a vocês as chaves para dobrar seus negócios em apenas 90 dias ou seu dinheiro de volta.Parece interessante. Tudo o que você precisa fazer é licenciar nosso processo de três etapas que permitirá que você torne seus concorrentes irrelevantes, cobre um prêmio por seus serviços e dimensione talvez sem adicionar despesas gerais. E aqui está a melhor parte. Você pode licenciar todo esse sistema para sua agência simplesmente participando de um próximo olhar intensivo de certificação de agência, por que criar a roda? Use um conjunto de ferramentas que levamos mais de 20 anos para criar. E você pode tê-los hoje, confira em dtm.world/certification. Essa é a certificação DTM world slash.

(15:18): Eu quero gostar do que o futuro reserva, mas quero me debruçar sobre algumas coisas que você aborda no livro.Quais são, você sabe, além do medo que a mídia espalha , quais são as armadilhas reais, você sabe, e óbvias de confiar na IA?

Kenneth Wenger (15:38): Acho que o maior problema, e um dos, quero dizer, o, o verdadeiro motivador para mim quando comecei a escrever o livro é que ele é uma ferramenta poderosa por dois motivos.É muito fácil de usar, aparentemente, certo? Sim. Você pode passar um fim de semana aprendendo python, pode escrever algumas linhas e pode transformar, analisar, analisar dados que não conseguia antes apenas usando uma biblioteca. Portanto, você não precisa realmente entender o que está fazendo e pode obter algum resultado que pareça útil, ok? Mm-hmm. , mas aquecendo nesse processo, certo? O fato de você poder pegar muitos dados, uma grande quantidade de dados, modificá-los de alguma forma e obter uma resposta, obter algum resultado sem entender o que está acontecendo no meio, tem grandes repercussões por não entender os resultados que você está obtendo , certo? E então, se você estiver usando essas ferramentas em um mundo, certo?

(16:42): De uma forma que pode afetar outras pessoas.Por exemplo, digamos que você trabalhe em uma instituição financeira e, e, e, e você crie um modelo para descobrir, uh, quem você deve, a quem você deve dar algum crédito, obter, você sabe, aprovado para, para crédito para uma linha de crédito, e quem você não deveria. Agora, agora, os bancos têm seus próprios modelos, mas claro, se você tirar a IA deles, tradicionalmente esses modelos são pensados ​​por estatísticos, e eles podem errar de vez em quando, mas pelo menos eles têm um grande imagem do que significa, você sabe, analisar dados, enviesando os dados, certo? Quais são as repercussões do viés nos dados? Como você se livra de todas essas coisas são coisas que um bom estatístico deve ser treinado para fazer. Mas agora, se você tirar os estatísticos, porque qualquer um pode usar um modelo para analisar dados e fazer alguma previsão, então o que acontece é que você acaba negando e aprovando linhas de crédito para pessoas que, com você, sabe, com repercussões que podem ser , você sabe, impulsionado por um viés muito negativo nos dados, certo?

(17:44): Tipo, isso pode afetar uma certa parte da população, uh, negativamente.Talvez haja alguns que não conseguem mais uma linha de crédito só porque moram em um determinado bairro mm-hmm. , ou eles, você sabe, há muitas razões pelas quais isso pode ser um problema,

John Jantsch (17:57): Mas isso não era um fator anteriormente?Quero dizer, certamente os bairros são considerados , você sabe, como parte do, você sabe, mesmo nos modelos analógicos, eu acho.

Kenneth Wenger (18:06): Sim, com certeza.Então, como eu disse, sempre tivemos problemas com viés, certo? Nos dados, certo? Mas tradicionalmente, você esperaria, então duas coisas aconteceriam. Primeiro, você esperaria que quem apresentasse um modelo, só porque é um problema complexo, tivesse algum treinamento estatístico satisfatório. Sim. Certo? E um, um estatístico ético teria que considerar como lidar com o viés nos dados, certo? Então esse é o número um. Número dois, o problema que temos agora é que, em primeiro lugar, você não precisa ter essa decisão definida. Você pode simplesmente usar o modelo sem entender o que está acontecendo, certo? Certo. E o pior é que, com esses modelos, não podemos realmente entender como, ou é muito difícil tradicionalmente entender como o modelo chegou ou a previsão. Então, se você for negado uma linha de crédito ou, como eu falo no livro fiança, por exemplo, em um processo judicial, uh, é muito difícil argumentar, bem, por que eu? Por que, por que me foi negado isso? E então, se você passar pelo processo de auditoria novamente com a abordagem tradicional em que você tem uma decisão, sempre pode perguntar, como você modelou isso? Uh, por que esta pessoa foi negada neste caso particular em uma, em uma auditoria? Mm-hmm. com a, a, uma rede neural, por exemplo, isso fica bem mais complicado.

John Jantsch (19:21): Então, quero dizer, então o que você está dizendo, um dos problemas iniciais é que as pessoas estão contando com a saída, os dados.Quer dizer, até, você sabe, eu uso de uma maneira muito simples. Eu dirijo uma empresa de marketing e nós a usamos muitas vezes para nos dar ideias de cópia, ideias de manchete, você sabe, para as coisas. Então, eu realmente não sinto que haja algum perigo real nisso, exceto talvez soar como todo mundo em sua cópia. Uh, mas, mas você está dizendo isso, você sabe, como as pessoas começam a confiar neles para tomar decisões que deveriam ser informadas, muitas vezes as previsões estão erradas.

Kenneth Wenger (19:57): Sim.E há muito, então a resposta é sim. Agora, há duas razões para isso. A propósito, deixe-me voltar para dizer que há casos de uso em que, é claro, você deve pensar nisso como um espectro, certo? Como sim, sim. Há casos em que a repercussão de errar é pior do que em outros casos, certo? Então, como você disse, se você está tentando gerar alguma cópia e sabe, se é sem sentido, então vá em frente e mude. E no final do dia, você provavelmente irá revisá-lo de qualquer maneira. Então, esse é um custo menor, provavelmente menor. O custo de um erro ali vai ser menor do que, no caso de, sabe, usar um modelo em um, em um processo judicial, por exemplo. Certo? Certo. Certo. Agora, com relação ao fato de que esses modelos às vezes cometem erros, a razão para isso é que a maneira como esses modelos realmente funcionam é que eles, e, e a parte que pode enganar é que eles tendem a funcionar muito bem para áreas nos dados, ou seja, que eles entendem muito bem.

(20:56): Então, se você pensar em um conjunto de dados, certo?Então, eles são treinados usando um conjunto de dados para a maioria dos dados desse conjunto de dados, eles serão capazes de modelá-lo muito bem. E é por isso que você obtém modelos que executam, digamos, 90% de precisão em um determinado conjunto de dados. O problema é que para os 10% onde eles não são capazes de modelar muito bem, os erros são notáveis ​​e de uma forma que um ser humano não seria capaz de cometer esses erros. Sim. Então, o que acontece nesses casos em que, antes de mais nada, quando estamos treinando esses modelos que obtemos, dizemos, bem, você sabe, obtemos 10% de taxa de erro neste conjunto de dados específico. O único problema é que, quando você coloca isso em produção, não sabe se a taxa de incidência desses erros será a mesma no mundo real, certo?

(21:40): Você pode acabar, uh, em uma situação em que obtém esses pontos de dados que levam a erros em uma taxa muito maior do que em seu conjunto de dados.Apenas um problema. O segundo problema é que, se você estiver em um, se seu caso de uso, se sua produção, você sabe, aplicativo, é onde um erro pode ser cobrado, como digamos em um caso de uso médico ou em direção autônoma, quando você tem que voltar e explicar por que errou, por que o modelo errou, e é tão bizarramente diferente do que um humano erraria. Essa é uma das razões fundamentais pelas quais não temos esses sistemas sendo implantados em domínios críticos de segurança hoje. A propósito, essa é uma das razões fundamentais pelas quais criamos o splint, é para lidar especificamente com esses problemas, é para descobrir como podemos criar um conjunto de modelos ou um sistema capaz de entender especificamente quando os modelos estão fazendo as coisas certas e quando eles estão fazendo coisas erradas em tempo de execução. Porque eu realmente acho que é uma das razões fundamentais pelas quais não avançamos tanto quanto deveríamos neste momento. É porque quando os modelos funcionam muito bem, uh, quando eles são capazes de modelar os dados, bem, eles funcionam muito bem. Mas para os casos em que eles não podem modelar essa seção dos dados, os erros são inacreditáveis, certo? São coisas que os humanos nunca fariam esses tipos de

John Jantsch (23:00): Engano.Sim Sim Sim. E, obviamente, você sabe, isso certamente vai, isso tem que ser resolvido antes que alguém confie em enviar, você sabe, uma espaçonave humana, você sabe, guiada por IA ou algo assim, certo? Quero dizer, quando você sabe que a vida humana está em risco, você precisa ter confiança. E então, se você não pode confiar nessa tomada de decisão, isso certamente impedirá as pessoas de empregar a tecnologia, suponho.

Kenneth Wenger (23:24): Certo?Ou usando-os, por exemplo, para ajudar, como eu ia dizendo, na área médica, por exemplo, no diagnóstico de câncer, certo? Se você deseja que um modelo seja capaz de detectar certos tipos de câncer, digamos, exames de biópsia, você deve confiar no modelo. Agora qualquer coisa, qualquer modelo essencialmente, você sabe, vai cometer erros. Nada é perfeito, mas você quer que duas coisas aconteçam. Primeiro, você deseja minimizar os tipos de erros que o modelo pode cometer e precisa ter alguma indicação de que a qualidade da previsão do modelo não é boa. Você não quer ter isso. Sim. E segundo, uma vez que um erro acontece, você tem que ser capaz de defender que a razão pela qual o erro aconteceu é porque a qualidade dos dados era tal que, você sabe, mesmo um humano não poderia fazer melhor. Sim. Não podemos ter modelos cometendo erros que um médico humano olharia e diria, bem, isso é claramente Sim, incorreto.

John Jantsch (24:15): Sim.Sim. Absolutamente. Bem, Ken, eu quero, uh, eu quero agradecer a você por ter um momento para parar no Podcast de marketing de fita adesiva. Você quer dizer às pessoas onde elas podem encontrar, entrar em contato com você se quiser e, obviamente, onde elas podem pegar uma cópia de Is the Algorithm Plotting against Us?

Kenneth Wenger (24:29): Com certeza.Muito obrigado, antes de tudo por me receber. Foi uma ótima conversa. Então, sim, você pode me encontrar no LinkedIn e pedir ao policial uma cópia do livro e obtê-lo tanto na Amazon quanto no site da nossa editora, o chamado working fires.org.

John Jantsch (24:42): Incrível.Bem, novamente, obrigado por resolver por uma ótima conversa. Com sorte, talvez encontremos você um dia desses na estrada.

Kenneth Wenger (24:49): Obrigado.

John Jantsch (24:49): Ei, e uma última coisa antes de ir.Você sabe como eu falo sobre estratégia de marketing, estratégia antes da tática? Bem, às vezes pode ser difícil entender onde você está nisso, o que precisa ser feito em relação à criação de uma estratégia de marketing. Por isso, criamos uma ferramenta gratuita para você. Chama-se Avaliação da Estratégia de Marketing. Você pode encontrá-lo em @marketingassessment.co, not.com, dot co. Confira nossa avaliação de marketing gratuita e saiba onde você está com sua estratégia hoje. Isso é apenas avaliação de marketing.co. Eu adoraria conversar com você sobre os resultados que você obtém.