ข้อผิดพลาดและความเป็นจริงในทางปฏิบัติของการใช้ generative AI ในเวิร์กโฟลว์การวิเคราะห์ของคุณ

เราได้ยินมามากเกี่ยวกับวิธีที่ AI กำเนิดถูกกำหนดให้เปลี่ยนแปลงการตลาดดิจิทัลในช่วงไม่กี่เดือนที่ผ่านมา ในฐานะที่ปรึกษา เราทำงานร่วมกับแบรนด์ต่างๆ เพื่อใช้ประโยชน์จากเทคโนโลยีสำหรับการตลาดเชิงนวัตกรรม เราเจาะลึกถึงศักยภาพของ ChatGPT ซึ่งเป็นแชทบอทที่ใช้โมเดลภาษาขนาดใหญ่ที่ได้รับความนิยมมากที่สุดในกลุ่ม ตอนนี้ เรามาดูกันว่า AI เชิงกำเนิดสามารถทำหน้าที่เป็นผู้ช่วยได้อย่างไรโดยการสร้างแบบร่างเริ่มต้นของโค้ดและการแสดงภาพ ซึ่งผู้เชี่ยวชาญของเราปรับแต่งเป็นวัสดุที่ใช้งานได้

ในมุมมองของเรา กุญแจสำคัญในโครงการสร้าง AI ที่ประสบความสำเร็จคือการที่ผู้ใช้ปลายทางมีความคาดหวังที่ชัดเจนสำหรับผลลัพธ์สุดท้าย ดังนั้นวัสดุใดๆ ที่สร้างโดย AI สามารถแก้ไขและจัดรูปแบบได้ หลักการแรกของการใช้ generative AI คือคุณไม่ควรวางใจให้ AI ตอบคำถามของคุณได้อย่างถูกต้องสมบูรณ์

ChatGPT ตอบคำถาม GA4 เพียง 12 ข้อจาก 42 ข้อที่ถูกต้อง

เราตัดสินใจทดสอบ ChatGPT ในสิ่งที่ที่ปรึกษาของเราทำเป็นประจำ นั่นคือการตอบคำถามลูกค้าทั่วไปเกี่ยวกับ GA4 ผลลัพธ์ไม่น่าประทับใจนัก: จากคำถาม 42 ข้อที่เราถาม ChatGPT ให้คำตอบเพียง 12 ข้อที่เราเห็นว่ายอมรับได้และส่งไปยังลูกค้าของเรา อัตราความสำเร็จเพียง 29%

คำตอบอีกแปดข้อ (19%) คือ "กึ่งถูก" สิ่งเหล่านี้ตีความคำถามผิดและให้คำตอบที่ต่างออกไปสำหรับสิ่งที่ถาม (แม้ว่าจะถูกต้องตามข้อเท็จจริง) หรือมีข้อมูลผิดเล็กน้อยในคำตอบที่ถูกต้อง

ตัวอย่างเช่น ChatGPT บอกเราว่าแถว "อื่นๆ" ที่คุณพบในรายงาน GA4 บางฉบับเป็นการรวมกลุ่มของข้อมูลปริมาณน้อยหลายแถว (ถูกต้อง) แต่อินสแตนซ์ที่เกิดขึ้นถูกกำหนดโดย "อัลกอริทึมการเรียนรู้ของเครื่องของ Google" สิ่งนี้ไม่ถูกต้อง มีกฎมาตรฐานในการกำหนดสิ่งนี้

เจาะลึก: ปัญญาประดิษฐ์: คู่มือสำหรับผู้เริ่มต้น

ข้อ จำกัด ของความรู้ของ ChatGPT — และเป็นความมั่นใจมากเกินไป

คำตอบที่เหลืออีก 52% เป็นข้อเท็จจริงที่ไม่ถูกต้อง และในบางกรณี อาจทำให้เข้าใจผิดได้ สาเหตุที่พบบ่อยที่สุดคือ ChatGPT ไม่ใช้ข้อมูลการฝึกอบรมหลังปี 2021 ดังนั้นการอัปเดตล่าสุดจำนวนมากจึงไม่รวมอยู่ในคำตอบ

ตัวอย่างเช่น Google เพิ่งประกาศเลิกใช้งาน Universal Analytics อย่างเป็นทางการในปี 2022 ดังนั้น ChatGPT จึงไม่สามารถบอกได้ว่าจะเกิดขึ้นเมื่อใด ในกรณีนี้ บอทได้แสดงคำตอบอย่างน้อยในบริบทนี้ โดยนำหน้าด้วย “…ความรู้ของฉันจะถูกตัดออกไปในปี 2021…”

อย่างไรก็ตาม คำถามที่เหลือบางข้อถูกตอบผิดด้วยความมั่นใจที่น่าเป็นห่วง เช่น บอทบอกเราว่า “GA4 ใช้วิธีการเรียนรู้ด้วยเครื่องเพื่อติดตามเหตุการณ์และสามารถระบุเหตุการณ์การซื้อโดยอัตโนมัติตามข้อมูลที่รวบรวม”   

แม้ว่า GA4 จะมีเหตุการณ์ "การวัดที่ปรับปรุงแล้ว" ที่ติดตามอัตโนมัติ แต่โดยทั่วไปแล้ว เหตุการณ์เหล่านี้ถูกกำหนดโดยการฟังโค้ดอย่างง่ายภายในข้อมูลเมตาของหน้าเว็บ แทนที่จะผ่านการเรียนรู้ของเครื่องหรือแบบจำลองทางสถิติใดๆ นอกจากนี้ เหตุการณ์การซื้อไม่ได้อยู่ในขอบเขตของการวัดผลที่ปรับปรุงแล้วอย่างแน่นอน

แล้วเราจะใช้ ChatGPT และเครื่องมือสร้าง AI อื่นๆ ได้อย่างไร

ตามที่แสดงในการทดสอบ GA4 ของเรา "ความรู้" ที่จำกัดภายใน ChatGPT ทำให้เป็นแหล่งข้อมูลที่ไม่น่าเชื่อถือ แต่ก็ยังเป็นผู้ช่วยที่มีประสิทธิภาพมาก โดยจัดเตรียมร่างแรกของการวิเคราะห์และโค้ดสำหรับผู้เชี่ยวชาญเพื่อลดเวลาที่ต้องใช้สำหรับงานต่างๆ

ไม่สามารถแทนที่บทบาทของนักวิเคราะห์ที่มีความรู้ซึ่งรู้ประเภทของผลลัพธ์ที่พวกเขาคาดว่าจะเห็น แต่สามารถประหยัดเวลาได้โดยสั่งให้ ChatGPT สร้างการวิเคราะห์จากข้อมูลตัวอย่างโดยไม่ต้องตั้งโปรแกรมให้หนัก จากนี้ คุณจะได้รับค่าประมาณที่ใกล้เคียงในไม่กี่วินาที และสั่งให้ ChatGPT แก้ไขเอาต์พุตหรือจัดการด้วยตัวเอง

ตัวอย่างเช่น เมื่อเร็วๆ นี้เราใช้ ChatGPT เพื่อวิเคราะห์และเพิ่มประสิทธิภาพตะกร้าสินค้าของผู้ค้าปลีก เราต้องการวิเคราะห์ขนาดตะกร้าโดยเฉลี่ยและทำความเข้าใจขนาดที่เหมาะสมที่สุดเพื่อเสนอการจัดส่งฟรีให้กับลูกค้า สิ่งนี้จำเป็นต้องมีการวิเคราะห์เป็นประจำเกี่ยวกับการกระจายรายได้และส่วนต่าง และความเข้าใจเกี่ยวกับผลต่างเมื่อเวลาผ่านไป

เราสั่งให้ ChatGPT ทบทวนว่าขนาดตะกร้าแตกต่างกันอย่างไรในช่วง 14 เดือนโดยใช้ชุดข้อมูล GA4 จากนั้น เราแนะนำการค้นหา SQL เริ่มต้นบางส่วนสำหรับการวิเคราะห์เพิ่มเติมภายใน BigQuery และตัวเลือกการแสดงข้อมูลบางส่วนสำหรับข้อมูลเชิงลึกที่พบ

แม้ว่าตัวเลือกจะไม่สมบูรณ์ แต่ก็เสนอพื้นที่ที่มีประโยชน์สำหรับการสำรวจเพิ่มเติม นักวิเคราะห์ของเราปรับข้อความค้นหาจาก ChatGPT เพื่อสรุปผลลัพธ์ สิ่งนี้ช่วยลดเวลาสำหรับนักวิเคราะห์อาวุโสที่ทำงานร่วมกับผู้สนับสนุนระดับล่างในการสร้างผลลัพธ์จากประมาณสามวันเป็นหนึ่งวัน

เจาะลึก: 3 ขั้นตอนเพื่อให้ AI ทำงานแทนคุณ

การทำงานด้วยตนเองโดยอัตโนมัติและประหยัดเวลา

อีกตัวอย่างหนึ่งคือการใช้เพื่อทำงานแบบแมนนวลโดยอัตโนมัติภายในกระบวนการที่กำหนด เช่น การตรวจสอบการประกันคุณภาพสำหรับตารางข้อมูลหรือชิ้นส่วนของโค้ดที่สร้างขึ้น นี่เป็นลักษณะสำคัญของโครงการใดๆ และการทำเครื่องหมายความคลาดเคลื่อนหรือความผิดปกติมักจะลำบาก

อย่างไรก็ตาม การใช้ ChatGPT เพื่อตรวจสอบความถูกต้องของโค้ดมากกว่า 500 แถวเพื่อรวมและประมวลผลชุดข้อมูลหลายชุด เพื่อให้แน่ใจว่าชุดข้อมูลเหล่านั้นปราศจากข้อผิดพลาด อาจช่วยประหยัดเวลาได้มาก ในสถานการณ์นี้ สิ่งที่ปกติต้องใช้เวลาสองชั่วโมงในการทบทวนตัวเองด้วยตนเอง ตอนนี้สามารถทำได้ภายใน 30 นาที

การตรวจสอบ QA ขั้นสุดท้ายยังคงต้องดำเนินการโดยผู้เชี่ยวชาญ และคุณภาพของเอาต์พุตของ ChatGPT จะขึ้นอยู่กับพารามิเตอร์เฉพาะที่คุณกำหนดไว้ในคำแนะนำของคุณเป็นอย่างมาก อย่างไรก็ตาม งานที่มีพารามิเตอร์ที่ชัดเจนมากและไม่มีความคลุมเครือในผลลัพธ์ (ตัวเลขจะตรงกันหรือไม่ก็ได้) เหมาะอย่างยิ่งสำหรับ AI เชิงสร้างสรรค์ในการจัดการงานยกส่วนใหญ่

ปฏิบัติต่อ AI กำเนิดเหมือนผู้ช่วยมากกว่าผู้เชี่ยวชาญ

ความก้าวหน้าของ ChatGPT ในช่วงไม่กี่เดือนที่ผ่านมานั้นน่าทึ่งมาก พูดง่ายๆ ก็คือ ตอนนี้เราสามารถใช้ภาษาอังกฤษเชิงสนทนาเพื่อขอเอกสารทางเทคนิคขั้นสูงที่สามารถนำไปใช้กับงานที่หลากหลายที่สุดในการเขียนโปรแกรม การสื่อสาร และการแสดงภาพ

ดังที่เราได้แสดงให้เห็นข้างต้น ผลลัพธ์จากเครื่องมือเหล่านี้จำเป็นต้องได้รับการปฏิบัติด้วยความเอาใจใส่และการตัดสินจากผู้เชี่ยวชาญเพื่อทำให้เครื่องมือเหล่านี้มีค่า กรณีการใช้งานที่ดีคือการเพิ่มประสิทธิภาพในการสร้างการวิเคราะห์ในงานประจำวันของเรา หรือเร่งงานที่ซับซ้อนและใช้เวลานานซึ่งโดยปกติจะทำด้วยตนเอง เราปฏิบัติต่อผลลัพธ์ด้วยความสงสัยและใช้ความรู้ทางเทคนิคของเราในการฝึกฝนให้เป็นวัสดุที่เพิ่มมูลค่าสำหรับลูกค้าของเรา

แม้ว่า AI เชิงกำเนิด ซึ่งแสดงตัวอย่างโดย ChatGPT ได้แสดงศักยภาพอันยิ่งใหญ่ในการปฏิวัติแง่มุมต่างๆ ของเวิร์กโฟลว์ดิจิทัลของเรา สิ่งสำคัญคือต้องเข้าใกล้แอปพลิเคชันด้วยมุมมองที่สมดุล ความแม่นยำมีข้อจำกัด โดยเฉพาะอย่างยิ่งเกี่ยวกับการอัปเดตล่าสุดและรายละเอียดปลีกย่อย

อย่างไรก็ตาม เมื่อเทคโนโลยีเติบโตขึ้น ศักยภาพของ AI จะเพิ่มขึ้นเพื่อใช้เป็นเครื่องมือในการเพิ่มขีดความสามารถและขับเคลื่อนประสิทธิภาพในการทำงานประจำวันของเรา ฉันคิดว่าเราควรโฟกัสน้อยลงไปที่ AI เชิงกำเนิดแทนที่ผู้เชี่ยวชาญ และให้มากขึ้นว่าจะช่วยปรับปรุงประสิทธิภาพการทำงานของเราได้อย่างไร