切換菜單

影響 A/B/n 電子郵件測試成功的 7 個常見問題

已發表: 2022-03-30

每當我開始與在電子郵件營銷方面面臨重大問題的新客戶合作時,我首先回顧的事情之一就是他們如何進行電子郵件測試。

A/B/n 測試是我所知道的構建有效活動和衡量品牌電子郵件策略和策略是成功還是失敗的最佳方式。 但是,團隊常常難以正確設置測試並準確測量結果。 這通常會導致無效的電子郵件實驗和糟糕的結果。

如果您的測試程序不可靠,您將不知道您選擇的策略和策略是有效還是失敗。 如果您的電子郵件工作沒有提供您需要的結果,請不要責怪電子郵件渠道本身。 相反,看看你如何測試和測量結果。


獲取數字營銷人員所依賴的每日通訊。

處理中...請稍候。

見條款。


7個常見的測試問題以及如何解決它們

這些在我與客戶的工作中最常出現。 解決其中一些挑戰需要徹底改變思維方式。 對於其他人來說,只需學習設置測試的正確方法就可以解決您當前的許多問題。

這就是測試的好處。 對於每一個問題,都有一種方法可以糾正它。 每次通過測試解決問題時,您就朝著正確的方向邁出了一步。

1. 沒有假設的測試

許多電子郵件營銷人員通過使用他們的 ESP 提供的工具來學習測試的基本知識,主要是針對主題行等簡單功能設置基本的 A/B 拆分測試。

然而,這種臨時的、一次性的方法就像在不知道如何閱讀地圖的情況下學習駕駛汽車。 你可以把車開得很好。 但是您需要地圖技能來規劃一段旅程,讓您以最少的交通擁堵和繞路到達您想去的地方。

是的,您可以讓 Google 地圖為您完成規劃工作。 但是所有的數據——你提供的和他們從其他來源獲得的——必須正確排列。 如果您輸入錯誤的目的地或開車進入死區,您最終可能會遠離您想去的地方。

當您不測試或測試不正確時,您的電子郵件程序就會發生這種情況。 你的假設是你的測試路線圖。 它列出了您認為可能發生的情況,並指導您選擇變量、測試細分、成功指標,甚至如何使用結果。

2.使用錯誤的換算計算

這與客戶的旅程和測試的目標有關。

當您對網站登陸頁面進行標準 A/B 拆分測試時,您通常使用“交易/網絡會話”作為轉換計算來查看頁面的轉換情況。 這是有道理的,因為您不知道客戶到達該網站的路徑,因此您專注於旅程的這一特定部分,因為它忽略了之前發生的一切。

在電子郵件中,我們確實知道客戶從電子郵件到登錄頁面的路徑。 我們把它們放在上面,我們想要優化它。 我們想了解我們的電子郵件轉換的效果如何,因此我們需要使用“交易/發送的電子郵件”來計算我們的轉換。 這將整個電子郵件旅程考慮在內,而不僅僅是查看著陸頁的轉換效果。

正如您在這兩個客戶端示例中看到的那樣,轉換之後是打開和點擊所表示的內容。 營銷人員使用“頁面會話/購買”計算虛榮心,因為它產生更高的百分比。 但是,這意味著您可能會針對錯誤的結果進行優化。

通過一切照舊的活動測試細分市場

測試自動化程序

3. 用錯誤的指標衡量成功

一個可行的測試計劃需要相關的指標來準確衡量成功。 錯誤的指標可能會誇大或縮小您的結果。 反過來,這可能會誤導您針對失敗的變體而不是獲勝者進行優化。

例如,自從我們在 HTML 電子郵件的早期學習如何使用它以來,打開率一直是一個流行的成功指標。 但這是一個有缺陷且不可靠的指標,尤其是現在 Apple 的郵件隱私保護功能掩蓋了活動的真實打開率。 但即使每次打開都是準確的,打開率仍然不一定是正確的指標。

例如,點擊是一種更準確的參與度衡量標準,但它們並不能揭示您的廣告系列產生了多少收入。 如果您的目標只是獲得點擊次數,請繼續使用點擊率。 但是,如果您因廣告活動收入而獲得獎勵,則需要使用收入指標,例如購買次數或購物籃價值。

4. 無統計學意義的檢驗

如果您的測試結果具有統計顯著性,則意味著測試組(未更改的對照組和收到變量的組,例如不同的號召性用語或主題行)之間的差異不會發生,因為機會、錯誤或不計其數的事件。

擁有少量結果可能會導致顯著性測試失敗,因為您只能測試一小部分人口,或者因為測試運行時間不夠長而無法產生足夠的結果。 這就是為什麼測試應該盡可能長時間地運行(對於自動化)並達到具有統計意義的樣本量(對於活動)。

大多數測試使用 5% 的顯著性因子。 這意味著您的變量在您的測試中每 100 個結果中至少有 95 個產生了差異,其餘五個結果可能是隨機的。

統計上不顯著的結果可能會導致您得出錯誤的結論並誤解測試結果和您的活動結果。 達到 95% 的統計顯著性表明在沒有實際差異時得出存在差異的結論的風險為 5%。


您需要了解的有關客戶想要的電子郵件營銷交付能力以及收件箱不會阻止的所有信息。 獲取MarTech 的電子郵件營銷週期表。

點擊這裡查看!


5. 停止一項測試

哲學家赫拉克利特說:“沒有人會兩次踏入同一條河流,因為它不是同一條河流,他也不是同一個人。”

您的電子郵件活動也是如此。 您的訂戶群總是在獲得新訂戶並失去舊訂戶,並且客戶不會每次對每個活動都做出相同的反應。 一次運作良好的活動可能會在下一次失敗。

如果您只運行一項測試,然後將結果應用於所有未來的廣告系列,您將錯過這些微妙但重要的變化。 這就是為什麼您必須在每個活動中進行測試,對所有內容進行多次測試以排除異常。

這將為您提供可以參考的趨勢,以了解有關您的受眾的一般事實,並指出態度和行為的重要轉變。 使用這些來微調或徹底檢查您的廣告系列方法。

6. 只測試一個活動中的一個元素

主題行測試無處不在,主要是因為許多電子郵件平台在其平台中構建了 A/B 主題行拆分測試。 這是一個很好的開始,但它只為您提供了圖片的一部分,並且常常具有誤導性。 以打開率衡量的獲勝主題並不總能預測實現目標的活動。

這就是我開發稱為整體測試的做法的原因之一,它超越了單通道、一次性、單變量測試。

這是一個基於動機的假設的示例,您可以將其用作整體測試的一部分。 它命名了適當的指標(轉換),並結合了與復制相關的因素,例如主題行、標題、複製塊、號召性用語甚至登陸頁面:

“與利益導向的副本相比,損失厭惡副本將推動更多的轉換,因為大量研究表明,人們討厭失去的程度超過了他們享受收益的程度。”

只要對變量的更改支持假設,那麼通過使用多個變量,您就可以使測試更加穩健。 這與多變量檢驗的區別在於所有變量都支持假設,當宣布獲勝者時,我們可以應用我們所學到的知識。

7. 不使用你學到的東西來改進電子郵件

我們不會測試以查看單個廣告系列中會發生什麼或滿足好奇心。 我們進行測試以了解我們的程序是如何運作的,以及將如何改進它們——現在和長期。 我們進行測試以確定我們是否在幫助我們實現目標的事情上花錢。

我們進行測試以發現我們可以應用於其他營銷渠道的受眾趨勢和變化——因為我們的電子郵件受眾是我們客戶群的縮影。 不要讓您的測試結果在您的電子郵件平台或團隊筆記本中消失。

改進電子郵件活動的測試行動計劃如下所示:

1. 提出一個假設,說明您期望看到什麼,以及為什麼以及如何衡量成功。

2. 按照既定的測試計劃準確報告結果。

3. 選擇衡量結果的相關指標(轉化、收入、下載、註冊、完成的流程等)。

4. 設置測試的時間長度(如果是自動化)或要執行的測試數量(如果是活動)以生成足夠的結果來通過重要的測試。

5. 分析結果,撰寫結論並推薦未來的活動。

6. 將結果付諸行動——在您的電子郵件營銷計劃和其他適當的渠道中。

7. 細化和重複測試過程,以改進和延續測試、分析和實施的循環。

閱讀下一篇:A/B 測試死了嗎?

測試比以往任何時候都更重要。 你準備好了嗎?

COVID-19 大流行顛覆了電子郵件營銷人員對我們客戶的了解。 在 2020 年,我們需要進行測試,以檢測客戶想要什麼、改變了什麼以及他們對我們的活動的反應保持不變。

大流行在許多地區正在消退,但在其他地區可能會再次上升。 測試將幫助我們領先於新的變化,並立即將這些見解付諸實踐。 這使我們的電子郵件程序與客戶相關並受到重視,並提升了電子郵件作為幫助我們公司取得成功的可靠工具的形象。

我之前提到過,您的電子郵件數據庫是您客戶群的縮影。 準確的測試結果可以揭示客戶思維和動機的轉變,您可以使用這些變化來測試和更新您的社交媒體、網站、短信營銷,甚至是離線直銷。

在營銷工具包中,我想不出比電子郵件更通用、更具成本效益和適應性的任何其他工具。 準確和最新的測試使這個可靠的舊工具煥發新的光彩。


本文中表達的觀點是客座作者的觀點,不一定是 MarTech。 工作人員作者在這裡列出。


MarTech 的新內容

    8 家有效利用社交媒體營銷的公司

    Ceros 宣布與銷售支持平台的新集成

    身份解析的陌生新世界指南

    使用此 CDP 路線圖加速客戶旅程自動化

    更好的報告可以提高電子郵件性能