Cine este responsabil pentru calitatea datelor? Matricea de responsabilitate pentru echipele de analiză

Deoarece datele de slabă calitate pot face inutile orice alte acțiuni (cum ar fi calcularea atribuirii, trimiterea de oferte către serviciile de publicitate sau crearea de rapoarte), asigurarea calității datelor continuă să fie cea mai mare provocare în analiza digitală. Este obișnuit să spunem că analiștii sunt responsabili pentru toate problemele legate de date. Dar este acest lucru adevărat?

Cine este responsabil pentru calitatea datelor într-o companie? Contrar credinței populare, nu sunt doar analiștii. De exemplu, marketerii lucrează cu etichete UTM, inginerii aplică coduri de urmărire etc. Așa că nu este surprinzător că apare haos atunci când lucrează cu date: fiecare angajat are multe sarcini și nu este clar cine face ce, cine este responsabil pentru ce și cui ar trebui să i se ceară rezultatul.

În acest articol, încercăm să înțelegem cine este responsabil pentru calitatea datelor în fiecare etapă și cum să o gestionăm.

Chiar și în cadrul unei singure companii, lumea datelor poate fi plină de discrepanțe și neînțelegeri. Pentru a oferi utilizatorilor de afaceri date de calitate și pentru a evita pierderea datelor valoroase, trebuie să planificați colectarea tuturor datelor de marketing necesare. Prin pregătirea fluxului de lucru de date, demonstrați modul în care datele sunt legate pentru colegii din toate departamentele, astfel încât să devină ușor să conectați punctele. Cu toate acestea, acesta este doar primul pas. Să vedem care sunt ceilalți pași în pregătirea datelor pentru rapoarte și tablouri de bord:

1. Configurați colectarea datelor primare.
2. Colectați date brute în stocarea datelor sau într-o bază de date.
3. Transformați datele brute în date pregătite pentru afaceri, cu markup, care sunt curățate și într-o structură care este de înțeles pentru companie.
4. Pregătiți un data mart - o structură plată care servește ca sursă de date pentru vizualizarea datelor.
5. Vizualizați datele pentru tabloul de bord.

Cu toate acestea, indiferent de toată pregătirea, factorii de decizie se confruntă adesea cu un raport sau un tablou de bord cu date de proastă calitate. Și primul lucru pe care îl fac este să se adreseze analistului cu întrebarea: De ce există o discrepanță? sau datele sunt relevante aici?

Cu toate acestea, realitatea este că în aceste procese sunt implicați diferiți specialiști: inginerii de date sunt angajați în configurarea sistemului de analiză, marketerii adaugă etichete UTM, utilizatorii introduc date. Să vedem în detaliu prin ce etape ar trebui să treci și cum ar trebui implementate pentru a oferi utilizatorilor date de înaltă calitate.

Deși acest pas pare cel mai ușor, există câteva obstacole ascunse. În primul rând, trebuie să planificați să colectați toate datele din toate sursele, luând în considerare toate punctele de contact ale clienților. Uneori, acest pas de planificare este omis, dar a face acest lucru este nerezonabil și riscant. Adoptarea unei abordări nestructurate duce la obținerea de date incomplete sau incorecte.

Principala provocare este că trebuie să colectați date fragmentate de la diferite platforme de publicitate și servicii cu care lucrați. Deoarece procesarea matricelor de date masive în cel mai scurt timp posibil este complicată și necesită resurse intensive, să vedem ce blocaje pot apărea:

• Nu toate paginile au un container GTM instalat și, prin urmare, datele nu sunt trimise la Google Analytics.
• Este creat un cont nou pe o platformă de publicitate, dar analiștii nu sunt informați și nu sunt colectate date de pe acesta.
• Un API nu acceptă parametrii dinamici în etichetele UTM și nu îi colectează și nu îi transferă.
• Cardul conectat la proiectul Google Cloud are fonduri sau credit insuficiente.
• Validarea incorectă a datelor introduse de un utilizator.

În timpul acestui pas, printre toate celelalte provocări, trebuie să luați în considerare controlul accesului la date. Pentru aceasta, vă recomandăm să folosiți matricea clasică RACI care definește rolurile pentru procese și subliniază cine face, controlează, gestionează și este responsabil pentru ce. Iată rolurile posibile:

• R (Responsabil) - cineva care este responsabil și este executantul unui anumit proces
• C (Consultat) — o persoană care consultă și furnizează datele necesare pentru implementarea procesului
• A (Responsabil sau Aprobator) - cineva care este responsabil pentru rezultatul lucrării
• I (Informat) — o persoană care trebuie informată cu privire la progresul lucrării

Conform matricei RACI, rolurile și responsabilitățile pentru colectarea datelor arată astfel:

Următorul pas este să decideți unde să stocați toate datele obținute. Dacă doriți să obțineți control complet asupra datelor dvs. brute fără a le modifica, vă recomandăm să utilizați o singură stocare cu import automat de date. Deoarece utilizarea propriilor servere pentru stocarea fiecărui octet de date va costa o avere, vă recomandăm să utilizați soluții cloud care vă economisesc resursele și oferă acces la date peste tot.

Cea mai bună opțiune pentru această sarcină este Google BigQuery, deoarece ia în considerare nevoile marketerilor și poate fi folosit pentru stocarea datelor brute de pe site-uri web, sisteme CRM, platforme de publicitate etc. Astăzi, există o mulțime de soluții software de marketing. Vă recomandăm OWOX BI, care colectează automat date într-un depozit de date (sau lac de date) de la diferite servicii și site-uri web.

Să vedem ce erori clasice pot apărea la colectarea datelor brute:

• API-ul serviciului de publicitate s-a schimbat. În consecință, și formatul datelor s-a schimbat.
• API-ul serviciului extern nu este disponibil. Partea interesată vede anumite numere în contul personal, dar API-ul aceluiași serviciu de publicitate oferă alte date. Aceste date nu se potrivesc deoarece, ca în orice sistem distribuit, sursa de date pentru API-ul serviciului de publicitate este diferită de sursa de date pentru portalul web.
• Datele din interfața web și API-ul serviciului extern sunt diferite. Formatele de documentare și de prelucrare a datelor pot fi diferite. De exemplu, o greșeală interesantă într-unul dintre serviciile de publicitate populare este că cheltuielile sunt zero atât atunci când nu există, cât și atunci când sunt de fapt zero. Toți inginerii de date și analiștii știu că zero și Null sunt valori diferite și sunt procesate diferit. Într-un caz, aceste cheltuieli pot apărea și trebuie solicitate din nou, iar zero înseamnă că ele într-adevăr nu sunt acolo și sunt socotite ca zero.
• API-ul unui serviciu extern oferă date incorecte.

Conform matricei, în acest proces, marketerul este un consultant și o sursă de cunoștințe: de exemplu, cunoștințe despre ce conturi trebuie să descărcați date, care sunt etichetele UTM și markup pe campaniile de publicitate.

Există și dezvoltatori care doresc să știe ce modificări s-ar întâmpla cu containerele dacă ar fi folosit Google Tag Manager, deoarece ei sunt responsabili pentru viteza de descărcare a site-ului web.

În acest moment, inginerii de date îndeplinesc deja rolul responsabil , deoarece configurează conductele de date. Și analiștii sunt responsabili pentru rezultatul muncii. Chiar dacă un angajat îndeplinește aceste funcții, vor exista de fapt două roluri. Deci, dacă compania are un singur analist, recomandăm totuși implementarea matricei pe roluri. Apoi, odată cu creșterea companiei, veți avea o fișă a postului pentru un nou coleg și va fi clar care sunt responsabilitățile pentru un anumit rol.

Partea interesată în această etapă este interesată să știe ce date sunt disponibile și ce probleme există cu calitatea acestora, deoarece identifică prioritățile și resursele care vizează colectarea datelor. De exemplu, caracteristica de monitorizare a datelor OWOX BI este aplicată pe scară largă de către clienții noștri.

Pregătirea datelor este următorul pas. Este adesea numită pregătirea pentru data mart - aceasta este o structură plată care conține acei parametri și valori care vor fi prezentate pe tabloul de bord. Un analist care este limitat în instrumente, buget și timp sare adesea peste etapa de pregătire a datelor de afaceri și pregătește imediat un data mart. Arată ca date brute colectate într-un depozit de date. Apoi, există un milion de interogări SQL diferite împreună cu scripturi Python și R - și această mizerie va avea ca rezultat ceva pe tabloul de bord.

Dacă omiteți în continuare pregătirea datelor pregătite pentru afaceri, va duce la erori repetate care trebuie corectate în fiecare dintre surse. Alte lucruri care ar putea merge prost includ:

• Erori regulate în datele primare
• Logica de afaceri este duplicată în toate interogările SQL
• Este nevoie de mult timp pentru a găsi cauzele discrepanțelor de date
• Timpul pentru a perfecționa magazinele de date existente fiind comparabil cu timpul pentru rescrierea unei cereri
• Logica raportului fiind de neînțeles pentru client

Cel mai simplu și cel mai comun exemplu de greșeală este definirea unui utilizator nou și a unui utilizator returnat . Majoritatea companiilor nu fac această distincție în același mod ca Google Analytics. Prin urmare, logica definițiilor tipului de utilizator este adesea duplicată în rapoarte diferite. Erorile frecvente includ și o logică de raportare de neînțeles. Primul lucru despre care clientul de afaceri îl va întreba atunci când se uită la raport este cum a fost construit, pe ce ipoteze s-a bazat, de ce au fost utilizate datele și așa mai departe. Prin urmare, pregătirea datelor de afaceri este o etapă pe care cu siguranță nu ar trebui să o săriți peste. Construirea unui data mart din date brute este ca și cum nu ai spăla legumele și fructele înainte de a le mânca.

Dacă atribuim responsabilități conform matricei, atunci pentru pregătirea datelor, vom obține asta:

Datele pregătite pentru afaceri sunt un set de date final curățat care corespunde modelului de afaceri. Sunt date gata făcute care pot fi trimise către orice serviciu de vizualizare a datelor (Power BI, Tableau, Google Data Studio etc.).

Desigur, diferite afaceri funcționează cu modele diferite. De exemplu, definițiile „utilizatori”, „utilizatori B2B”, „tranzacții, „clienți potențiali” etc. vor însemna lucruri diferite pentru diferite companii. Aceste obiecte de afaceri răspund de fapt la întrebarea cum se gândește o afacere despre modelul său de afaceri în termeni de date. Aceasta este o descriere a afacerii la baza ei și nu structura evenimentelor din Google Analytics.

Modelul de date permite tuturor angajaților să se sincronizeze și să aibă o înțelegere generală a modului în care sunt utilizate datele și a ceea ce se înțelege despre acestea. Prin urmare, conversia datelor brute în date pregătite pentru afaceri este o etapă importantă care nu poate fi omisă.

Ce ar putea merge prost în această etapă:

• Nu este clar ce model de date are/folosește compania
• Este dificil să pregătiți și să mențineți datele simulate
• Este dificil de controlat schimbările în logica transformării

Aici, trebuie să decideți ce model de date să alegeți și cum să controlați schimbările în logica transformării datelor. În consecință, acestea sunt rolurile participanților în procesul de schimbare:

Partea interesată nu mai este doar informată, ci devine consultant. Ei iau decizii precum ceea ce ar trebui să fie înțeles ca utilizator nou sau returnat. Sarcina analistului în această etapă este de a implica pe cât posibil părțile interesate în luarea acestor decizii. În caz contrar, cel mai bun lucru care se poate întâmpla este că analistului i se va cere să refacă raportul.

Din experiența noastră, unele companii încă nu pregătesc date pregătite pentru afaceri și nu construiesc rapoarte pe date brute. Principala problemă a acestei abordări este depanarea și rescrierea fără sfârșit a interogărilor SQL. Pe termen lung, este mai ieftin și mai ușor să lucrezi cu date pregătite în loc să rulezi în jurul datelor brute făcând aceleași lucruri din nou și din nou.

OWOX BI colectează automat date brute din diferite surse și le convertește într-un format de raportare. Ca urmare, primiți seturi de date gata făcute care sunt transformate automat în structura dorită, ținând cont de nuanțe importante pentru marketeri. Nu va trebui să petreceți timp dezvoltând și susținând transformări complexe, să vă aprofundați în structura datelor și să petreceți ore întregi căutând cauzele discrepanțelor.

Rezervați o demonstrație gratuită pentru a vedea cum OWOX BI ajută la pregătirea datelor de afaceri și cum puteți beneficia de gestionarea complet automatizată a datelor astăzi.

Următoarea etapă este pregătirea data mart-ului. Mai simplu spus, acesta este un tabel pregătit care conține datele exacte necesare anumitor utilizatori ai unui anumit departament, ceea ce face mult mai ușor de aplicat.

De ce au nevoie analiștii de un data mart și de ce nu ar trebui să săriți peste această etapă? Specialiștii de marketing și alți angajați fără abilități analitice le este greu să lucreze cu date brute. Sarcina analistului este de a oferi tuturor angajaților acces la date în cea mai convenabilă formă, astfel încât aceștia să nu fie nevoiți să scrie interogări SQL complexe de fiecare dată.

Un data mart ajută la rezolvarea acestei probleme. Într-adevăr, cu o umplere competentă, va include exact porțiunea de date necesară pentru activitatea unui anumit departament. Iar colegii vor ști exact cum să folosească o astfel de bază de date și vor înțelege contextul parametrilor și metricilor prezentate în ea.

Principalele cazuri în care ceva poate merge prost la pregătirea data mart-ului sunt:

• Logica de îmbinare a datelor este de neînțeles. De exemplu, pot exista date de la o aplicație mobilă și un site web și trebuie să decideți cum să le îmbinați și cu ce chei sau să decideți cum să îmbinați campaniile publicitare cu activitățile dintr-o aplicație mobilă. Sunt o mulțime de întrebări. Luând aceste decizii atunci când pregătim datele de afaceri, le luăm o dată și valoarea lor este mai mare decât acele decizii luate ad-hoc pentru un anumit raport aici și acum. Astfel de decizii ad-hoc trebuie luate în mod repetat.
• O interogare SQL nu rulează din cauza limitărilor tehnice ale depozitului de date. Pregătirea datelor de afaceri este o modalitate de a curăța datele și de a le aduce într-o structură simulată care va face mai ieftină procesarea și accelerarea interogărilor.
• Nu este clar cum se verifică calitatea datelor .

Să vedem cine este responsabil pentru ce în această etapă conform matricei:

Este evident că pregătirea datelor este responsabilitatea analiștilor de date împreună cu părțile interesate și inginerii de date, care sunt consultanți în acest proces. Rețineți că analiștii OWOX BI se pot ocupa de această sarcină pentru dvs. Putem colecta și îmbina datele, le putem modela pentru modelul dvs. de afaceri și putem pregăti un data mart însoțit de instrucțiuni detaliate cu o descriere a logicii de construire, permițându-vă să faceți modificări de partea dvs. dacă este necesar (de exemplu, adăugarea de noi câmpuri).

Prezentarea vizuală a datelor în rapoarte și tablouri de bord este etapa finală pentru care totul a fost de fapt început. Evident, datele ar trebui să fie prezentate într-un mod care să fie atât informativ, cât și ușor de utilizat. Ca să nu mai vorbim de faptul că vizualizările automate și configurate corect reduc semnificativ timpul necesar pentru a găsi zone de risc, probleme și posibilități de creștere.

Dacă ați pregătit date pregătite pentru afaceri și un data mart, nu veți avea dificultăți cu vizualizările. Cu toate acestea, pot apărea și greșeli precum:

• Date irelevante în data mart. Dacă o companie nu este sigură de calitatea datelor, atunci chiar dacă datele sunt de înaltă calitate, primul pas este ca clientul de afaceri să ceară analistului să verifice totul. Acest lucru este ineficient. Este clar că afacerea vrea să fie protejată de greșeli și să nu se grăbească să tragă concluzii. Prin urmare, calitatea înaltă a datelor este o garanție că cineva le va folosi mai târziu.
• Alegerea unei metode incorecte de vizualizare a datelor.
• Neexplicarea corectă clientului logica calculelor metrice și a parametrilor. Adesea, pentru ca un client de afaceri care nu trăiește în SQL și valori pentru a interpreta corect datele, trebuie să vadă ce înseamnă fiecare măsură în contextul raportului, cum este calculată și de ce. Analiștii nu trebuie să uite că oricine folosește raportul ar trebui să aibă acces la o explicație a ceea ce se află în spatele raportului, ce ipoteze au stat la baza raportului etc.

Potrivit matricei RACI, analistul are deja un dublu rol – aviz și responsabil . Partea interesată este consultant aici și, cel mai probabil, a răspuns în avans la întrebarea ce decizii intenționează să ia și ce ipoteze doresc să testeze. Aceste ipoteze formează baza pentru proiectarea vizualizării cu care lucrează analistul.

Matricea RACI nu este un răspuns la toate întrebările posibile despre lucrul cu date, dar cu siguranță poate ușura implementarea și aplicarea fluxului de date în compania dumneavoastră.

Deoarece oameni cu roluri diferite sunt implicați în diferite etape ale fluxului de date, este greșit să presupunem că analistul este singurul responsabil pentru calitatea datelor. Calitatea datelor este, de asemenea, responsabilitatea tuturor colegilor care sunt implicați în marcarea datelor, livrarea, pregătirea sau deciziile de management.

Toate datele sunt întotdeauna de proastă calitate și este imposibil să scăpați definitiv de discrepanțele de date, să faceți datele coerente și să le eliminați de zgomot și dublare. Acest lucru se întâmplă întotdeauna, mai ales într-o realitate a datelor atât de rapidă și dinamică precum marketingul. Cu toate acestea, puteți identifica în mod proactiv aceste probleme și puteți stabili un obiectiv pentru a vă face cunoscută calitatea datelor. De exemplu, puteți obține răspunsuri la întrebări precum: Când au fost actualizate datele? În ce granularitate sunt disponibile datele? Despre ce erori în date știm? și cu ce valori putem lucra?

Pentru cei care doresc să contribuie la îmbunătățirea calității datelor companiei lor, recomandăm trei pași simpli:

1. Creați o schemă de flux de date. De exemplu, utilizați Miro și schițați modul în care compania dvs. utilizează datele. Veți fi surprins de câte opinii diferite există despre această schemă într-o singură companie.
2. Alcătuiește o matrice de responsabilitate și convine cine este responsabil pentru ce, cel puțin pe hârtie.
3. Descrieți modelul de date de afaceri.

Având mulți ani de experiență, echipa OWOX BI știe cum trebuie alocate responsabilitățile și de ce au nevoie analiștii. Pe baza acestor cunoștințe, am pregătit un șablon de matrice de alocare a responsabilităților pentru echipele de analiști.

Obțineți matricea

În plus, echipa OWOX BI vă poate ajuta cu configurarea și automatizarea tuturor pașilor de date descriși în acest articol. Dacă aveți nevoie de ajutor cu oricare dintre aceste sarcini sau doriți să vă auditați sistemul de analiză și calitatea datelor, rezervați o demonstrație.

1. Date întunecate: de ce contează ceea ce nu știi de David J. Hand
2. Semnalul și zgomotul: de ce atât de multe predicții eșuează, dar unele nu de Nate Silver
3. Predictibil irațional de Dr. Dan Ariely
4. Maimuța irațională: de ce ne îndrăjim dezinformare, teoria conspirației și propagandă de David Robert Grimes
5. O experiență a unui „ecosistem de date” de Antriksh Goel