Chi è responsabile della qualità dei dati? Matrice di responsabilità per i team di analisi

Poiché i dati di scarsa qualità possono rendere inutili ulteriori azioni (come il calcolo dell'attribuzione, l'invio di offerte a servizi pubblicitari o la creazione di report), garantire la qualità dei dati continua a essere la sfida più grande nell'analisi digitale. È comune affermare che gli analisti sono responsabili di tutti i problemi relativi ai dati. Ma è vero?

Chi è responsabile della qualità dei dati in un'azienda? Contrariamente alla credenza popolare, non sono solo gli analisti. Ad esempio, gli esperti di marketing lavorano con i tag UTM, gli ingegneri applicano i codici di monitoraggio, ecc. Quindi non sorprende che si verifichi il caos quando si lavora con i dati: ogni dipendente ha molte attività e non è chiaro chi sta facendo cosa, chi è responsabile di cosa e a chi dovrebbe essere chiesto il risultato.

In questo articolo, cerchiamo di capire chi è responsabile della qualità dei dati in ogni fase e come gestirla.

Anche all'interno di un'azienda, il mondo dei dati può essere pieno di discrepanze e incomprensioni. Per fornire agli utenti aziendali dati di qualità ed evitare la perdita di dati preziosi, è necessario pianificare la raccolta di tutti i dati di marketing necessari. Preparando il flusso di lavoro dei dati, dimostri in che modo i dati sono correlati per i colleghi in tutti i reparti, in modo che diventi facile collegare i punti. Tuttavia, questo è solo il primo passo. Vediamo quali sono gli altri passaggi nella preparazione dei dati per report e dashboard:

1. Imposta la raccolta dei dati primari.
2. Raccogli i dati grezzi in un archivio dati o in un database.
3. Trasforma i dati grezzi in dati pronti per l'azienda, con markup, ripuliti e in una struttura comprensibile per l'azienda.
4. Preparare un data mart: una struttura piatta che funge da origine dati per la visualizzazione dei dati.
5. Visualizza i dati per la dashboard.

Tuttavia, indipendentemente da tutta la preparazione, i responsabili delle decisioni spesso incontrano un report o un dashboard con dati di scarsa qualità. E la prima cosa che fanno è rivolgersi all'analista con la domanda: perché c'è una discrepanza? o I dati sono rilevanti qui?

Tuttavia, la realtà è che in questi processi sono coinvolti diversi specialisti: gli ingegneri dei dati sono impegnati nella configurazione del sistema di analisi, i marketer aggiungono tag UTM, gli utenti inseriscono i dati. Vediamo nel dettaglio quali fasi dovresti attraversare e come dovrebbero essere implementate per fornire agli utenti dati di alta qualità.

Anche se questo passaggio sembra il più semplice, ci sono diversi ostacoli nascosti. Prima di tutto, devi pianificare la raccolta di tutti i dati da tutte le fonti, tenendo conto di tutti i punti di contatto con i clienti. A volte questo passaggio di pianificazione viene saltato, ma farlo è irragionevole e rischioso. L'adozione di un approccio non strutturato porta a ottenere dati incompleti o errati.

La sfida principale è che devi raccogliere dati frammentati da diverse piattaforme pubblicitarie e servizi con cui lavori. Poiché l'elaborazione di enormi array di dati nel più breve tempo possibile è complicata e dispendiosa in termini di risorse, vediamo quali possibili colli di bottiglia possono apparire:

• Non tutte le pagine hanno un contenitore GTM installato e quindi i dati non vengono inviati a Google Analytics.
• Viene creato un nuovo account su una piattaforma pubblicitaria, ma gli analisti non vengono informati e da essa non vengono raccolti dati.
• Un'API non supporta i parametri dinamici nei tag UTM e non li raccoglie o trasferisce.
• La carta collegata al progetto Google Cloud ha fondi o credito insufficienti.
• Convalida errata dei dati inseriti da un utente.

Durante questo passaggio, tra tutte le altre sfide, devi considerare di controllare l'accesso ai dati. Per questo, consigliamo di utilizzare la classica matrice RACI che definisce i ruoli per i processi e sottolinea chi fa, controlla, gestisce ed è responsabile di cosa. Ecco i possibili ruoli:

• R (Responsabile) — qualcuno che è responsabile ed è l'esecutore testamentario di un particolare processo
• C (Consultato) — una persona che consulta e fornisce i dati necessari per attuare il processo
• A (Responsabile o Approvatore): qualcuno che è responsabile del risultato del lavoro
• I (Informato) — una persona che deve essere informata dello stato di avanzamento dei lavori

Secondo la matrice RACI, i ruoli e le responsabilità per la raccolta dei dati si presentano così:

Il passaggio successivo consiste nel decidere dove archiviare tutti i dati ottenuti. Se desideri ottenere il controllo completo sui tuoi dati grezzi senza modificarli, ti consigliamo di utilizzare un unico archivio con importazione automatica dei dati. Poiché l'utilizzo dei propri server per archiviare ogni byte di dati costerà una fortuna, consigliamo di utilizzare soluzioni cloud che consentono di risparmiare risorse e fornire accesso ai dati ovunque.

L'opzione migliore per questa attività è Google BigQuery, poiché tiene conto delle esigenze degli esperti di marketing e può essere utilizzato per archiviare dati grezzi da siti Web, sistemi CRM, piattaforme pubblicitarie, ecc. Oggi ci sono tonnellate di soluzioni software di marketing. Consigliamo OWOX BI, che raccoglie automaticamente i dati in un data warehouse (o data lake) da diversi servizi e siti web.

Vediamo quali errori classici possono verificarsi durante la raccolta di dati grezzi:

• L'API del servizio pubblicitario è cambiata. Di conseguenza, anche il formato dei dati è cambiato.
• L'API del servizio esterno non è disponibile. Lo stakeholder vede alcuni numeri nel proprio account personale, ma l'API dello stesso servizio pubblicitario fornisce altri dati. Questi dati non corrispondono perché, come in qualsiasi sistema distribuito, l'origine dati per l'API del servizio pubblicitario è diversa dall'origine dati per il portale web.
• I dati nell'interfaccia Web e nell'API del servizio esterno sono diversi. I formati della documentazione e dell'elaborazione dei dati possono essere diversi. Ad esempio, un errore interessante in uno dei popolari servizi pubblicitari è che le spese sono zero sia quando non esistono sia quando sono effettivamente zero. Tutti gli ingegneri e gli analisti dei dati sanno che zero e Null sono valori diversi e vengono elaborati in modo diverso. In un caso, queste spese possono apparire e devono essere richieste nuovamente, e zero significa che in realtà non ci sono e vengono conteggiate come zero.
• L'API di un servizio esterno fornisce dati errati.

Secondo la matrice, in questo processo, il marketer è un consulente e una fonte di conoscenza: ad esempio, conoscenza su quali account è necessario scaricare i dati, quali sono i tag UTM e markup sulle campagne pubblicitarie.

Ci sono anche sviluppatori che vogliono sapere quali modifiche accadrebbero ai contenitori se venisse utilizzato Google Tag Manager, poiché sono responsabili della velocità di download del sito web.

A questo punto, i data engineer stanno già svolgendo il ruolo responsabile perché stanno configurando le pipeline di dati. E gli analisti sono responsabili del risultato del lavoro. Anche se un dipendente svolge queste funzioni, ci saranno effettivamente due ruoli. Pertanto, se l'azienda dispone di un solo analista, consigliamo comunque di implementare la matrice per ruoli. Quindi, con la crescita dell'azienda, avrai una descrizione del lavoro per un nuovo collega e sarà chiaro quali sono le responsabilità per un ruolo specifico.

Lo stakeholder in questa fase è interessato a conoscere quali dati sono disponibili e quali problemi ci sono con la loro qualità, poiché individua priorità e risorse finalizzate alla raccolta dei dati. Ad esempio, la funzione OWOX BI Data Monitoring è ampiamente applicata dai nostri clienti.

La preparazione dei dati è il passo successivo. Viene spesso chiamata preparazione del data mart: si tratta di una struttura piatta contenente i parametri e le metriche che verranno presentati sul dashboard. Un analista limitato in termini di strumenti, budget e tempo spesso salta la fase di preparazione dei dati aziendali e prepara immediatamente un data mart. Sembrano dati grezzi raccolti in un data warehouse. Quindi, ci sono un milione di query SQL diverse insieme a script Python e R e questo pasticcio si tradurrà in qualcosa sul dashboard.

Se continui a saltare la preparazione dei dati pronti per l'attività, si verificheranno errori ripetuti che devono essere corretti in ciascuna delle origini. Altre cose che potrebbero andare storte includono:

• Errori regolari nei dati primari
• La logica aziendale viene duplicata in tutte le query SQL
• Molto tempo necessario per trovare le cause delle discrepanze nei dati
• Il tempo per perfezionare i data mart esistenti è paragonabile al tempo per riscrivere una richiesta
• Segnala logica incomprensibile per il cliente

L'esempio più semplice e comune di errore è la definizione di un nuovo utente e di un utente restituito . La maggior parte delle aziende non fa questa distinzione allo stesso modo di Google Analytics. Pertanto, la logica delle definizioni dei tipi di utente è spesso duplicata in report diversi. Gli errori frequenti includono anche una logica di report incomprensibile. La prima cosa che il cliente aziendale chiederà quando esamina il report è come è stato costruito, su quali ipotesi si basava, perché i dati sono stati utilizzati e così via. Pertanto, la preparazione dei dati aziendali è una fase da non saltare assolutamente. Costruire un data mart da dati grezzi è come non lavare frutta e verdura prima di mangiarle.

Se assegniamo responsabilità in base alla matrice, per la preparazione dei dati otterremo questo:

I dati pronti per il business sono un set di dati finale pulito che corrisponde al modello di business. Si tratta di dati già pronti che possono essere inviati a qualsiasi servizio di visualizzazione dei dati (Power BI, Tableau, Google Data Studio, ecc.).

Naturalmente, diverse aziende operano con modelli diversi. Ad esempio, le definizioni di "utenti", "utenti B2B", "transazioni, "lead" ecc. significheranno cose diverse per le diverse aziende. Questi oggetti business in realtà rispondono alla domanda su come un'azienda pensa al proprio modello di business in termini di dati. Questa è una descrizione dell'attività al suo interno e non la struttura degli eventi in Google Analytics.

Il modello dati consente a tutti i dipendenti di sincronizzarsi e avere una comprensione generale di come vengono utilizzati i dati e di cosa si comprende al riguardo. Pertanto, la conversione di dati grezzi in dati pronti per il business è una fase importante che non può essere ignorata.

Cosa potrebbe andare storto in questa fase:

• Non è chiaro quale modello di dati abbia/utilizza l'azienda
• Difficile da preparare e mantenere i dati simulati
• Difficile controllare i cambiamenti nella logica di trasformazione

Qui è necessario decidere quale modello di dati scegliere e come controllare i cambiamenti nella logica della trasformazione dei dati. Di conseguenza, questi sono i ruoli dei partecipanti al processo di cambiamento:

Lo stakeholder non è più solo informato, ma diventa un consulente. Prendono decisioni come ciò che dovrebbe essere inteso come un utente nuovo o restituito. Il compito dell'analista in questa fase è quello di coinvolgere il più possibile gli stakeholder nel prendere queste decisioni. In caso contrario, la cosa migliore che può succedere è che all'analista venga chiesto di rifare il report.

In base alla nostra esperienza, alcune aziende non preparano ancora dati pronti per il business e creano report sui dati grezzi. Il problema principale con questo approccio è il debug e la riscrittura infiniti delle query SQL. A lungo termine, è più economico e più facile lavorare con i dati preparati invece di correre intorno ai dati grezzi facendo le stesse cose ancora e ancora.

OWOX BI raccoglie automaticamente dati grezzi da diverse fonti e li converte in un formato adatto ai report. Di conseguenza, ricevi set di dati già pronti che vengono automaticamente trasformati nella struttura desiderata, tenendo conto delle sfumature importanti per i professionisti del marketing. Non dovrai perdere tempo a sviluppare e supportare trasformazioni complesse, approfondire la struttura dei dati e passare ore a cercare le cause delle discrepanze.

Prenota una demo gratuita per vedere come OWOX BI assiste nella preparazione dei dati aziendali e come puoi trarre vantaggio da una gestione dei dati completamente automatizzata oggi.

La fase successiva è la preparazione del data mart. In poche parole, questa è una tabella preparata contenente i dati esatti necessari a determinati utenti di un particolare dipartimento, il che rende molto più facile l'applicazione.

Perché gli analisti hanno bisogno di un data mart e perché non dovresti saltare questa fase? Gli esperti di marketing e altri dipendenti senza capacità analitiche hanno difficoltà a lavorare con dati grezzi. Il compito dell'analista è fornire a tutti i dipendenti l'accesso ai dati nella forma più conveniente in modo che non debbano scrivere query SQL complesse ogni volta.

Un data mart aiuta a risolvere questo problema. Infatti, con un riempimento competente, includerà esattamente la fetta di dati necessaria per il lavoro di un determinato reparto. E i colleghi sapranno esattamente come utilizzare tale database e comprenderanno il contesto dei parametri e delle metriche in esso presentati.

I principali casi in cui qualcosa può andare storto durante la preparazione del data mart sono:

• La logica di unione dei dati è incomprensibile. Ad esempio, potrebbero essere presenti dati da un'applicazione mobile e da un sito Web ed è necessario decidere come unirli e con quali chiavi, oppure decidere come unire le campagne pubblicitarie con le attività in un'app mobile. Ci sono molte domande. Prendendo queste decisioni durante la preparazione dei dati aziendali, le prendiamo una volta e il loro valore è maggiore di quelle decisioni prese ad hoc per un report specifico qui e ora. Tali decisioni ad hoc devono essere prese ripetutamente.
• Una query SQL non viene eseguita a causa di limitazioni tecniche del data warehouse. La preparazione dei dati aziendali è un modo per ripulire i dati e portarli in una struttura simulata che renderà più economico elaborare e velocizzare le query.
• Non è chiaro come controllare la qualità dei dati .

Vediamo chi è responsabile di cosa in questa fase secondo la matrice:

È ovvio che la preparazione dei dati è responsabilità degli analisti dei dati insieme alle parti interessate e agli ingegneri dei dati, che sono consulenti nel processo. Tieni presente che gli analisti BI di OWOX possono gestire questa attività per te. Possiamo raccogliere e unire i dati, modellarli per il tuo modello di business e preparare un data mart accompagnato da istruzioni dettagliate con una descrizione della logica di costruzione, consentendoti di apportare modifiche dalla tua parte se necessario (ad esempio aggiungendo nuovi campi).

La presentazione visiva dei dati in report e dashboard è la fase finale per la quale tutto è stato effettivamente avviato. Ovviamente, i dati dovrebbero essere presentati in un modo che sia informativo e facile da usare. Per non parlare del fatto che le visualizzazioni automatizzate e opportunamente configurate riducono significativamente il tempo per trovare zone a rischio, problemi e possibilità di crescita.

Se hai preparato dati pronti per il business e un data mart, non avrai difficoltà con le visualizzazioni. Tuttavia, possono anche apparire errori come:

• Dati irrilevanti nel data mart. Se un'azienda non è sicura della qualità dei dati, anche se i dati sono di alta qualità, il primo passaggio è che il cliente aziendale chieda all'analista di ricontrollare tutto. Questo è inefficiente. È chiaro che l'azienda vuole essere protetta dagli errori e non correre a conclusioni affrettate. Pertanto, l'elevata qualità dei dati è una garanzia che qualcuno li utilizzerà in seguito.
• Scelta di un metodo di visualizzazione dei dati errato.
• Non spiegare adeguatamente al cliente le logiche di calcolo metrico e parametrico. Spesso, per un cliente aziendale che non vive in SQL e nelle metriche per interpretare correttamente i dati, deve vedere cosa significa ogni metrica nel contesto del report, come viene calcolata e perché. Gli analisti non dovrebbero dimenticare che chiunque utilizzi il rapporto dovrebbe avere accesso a una spiegazione di cosa c'è dietro il rapporto, quali ipotesi erano al centro del rapporto, ecc.

Secondo la matrice RACI, l'analista ha già un duplice ruolo: approvatore e responsabile . Lo stakeholder qui è un consulente e molto probabilmente ha risposto in anticipo alla domanda su quali decisioni intendono prendere e quali ipotesi vogliono testare. Queste ipotesi costituiscono la base per la progettazione della visualizzazione con cui lavora l'analista.

La matrice RACI non è una risposta a tutte le possibili domande sull'utilizzo dei dati, ma può sicuramente facilitare l'implementazione e l'applicazione del flusso di dati nella tua azienda.

Dal momento che persone con ruoli diversi sono coinvolte in fasi diverse del flusso di dati, è sbagliato presumere che l'analista sia l'unico responsabile della qualità dei dati. La qualità dei dati è anche responsabilità di tutti i colleghi coinvolti nelle decisioni di markup, consegna, preparazione o gestione dei dati.

Tutti i dati sono sempre di scarsa qualità ed è impossibile eliminare definitivamente le discrepanze dei dati, rendere i dati coerenti e liberarli da rumore e duplicazione. Succede sempre, soprattutto in una realtà di dati così rapida e dinamica come il marketing. Tuttavia, puoi identificare in modo proattivo questi problemi e impostare un obiettivo per rendere nota la qualità dei tuoi dati. Ad esempio, puoi ottenere risposte a domande quali: Quando sono stati aggiornati i dati? Con quale granularità sono disponibili i dati? Di quali errori nei dati siamo a conoscenza? e con quali metriche possiamo lavorare?

Per chi vuole contribuire a migliorare la qualità dei dati della propria azienda, consigliamo tre semplici passaggi:

1. Creare uno schema del flusso di dati. Ad esempio, usa Miro e disegna come la tua azienda utilizza i dati. Sarai sorpreso di quante opinioni diverse ci siano su questo schema all'interno di un'azienda.
2. Metti insieme una matrice di responsabilità e concorda chi è responsabile di cosa, almeno sulla carta.
3. Descrivere il modello di dati aziendali.

Avendo molti anni di esperienza, il team OWOX BI sa come allocare le responsabilità e cosa è necessario agli analisti. Sulla base di queste conoscenze, abbiamo preparato un modello di matrice di allocazione delle responsabilità per i team di analisti.

Ottieni la matrice

Inoltre, il team OWOX BI può assisterti nella configurazione e nell'automazione di tutti i passaggi dei dati descritti in questo articolo. Se hai bisogno di aiuto con una di queste attività o desideri controllare il tuo sistema di analisi e qualità dei dati, prenota una demo.

1. Dark Data: Perché quello che non sai è importante di David J. Hand
2. Il segnale e il rumore: perché così tante previsioni falliscono, ma alcune no di Nate Silver
3. Prevedibilmente irrazionale del dottor Dan Ariely
4. La scimmia irrazionale: perché ci innamoriamo della disinformazione, della teoria del complotto e della propaganda di David Robert Grimes
5. Un'esperienza di un “Ecosistema di dati” di Antriksh Goel