من المسؤول عن جودة البيانات؟ مصفوفة المسؤولية لفرق التحليلات

نظرًا لأن البيانات ذات الجودة الرديئة يمكن أن تجعل أي إجراءات أخرى غير مجدية (مثل حساب الإحالة ، أو إرسال عروض الأسعار إلى الخدمات الإعلانية ، أو إنشاء التقارير) ، فإن ضمان جودة البيانات لا يزال يمثل التحدي الأكبر في التحليلات الرقمية. من الشائع القول إن المحللين مسؤولون عن جميع المشكلات المتعلقة بالبيانات. لكن هل هذا صحيح؟

من المسؤول عن جودة البيانات في الشركة؟ خلافا للاعتقاد الشائع ، ليس المحللين فقط. على سبيل المثال ، يعمل المسوقون باستخدام علامات UTM ، ويطبق المهندسون أكواد التتبع ، وما إلى ذلك ، لذا فليس من المستغرب أن تحدث الفوضى عند العمل بالبيانات: كل موظف لديه العديد من المهام ، وليس من الواضح من يفعل ماذا ، ومن المسؤول عن ماذا ، و من الذي يجب أن يُسأل عن النتيجة.

في هذه المقالة ، نحاول فهم المسؤول عن جودة البيانات في كل مرحلة وكيفية إدارتها.

حتى داخل شركة واحدة ، يمكن ملء عالم البيانات بالتناقضات وسوء الفهم. لتمكين مستخدمي الأعمال ببيانات عالية الجودة وتجنب فقدان البيانات القيمة ، تحتاج إلى التخطيط لجمع كل البيانات التسويقية الضرورية. من خلال إعداد سير عمل البيانات ، يمكنك توضيح كيفية ارتباط البيانات بالزملاء في جميع الأقسام بحيث يصبح من السهل ربط النقاط. ومع ذلك ، هذه فقط الخطوة الأولى. دعونا نرى ما هي الخطوات الأخرى في تحضير البيانات للتقارير ولوحات المعلومات:

1. إعداد جمع البيانات الأولية.
2. جمع البيانات الأولية في تخزين البيانات أو قاعدة بيانات.
3. حوّل البيانات الأولية إلى بيانات جاهزة للأعمال ، مع الترميز ، الذي يتم تنظيفه وفي هيكل مفهوم للأعمال.
4. قم بإعداد سوق بيانات - هيكل مسطح يعمل كمصدر بيانات لتصور البيانات.
5. تصور البيانات للوحة القيادة.

ومع ذلك ، وبغض النظر عن كل التحضير ، غالبًا ما يواجه صانعو القرار تقريرًا أو لوحة معلومات ببيانات ذات جودة رديئة. وأول شيء يفعلونه هو اللجوء إلى المحلل بسؤال: لماذا يوجد تناقض؟ أو هل البيانات ذات صلة هنا؟

ومع ذلك ، فإن الحقيقة هي أن المتخصصين المختلفين يشاركون في هذه العمليات: يشارك مهندسو البيانات في إعداد نظام التحليلات ، ويضيف المسوقون علامات UTM ، ويدخل المستخدمون البيانات. دعونا نرى بالتفصيل المراحل التي يجب أن تمر بها وكيف ينبغي تنفيذها لتزويد المستخدمين ببيانات عالية الجودة.

على الرغم من أن هذه الخطوة تبدو أسهل ، إلا أن هناك العديد من العوائق المخفية. بادئ ذي بدء ، عليك التخطيط لجمع جميع البيانات من جميع المصادر ، مع مراعاة جميع نقاط الاتصال بالعملاء. في بعض الأحيان يتم تخطي خطوة التخطيط هذه ، لكن القيام بذلك غير معقول ومحفوف بالمخاطر. يؤدي اتباع نهج غير منظم إلى الحصول على بيانات غير كاملة أو غير صحيحة.

يتمثل التحدي الرئيسي في أنه يتعين عليك جمع بيانات مجزأة من أنظمة وخدمات إعلانية مختلفة تعمل معها. نظرًا لأن معالجة مصفوفات البيانات الضخمة في أقصر وقت ممكن أمر معقد ويستهلك موارد كثيرة ، فلنرى ما هي الاختناقات المحتملة التي يمكن أن تظهر:

• لم يتم تثبيت حاوية GTM في جميع الصفحات ، وبالتالي لا يتم إرسال البيانات إلى Google Analytics.
• يتم إنشاء حساب جديد على منصة إعلانية ، لكن المحللين لا يعلمون ولا يتم جمع البيانات منه.
• لا تدعم واجهة برمجة التطبيقات المعلمات الديناميكية في علامات UTM ولا تجمعها أو تنقلها.
• البطاقة المتصلة بمشروع Google Cloud بها أموال أو ائتمان غير كافٍ.
• التحقق غير الصحيح من البيانات التي أدخلها المستخدم.

خلال هذه الخطوة ، من بين جميع التحديات الأخرى ، عليك التفكير في التحكم في الوصول إلى البيانات. لهذا ، نوصي باستخدام مصفوفة RACI الكلاسيكية التي تحدد أدوار العمليات وتؤكد من يفعل ويتحكم ويدير والمسؤول عن ماذا. فيما يلي الأدوار المحتملة:

• R (مسؤول) - شخص مسؤول عن عملية معينة ومنفذها
• ج (استشاري) - الشخص الذي يستشير ويقدم البيانات اللازمة لتنفيذ العملية
• أ (مسئول أو معتمد) - شخص مسئول عن نتيجة العمل
• أنا (على علم) - شخص يجب إبلاغه بسير العمل

وفقًا لمصفوفة RACI ، تبدو الأدوار والمسؤوليات الخاصة بجمع البيانات كما يلي:

الخطوة التالية هي تحديد مكان تخزين جميع البيانات التي تم الحصول عليها. إذا كنت ترغب في الحصول على تحكم كامل في بياناتك الأولية دون تعديلها ، فإننا نوصي باستخدام وحدة تخزين واحدة مع استيراد البيانات تلقائيًا. نظرًا لأن استخدام الخوادم الخاصة بك لتخزين كل بايت من البيانات سيكلف ثروة ، فإننا نوصي باستخدام الحلول السحابية التي توفر مواردك وتوفر الوصول إلى البيانات في كل مكان.

أفضل خيار لهذه المهمة هو Google BigQuery ، حيث إنه يأخذ في الاعتبار احتياجات المسوقين ويمكن استخدامه لتخزين البيانات الأولية من مواقع الويب وأنظمة CRM ومنصات الإعلانات وما إلى ذلك. اليوم ، هناك الكثير من حلول برامج التسويق. نوصي باستخدام OWOX BI ، الذي يجمع البيانات تلقائيًا في مستودع بيانات (أو بحيرة بيانات) من خدمات ومواقع مختلفة.

دعونا نرى ما هي الأخطاء التقليدية التي يمكن أن تحدث عند جمع البيانات الأولية:

• تم تغيير واجهة برمجة التطبيقات الخاصة بخدمة الإعلان. وفقًا لذلك ، تم تغيير تنسيق البيانات أيضًا.
• واجهة برمجة تطبيقات الخدمة الخارجية غير متاحة. يرى أصحاب المصلحة أرقامًا معينة في حساباتهم الشخصية ، لكن واجهة برمجة التطبيقات لنفس الخدمة الإعلانية تعطي بيانات أخرى. لا تتطابق هذه البيانات لأنه ، كما هو الحال في أي نظام موزع ، يختلف مصدر البيانات لواجهة برمجة تطبيقات خدمة الإعلانات عن مصدر البيانات لبوابة الويب.
• تختلف البيانات الموجودة في واجهة الويب للخدمة الخارجية وواجهة برمجة التطبيقات. يمكن أن تكون تنسيقات معالجة البيانات والوثائق مختلفة. على سبيل المثال ، هناك خطأ مثير للاهتمام في إحدى خدمات الإعلان الشائعة وهو أن النفقات تكون صفرية عندما لا تكون موجودة وعندما تكون في الواقع صفرية. يعرف جميع مهندسي ومحللي البيانات أن الصفر والصفري قيم مختلفة ويتم معالجتها بشكل مختلف. في إحدى الحالات ، قد تظهر هذه النفقات ويجب طلبها مرة أخرى ، والصفر يعني أنها غير موجودة بالفعل ويتم احتسابها على أنها صفر.
• توفر واجهة برمجة التطبيقات الخاصة بخدمة خارجية بيانات غير صحيحة.

وفقًا للمصفوفة ، في هذه العملية ، يكون المسوق مستشارًا ومصدرًا للمعرفة: على سبيل المثال ، معرفة الحسابات التي تحتاج إلى تنزيل البيانات منها ، وما هي علامات UTM ، والترميز على الحملات الإعلانية.

هناك أيضًا مطورون يريدون معرفة التغييرات التي ستحدث للحاويات إذا تم استخدام Google Tag Manager ، لأنهم مسؤولون عن سرعة تنزيل موقع الويب.

في هذه المرحلة ، يقوم مهندسو البيانات بالفعل بأداء الدور المسؤول لأنهم يقومون بتكوين خطوط أنابيب البيانات. والمحللون مسؤولون عن نتيجة العمل. حتى إذا قام موظف واحد بأداء هذه الوظائف ، فسيكون هناك بالفعل دورين. لذلك إذا كان لدى الشركة محلل واحد فقط ، فإننا لا نزال نوصي بتنفيذ المصفوفة حسب الأدوار. بعد ذلك ، مع نمو الشركة ، سيكون لديك وصف وظيفي لزميل جديد ، وسيكون من الواضح ما هي المسؤوليات لدور معين.

يهتم صاحب المصلحة في هذه المرحلة بمعرفة ما هي البيانات المتاحة وما هي المشاكل الموجودة مع جودتها ، حيث إنها تحدد الأولويات والموارد التي تهدف إلى جمع البيانات. على سبيل المثال ، يتم تطبيق ميزة OWOX BI Data Monitoring على نطاق واسع من قبل عملائنا.

إعداد البيانات هو الخطوة التالية. غالبًا ما يطلق عليه إعداد بيانات مارت - وهو هيكل مسطح يحتوي على تلك المعلمات والمقاييس التي سيتم تقديمها على لوحة القيادة. غالبًا ما يتخطى المحلل المحدود في الأدوات والميزانية والوقت مرحلة إعداد بيانات العمل ويقوم على الفور بإعداد سوق بيانات. يبدو أنه تم جمع بيانات أولية في مستودع بيانات. بعد ذلك ، هناك مليون استعلام SQL مختلف مع نصوص Python و R - وستؤدي هذه الفوضى إلى شيء ما على لوحة القيادة.

إذا واصلت تخطي إعداد البيانات الجاهزة للأعمال ، فسيؤدي ذلك إلى تكرار الأخطاء التي تحتاج إلى تصحيح في كل مصدر. تشمل الأشياء الأخرى التي يمكن أن تسوء ما يلي:

• أخطاء منتظمة في البيانات الأولية
• يتم تكرار منطق الأعمال في جميع استعلامات SQL
• مطلوب الكثير من الوقت للعثور على أسباب التناقض في البيانات
• حان الوقت لتنقيح مجموعات البيانات الحالية التي يمكن مقارنتها بوقت إعادة كتابة الطلب
• الإبلاغ عن منطق غير مفهوم للعميل

أبسط مثال على الخطأ وأكثره شيوعًا هو تعريف المستخدم الجديد والمستخدم الذي تم إرجاعه . لا تقوم معظم الشركات بهذا التمييز بنفس طريقة Google Analytics. لذلك ، غالبًا ما يتم تكرار منطق تعريفات نوع المستخدم في تقارير مختلفة. تتضمن الأخطاء المتكررة أيضًا منطق تقرير غير مفهوم. أول شيء سيسأل عنه العميل التجاري عند النظر في التقرير هو كيف تم بناؤه ، وما هي الافتراضات التي استند إليها ، وسبب استخدام البيانات ، وما إلى ذلك. لذلك ، يعد إعداد بيانات العمل مرحلة لا يجب عليك تخطيها بالتأكيد. يشبه بناء سوق البيانات من البيانات الخام عدم غسل الخضار والفاكهة قبل تناولها.

إذا قمنا بتعيين المسؤوليات وفقًا للمصفوفة ، فعند إعداد البيانات ، سنحصل على هذا:

البيانات الجاهزة للأعمال هي مجموعة بيانات نهائية نظيفة تتوافق مع نموذج الأعمال. إنها بيانات جاهزة يمكن إرسالها إلى أي خدمة تصور للبيانات (Power BI ، Tableau ، Google Data Studio ، إلخ).

بطبيعة الحال ، تعمل الشركات المختلفة بنماذج مختلفة. على سبيل المثال ، ستعني تعريفات "المستخدمين" و "مستخدمي B2B" و "المعاملات" و "العملاء المحتملين" وما إلى ذلك أشياء مختلفة لشركات مختلفة. تجيب كائنات الأعمال هذه في الواقع على سؤال حول كيفية تفكير الشركة في نموذج أعمالها من حيث البيانات. هذا وصف للنشاط التجاري في جوهره وليس هيكل الأحداث في Google Analytics.

يسمح نموذج البيانات لجميع الموظفين بالمزامنة والحصول على فهم عام لكيفية استخدام البيانات وما هو مفهوم عنها. لذلك ، يعد تحويل البيانات الأولية إلى بيانات جاهزة للأعمال مرحلة مهمة لا يمكن تخطيها.

ما الخطأ الذي يمكن أن يحدث في هذه المرحلة:

• ليس من الواضح نموذج البيانات الذي تستخدمه الشركة
• من الصعب تحضير وصيانة البيانات المحاكاة
• من الصعب التحكم في التغييرات في منطق التحول

هنا ، تحتاج إلى تحديد نموذج البيانات الذي يجب اختياره وكيفية التحكم في التغييرات في منطق تحويل البيانات. وعليه ، فهذه هي أدوار المشاركين في عملية التغيير:

لم يعد صاحب المصلحة فقط على علم بل أصبح مستشارًا. يتخذون قرارات مثل ما يجب فهمه كمستخدم جديد أو عائد. تتمثل مهمة المحلل في هذه المرحلة في إشراك أصحاب المصلحة قدر الإمكان في اتخاذ هذه القرارات. خلاف ذلك ، فإن أفضل شيء يمكن أن يحدث هو أن يُطلب من المحلل إعادة التقرير.

في تجربتنا ، لا تزال بعض الشركات لا تعد بيانات جاهزة للأعمال وتقوم بإنشاء تقارير على البيانات الأولية. المشكلة الرئيسية في هذا النهج هي التصحيح اللانهائي وإعادة كتابة استعلامات SQL. على المدى الطويل ، من الأرخص والأسهل العمل مع البيانات المعدة بدلاً من الالتفاف حول البيانات الأولية والقيام بنفس الأشياء مرارًا وتكرارًا.

يقوم OWOX BI تلقائيًا بجمع البيانات الأولية من مصادر مختلفة وتحويلها إلى تنسيق مناسب لإعداد التقارير. نتيجة لذلك ، تتلقى مجموعات بيانات جاهزة يتم تحويلها تلقائيًا إلى الهيكل المطلوب ، مع مراعاة الفروق الدقيقة المهمة لجهات التسويق. لن تضطر إلى قضاء بعض الوقت في تطوير ودعم التحولات المعقدة ، والتعمق في بنية البيانات ، وقضاء ساعات في البحث عن أسباب التناقضات.

احجز عرضًا تجريبيًا مجانيًا لترى كيف يساعد OWOX BI في إعداد بيانات الأعمال وكيف يمكنك الاستفادة من إدارة البيانات المؤتمتة بالكامل اليوم.

المرحلة التالية هي إعداد سوق البيانات. ببساطة ، هذا جدول مُعد يحتوي على البيانات الدقيقة التي يحتاجها مستخدمون معينون لقسم معين ، مما يجعل التطبيق أسهل كثيرًا.

لماذا يحتاج المحللون إلى سوق بيانات ، ولماذا لا تتخطى هذه المرحلة؟ يجد المسوقون والموظفون الآخرون الذين ليس لديهم مهارات تحليلية صعوبة في التعامل مع البيانات الأولية. تتمثل مهمة المحلل في تزويد جميع الموظفين بإمكانية الوصول إلى البيانات بالشكل الأكثر ملاءمة حتى لا يضطروا إلى كتابة استعلامات SQL معقدة في كل مرة.

يساعد سوق البيانات في حل هذه المشكلة. في الواقع ، مع تعبئة مختصة ، ستشمل بالضبط شريحة البيانات اللازمة لعمل قسم معين. وسيعرف الزملاء بالضبط كيفية استخدام قاعدة البيانات هذه وسيفهمون سياق المعلمات والمقاييس المقدمة فيها.

الحالات الرئيسية التي يمكن أن يحدث فيها خطأ ما عند إعداد سوق البيانات هي:

• منطق دمج البيانات غير مفهوم. على سبيل المثال ، قد تكون هناك بيانات من تطبيق جوّال وموقع ويب ، وتحتاج إلى تحديد كيفية دمجها وبأي مفاتيح ، أو تحديد كيفية دمج الحملات الإعلانية مع الأنشطة في تطبيق جوّال. هناك الكثير من الأسئلة. من خلال اتخاذ هذه القرارات عند إعداد بيانات الأعمال ، فإننا نتخذها مرة واحدة وتكون قيمتها أكبر من تلك القرارات التي يتم اتخاذها حسب الطلب لتقرير محدد هنا والآن. يجب اتخاذ مثل هذه القرارات المخصصة بشكل متكرر.
• لا يتم تشغيل استعلام SQL بسبب القيود الفنية لمستودع البيانات. يعد إعداد بيانات الأعمال إحدى طرق تنظيف البيانات وإدخالها في بنية محاكاة تجعل معالجة الاستعلامات وتسريعها أرخص.
• ليس من الواضح كيفية التحقق من جودة البيانات .

لنرى من المسؤول عن ماذا في هذه المرحلة حسب المصفوفة:

من الواضح أن إعداد البيانات هو مسؤولية محللي البيانات جنبًا إلى جنب مع أصحاب المصلحة ومهندسي البيانات ، الذين هم مستشارون في هذه العملية. لاحظ أن محللي OWOX BI يمكنهم التعامل مع هذه المهمة نيابة عنك. يمكننا جمع البيانات ودمجها ، ونمذجتها لنموذج عملك ، وإعداد سوق بيانات مصحوبًا بتعليمات مفصلة مع وصف لمنطق البناء ، مما يسمح لك بإجراء تغييرات من جانبك إذا لزم الأمر (على سبيل المثال ، إضافة حقول جديدة).

يعد عرض البيانات بشكل مرئي في التقارير ولوحات المعلومات المرحلة النهائية التي بدأ فيها كل شيء بالفعل. من الواضح أنه يجب تقديم البيانات بطريقة مفيدة وسهلة الاستخدام. ناهيك عن أن التصورات الآلية والمكوّنة بشكل صحيح تقلل بشكل كبير من الوقت للعثور على مناطق الخطر والمشاكل وإمكانيات النمو.

إذا كنت قد أعددت بيانات جاهزة للعمل وسوق بيانات ، فلن تواجه صعوبات في التصورات. ومع ذلك ، يمكن أن تظهر أيضًا أخطاء مثل:

• البيانات غير ذات الصلة في سوق البيانات. إذا لم تكن الشركة متأكدة من جودة البيانات ، فحتى لو كانت البيانات عالية الجودة ، فإن الخطوة الأولى هي أن يطلب العميل التجاري من المحلل إعادة التحقق من كل شيء. هذا غير فعال. من الواضح أن الشركة تريد الحماية من الأخطاء وعدم التسرع في الاستنتاجات. لذلك ، تعد الجودة العالية للبيانات ضمانًا لاستخدامها لاحقًا.
• اختيار طريقة تصور البيانات غير الصحيحة.
• عدم شرح منطق حسابات المقاييس والمعلمات للعميل بشكل صحيح. في كثير من الأحيان ، بالنسبة لعميل الأعمال الذي لا يعيش في SQL والمقاييس لتفسير البيانات بشكل صحيح ، يحتاج إلى معرفة معنى كل مقياس في سياق التقرير ، وكيف يتم حسابه ، ولماذا. لا ينبغي أن ينسى المحللون أن أي شخص يستخدم التقرير يجب أن يكون لديه حق الوصول إلى شرح لما وراء التقرير ، والافتراضات التي كانت في صميم التقرير ، وما إلى ذلك.

وفقًا لمصفوفة RACI ، فإن المحلل لديه بالفعل دور مزدوج - الموافق والمسؤول . صاحب المصلحة هو مستشار هنا ، والأرجح أنهم أجابوا مسبقًا على سؤال ماهية القرارات التي يخططون لاتخاذها وما هي الفرضيات التي يريدون اختبارها. تشكل هذه الفرضيات الأساس لتصميم التصور الذي يعمل به المحلل.

لا تعد مصفوفة RACI إجابة على جميع الأسئلة المحتملة حول العمل مع البيانات ، ولكنها بالتأكيد يمكن أن تسهل تنفيذ وتطبيق تدفق البيانات في شركتك.

نظرًا لأن الأشخاص في أدوار مختلفة يشاركون في مراحل مختلفة من تدفق البيانات ، فمن الخطأ افتراض أن المحلل هو المسؤول الوحيد عن جودة البيانات. جودة البيانات هي أيضًا مسؤولية جميع الزملاء الذين يشاركون في قرارات ترميز البيانات أو تسليمها أو إعدادها أو إدارتها.

دائمًا ما تكون جميع البيانات ذات جودة رديئة ، ومن المستحيل التخلص بشكل دائم من تناقضات البيانات ، وجعل البيانات متسقة ، وتخليصها من الضوضاء والازدواجية. يحدث هذا دائمًا ، لا سيما في واقع البيانات السريع والمتغير ديناميكيًا مثل التسويق. ومع ذلك ، يمكنك تحديد هذه المشكلات بشكل استباقي وتحديد هدف لجعل جودة بياناتك معروفة. على سبيل المثال ، يمكنك الحصول على إجابات لأسئلة مثل: متى تم تحديث البيانات؟ في أي درجة من التفصيل تتوفر البيانات؟ ما هي الأخطاء في البيانات التي نعرف عنها؟ وما هي المقاييس التي يمكننا العمل بها؟

بالنسبة لأولئك الذين يرغبون في المساهمة في تحسين جودة بيانات شركاتهم ، نوصي بثلاث خطوات بسيطة:

1. إنشاء مخطط تدفق البيانات. على سبيل المثال ، استخدم Miro وقم برسم كيفية استخدام شركتك للبيانات. ستندهش من عدد الآراء المختلفة حول هذا المخطط داخل شركة واحدة.
2. ضع مصفوفة للمسؤولية واتفق على من هو المسؤول عن ماذا ، على الأقل على الورق.
3. صِف نموذج بيانات الأعمال.

بعد سنوات عديدة من الخبرة ، يعرف فريق OWOX BI كيفية توزيع المسؤوليات وما يحتاجه المحللون. بناءً على هذه المعرفة ، قمنا بإعداد قالب مصفوفة تخصيص المسؤولية لفرق المحللين.

احصل على المصفوفة

بالإضافة إلى ذلك ، يمكن لفريق OWOX BI مساعدتك في تكوين وأتمتة جميع خطوات البيانات الموضحة في هذه المقالة. إذا كنت بحاجة إلى مساعدة في أي من هذه المهام أو ترغب في مراجعة نظام جودة البيانات والتحليلات ، فقم بحجز عرض توضيحي.

1. البيانات المظلمة: لماذا ما لا تعرفه مهم بقلم ديفيد ج. هاند
2. الإشارة والضوضاء: لماذا تفشل العديد من التوقعات - لكن البعض لا يفعل ذلك بواسطة نيت سيلفر
3. غير عقلاني متوقعًا للدكتور دان أريلي
4. القرد غير العقلاني: لماذا نقع في التضليل ونظرية المؤامرة والدعاية بقلم ديفيد روبرت غرايمز
5. تجربة "النظام الإيكولوجي للبيانات" بقلم أنتريكش جويل