الموثوقية والصدق وقابلية التتبع

نواتج التعلم

بعد دراسة هذا الموضوع يستطيع المتعلم:

• تعريف الموثوقية والصدق وقابلية التتبع بصورة مستقلة.
• تفسير سبب عدم كفاية أي محور منفرد لضمان جودة القرار.
• كشف القياس المتسق الذي يقيس الشيء الخطأ.
• كشف الحكم المناسب الذي لا يمكن إعادة بنائه أو الدفاع عنه.
• تصميم فحص ثلاثي لمحكّم أو بطاقة أو لجنة.
• اختيار إجراء تطوير يناسب نوع الخلل بدل استعمال علاج واحد لكل المشكلات.

ثلاثة محاور لجودة القرار

يحتاج القرار التحكيمي إلى ثلاثة شروط مختلفة. الموثوقية تسأل: هل ينتج المصدر حكمًا مستقرًا عند تكرار الظروف؟ الصدق يسأل: هل تقيس الأداة والحكم الخاصية التي تعلن المسابقة قياسها؟ قابلية التتبع تسأل: هل يمكن إعادة بناء الطريق الذي أوصل إلى النتيجة؟

رمز التقاطع يعني أن جودة القرار تحتاج إلى اجتماع المحاور، لا إلى جمع نقاطها آليًا. فقد يكون الحكم موثوقًا لكنه غير صادق، أو صادق الاتجاه لكنه غير مستقر، أو قويًا في المحورين لكن سجله ناقص.

الموثوقية

الموثوقية هي ثبات المصدر أو الأداة في إنتاج نتائج متقاربة تحت شروط متقاربة. وتتخذ صورًا متعددة:

• موثوقية داخل المحكّم: تقارب حكمه على التكرار الخفي.
• موثوقية بين المحكّمين: مقدار الاتفاق بعد التأكد من استقلال القرارات.
• موثوقية زمنية: ثبات الأداء عبر جلسات أو أيام مناسبة للمقارنة.
• موثوقية إجرائية: ثبات النتائج عند تطبيق البروتوكول نفسه.

الاختلاف لا يعني دائمًا ضعف الموثوقية؛ قد تكون العينات غير متطابقة أو السياق تغير. لذلك لا يحسب المؤشر قبل فحص D وC وT.

الصدق

الصدق يعني أن القياس يمثل المقصود منه. إذا كانت المسابقة تعلن تقييم جودة التنفيذ، لكن البطاقة تمنح معظم النقاط لجمال القصة أو شهرة المكونات، فهي لا تقيس ما تعلنه بدقة حتى لو اتفق المحكّمون.

يستخدم CAMS ثلاثة أسئلة للصدق:

• صدق البنية: هل المتغير يمثل المفهوم المراد قياسه؟
• صدق المحتوى: هل تغطي البطاقة العناصر الضرورية دون تضخم جانب وإهمال آخر؟
• صدق القرار: هل الاستنتاج النهائي متناسب مع البيانات وحدودها؟

لا يحتاج كل اختلاف مهني إلى إلغاء الصدق. المطلوب أن تبقى العلاقة بين الملاحظة والمعيار والنتيجة واضحة.

قابلية التتبع

قابلية التتبع هي القدرة على معرفة من سجل القيمة، ولأي عينة، وفي أي وقت وسياق، وكيف تحولت، ومن اعتمدها. وقد تكون النتيجة صحيحة بالمصادفة لكن غير قابلة للتتبع؛ وفي هذه الحالة لا تستطيع المؤسسة إثبات عدالتها أو تكرار نجاحها.

تشمل التتبعية رمز CJE، والنسخة الأصلية، وسجل التعديل، ونسخة المعادلة، وهوية الدور المخول، ورابط التحقق المؤسسي.

أنماط الخلل الثلاثي

لكل نمط علاج مختلف. انخفاض الموثوقية يحتاج معايرة أو راحة أو تكرارًا. انخفاض الصدق يحتاج تعديل التعريف أو البطاقة أو معيار التفسير. نقص التتبع يحتاج إصلاح النظام والسجل والصلاحيات.

خريطة ذهنية

حالة تطبيقية محلولة

استعملت لجنة معيار «الابتكار» وأعطت عينات غير مألوفة درجات مرتفعة بصورة متسقة. كانت درجات المحكّمين على عينتين مكررتين متقاربة، وسجل النظام كل حدث بدقة. يبدو أن الموثوقية والتتبع مرتفعان.

عند مراجعة تعريف الابتكار تبين أن البطاقة لا تميز بين الجِدّة المفيدة والغرابة. طبق غير مألوف لكنه ضعيف التكامل حصل على 91، بينما طبق طور تقنية معروفة بصورة فعالة حصل على 76. اللجنة متسقة، لكن المتغير لا يمثل الابتكار المهني كما أعلنته المسابقة.

المعالجة ليست تدريب المحكّمين على الاتفاق؛ فهم متفقون بالفعل. المطلوب إعادة تعريف الابتكار إلى عناصر مثل قيمة الإضافة، ووظيفة التقنية، وتكاملها مع هوية الطبق، وقدرتها على تحسين التجربة. ثم تعاد المعايرة باستخدام حالات توضح الفرق بين الجدة والغرابة.

المختبر التطبيقي: التدقيق الثلاثي

الهدف

تقييم بطاقة ومحكّم ولجنة عبر المحاور الثلاثة واختيار تطوير مخصص لكل خلل.

التنفيذ

• يتسلم المتعلم بطاقتين لتقييم الطبق، وسجل تكرار لمحكّمين، وسجل تدقيق رقمي.
• يحدد المفهوم الذي تدعي كل خانة قياسه.
• يفحص التكرار والاتفاق والاستقلال.
• يربط النتائج بالبيانات الأصلية والتحويلات.
• يمنح كل محور وصفًا: قوي، مقبول، أو يحتاج معالجة.
• يكتب خطة تطوير تفصل تدريب المصدر عن تعديل الأداة عن إصلاح السجل.

بطاقة الفحص الثلاثي

الاختبار العملي

يُعرض على المتعلم خمس حالات قصيرة. يحدد في كل حالة المحور المتضرر، ويقدم الدليل، ويختار إجراءً تصحيحيًا، ويشرح لماذا لا تكفي زيادة الاتفاق وحدها.

معيار التصحيح

المصطلحات الأساسية

• الموثوقية: ثبات القياس تحت شروط قابلة للمقارنة.
• الصدق: تمثيل القياس للمفهوم الذي يدعي قياسه.
• صدق البنية: صحة العلاقة بين المتغير والمفهوم.
• صدق المحتوى: كفاية تغطية عناصر المجال.
• صدق القرار: تناسب الاستنتاج مع البيانات.
• قابلية التتبع: القدرة على إعادة بناء أصل النتيجة ومسارها.

خلاصة علمية

الاتفاق وحده لا يصنع علمًا، والتعريف الصحيح وحده لا يضمن الثبات، والسجل الكامل لا يحول القياس الخاطئ إلى قياس صادق. يمنح CAMS كل محور وظيفته، ثم يطلب اجتماعها في القرار المهني. بهذه البنية تعرف المؤسسة ما الذي يجب تدريبه، وما الذي يجب إعادة تصميمه، وما الذي يجب توثيقه.