هذا الدليل يترجم ويُطوّر نصًا موجزًا إلى إطار تقييم عملي يمكن تبنيه مباشرةً في المستشفى أو المختبر أو شركة الصحة الرقمية.
لماذا لا تكفي عبارة “الـLLM يكتب بشكل جيد”؟
في الطب، الجودة تعني قدرة يمكن الوثوق بها على توقع المعلومة الصحيحة، أداءً مفيدًا في مهام حقيقية، مخاطرًا مضبوطة، امتثالًا صارمًا، وتكلفة/زمنية معقولتين. لذلك نقيم عبر سبعة محاور: جوهري، وظيفي، جودة بيانات حقيقية، إنصاف/متانة، أمان وامتثال، تشغيلية/تكلفة/أثر بيئي، وأخيرًا قائمة فحص قابلة للتعليق على الجدار.
1) التقييم الجوهري (Intrinsic): النموذج بحد ذاته
المقاييس:
- الارتباك (Perplexity) والإنتروبيا (Entropy) على نصوص سريرية (تقارير أشعة/أورام…).
- كيف؟ مجموعة اختبار منفصلة (Hold-out) من تخصصات مختلفة.
- قراءة النتائج: الأقل أفضل. قارن بنموذج عام وآخر مُحسَّن (Domain-tuned).
- مثال سريع: Perplexity انخفضت من 20 → 12 بعد تحسين على تقارير الأشعة.
تنبيه: القيم الجوهريّة ممتازة للمقارنة/المتابعة أثناء التدريب، لكنها غير كافية للحكم على المنفعة السريرية بمفردها.
2) التقييم الخارجي (Extrinsic): فاعلية على مهام حقيقية
2.1 مهام تمييز/تصنيف (Discriminative)
أمثلة: نزع الهوية (NER-PHI)، ترميز ICD-10 متعدد التسميات، فرز مبدئي لمصدر العدوى.
الحقيقة المرجعية: توثيق مزدوج القراءة + تحكيم، مع قياس اتفاق المقيّمين.
مقاييس أساسية:
- F1 (صغير/كبير)، الدقة (Precision)، الاسترجاع (Recall) لِـ NER والتصنيف متعدد التسميات.
- AUROC وAUPRC (لثنائيات/متعددة الفئات، خصوصًا عند الندرة).
- Exact match@k وPrecision@k (للترميز متعدد التسميات).
- المعايرة (Calibration): Brier score ومنحنى الموثوقية عند وجود احتمالات.
أفضل الممارسات: تقسيم بين مواقع (تدريب A+B، اختبار C) لاختبار قابلية النقل وتفادي الإفراط في التكيّف المؤسسي.
2.2 مهام توليد نص (Generative)
أمثلة: خاتمة تقرير، حالات تعليمية، ملاحظات موجزة لزيادة البيانات.
مقاييس تلقائية:
- ROUGE-1/2/L، BERTScore، BLEURT (تقارب دلالي).
- معدل الهلوسة أو تحقق حقائقي منظّم: % الجُمل المسنودة بنص المصدر/السجل الطبي.
- التنوع: Distinct-1/2، وSelf-BLEU في سيناريو زيادة البيانات.
تقييم بشري (أساسي):
- شبكة 1–5: دقة سريرية، اكتمال، وضوح، قابلية للتنفيذ.
- زمن ما بعد التحرير (مثلاً: < 30 ثانية/ملاحظة).
- قراءة مزدوجة من أطباء + تحكيم.
في التوليد السريري، الحقائقية والسلامة أهم من تشابه الأسلوب أو الدرجات الدلالية وحدها.
3) بيانات “حقيقية” وجودتها
PDF ← نص: الضجيج الذي يفسد كل شيء
الكثير من التقارير PDF: رؤوس/ذيول، أعمدة، وصلات كلمات، OCR.
قِس أثر التنظيف (فصل المتن، إصلاح الوصلات):
- F1 لـNER قبل/بعد، % الرؤوس المتبقية، معدل الكلمات الملتصقة.
العبرة: نظافة البيانات غالبًا ترفع الأداء أكثر من تبديل النموذج نفسه.
قابلية التكرار
- انشر دليل تقييم (تعريف الأخطاء، التعليمات) + مجموعات اختبار مجمدة.
- نسّخ بالإصدارات: البيانات، الموجهات (Prompts)، البذور، والـHyper-params.
4) التحيّز، الإنصاف، والمتانة
قياس ما وراء المتوسط:
- حسب الموقع/القسم/الفئة: F1 لكل مجموعة وأسوأ مجموعة (Worst-group).
- حسب الشيوع: أداء على نادرة مقابل شائعة.
- انجراف لغوي: تغيّر المفردات بين مستشفيات/فترات (اختصارات محلية).
التفسير والمعالجة:
- خرائط أخطاء (أمثلة متكررة سوء التصنيف) لتغذية قواعد أو تحسين موجّه.
- RAG لربط التوليد بمصادر داخلية مُعتمدة.
- معايرة جيدة لتفادي ثقة مضخّمة في الحالات النادرة.
5) الأمان، الخصوصية، والامتثال
- نزع الهوية (PHI): أخطاء حرجة < 0.5% كحد صارم.
- الحقائقية السريرية: مراجعة طبية مزدوجة للمخرجات المُنشرة.
- الاستضافة: مزوّد مُعتمد صحيًا (حسب بلدك؛ مثل HDS بفرنسا)، مع تتبع وصول وسجلات.
- الأثر (Traceability): احتفظ بالموجهات، السياقات، وإصدارات النماذج (لأغراض تدقيق).
6) التشغيلية: التكلفة، الكمون، والأثر البيئي
مقاييس تشغيلية:
- الكمون P50/P95، المعدل (req/s)، معدل الفشل، التوافر (SLA/SLO).
- التكلفة €/1,000 استدلال، التكلفة الكلية الشهرية (GPU/تخزين/شبكة).
- الأثر: kWh/1,000 استدلال، CO₂e تقديري (عند التوسّع).
مفاضلات عملية:
- نموذج أصغر مُحسَّن + تكميم (Quantization) + دفعات (Batching) + RAG
غالبًا يهزم نموذجًا ضخمًا غير مكيّف من حيث التكلفة/الكمون مع جودة سريرية مماثلة.
7) قائمة فحص سريعة (علّقها على الحائط)
- تعريف المهمة (تمييز/توليد) والمقياس الرئيسي.
- اختبار منفصل، ويفضل بين مواقع + تحقق زمني.
- حقيقة مرجعية قوية (قراءة مزدوجة + معامل اتفاق κ).
- مقاييس ثانوية: معايرة، حقائقية، تنوّع، Exact match@k.
- إنصاف/تحيز: لكل مجموعة + أسوأ مجموعة.
- جودة البيانات: قياس أثر PDF/OCR.
- تقييم بشري موثَّق (شبكة، زمن التحرير).
- أمن وامتثال: PHI، السجلات، القابلية للتدقيق.
- تكاليف/أثر: كمون، €/استدلال، kWh/CO₂e.
- تقرير علني/داخلي: دليل تقييم، بذور، نسخ، موجهات.
8) أمثلة مصغّرة (صيغة: حالة → مقاييس)
- نزع الهوية (NER-PHI) → F1 لكل كيان، PHI غير مُخفى < 0.5%، تحسّن F1 بعد تنظيف PDF.
- ترميز ICD-10 متعدد التسميات → F1 صغير/كبير، Precision@k، Exact match@k، أسوأ مجموعة F1 حسب المستشفى.
- خاتمة تقرير أشعة → ROUGE-L، معدل الهلوسة، زمن ما بعد التحرير، شبكة 1–5 (دقة/وضوح/قابلية تنفيذ).
- زيادة بيانات → +F1/AUPRC على اختبار حقيقي، Distinct-1/2، ضبط منع التسريب (تشابه أقصى < عتبة).
- فرز عدوى (ثنائي) → AUPRC (نِدرة)، حساسية عند العتبة السريرية، Brier score.
خلاصة عملية
الـLLM الطبي “الجيد” هو الذي يحقق: قياسًا جوهريًا متينًا، نفعًا سريريًا حقيقيًا، إنصافًا عبر المجموعات، سلامةً وحقائقية، كفاءة تشغيلية، وامتثالًا يمكن تدقيقه.
وثّق كل شيء، اختبر حيث ستنشر، واختر مقاييس قابلة للعمل بدل الاكتفاء بمتوسطات مغرية.
B. نصيحة فرق الإنتاج: ابدأوا بنسخة صغيرة مُحسَّنة ورشيقة، بنتائج قابلة للتفسير والقياس، ثم وسّعوا تدريجيًا.