التدريب الموزّع والبنية التحتية للذكاء الاصطناعي
تشريح هندسي لطبقات التوازي على عناقيد وحدات المعالجة الرسومية. من البيانات إلى الخبراء، نقيس، نفكك، ونطلق تجارب فعلية على عتاد H100.
عن هذه الدورة
قراءة جادة لما تتعلمه — ما الذي ستبنيه بيديك، وأين يقع هذا المسار في طيف ممارسة الذكاء الاصطناعي.
لا يكفي أن تعرف كيف يعمل المحول على وحدة معالجة واحدة. الأنظمة الحقيقية تدرب على عشرات وأحيانًا آلاف الوحدات، وكل قرار في توزيع التوازي له ثمن قابل للقياس بالميغا‑بايت في الثانية.
هذا المسار يفكك تلك القرارات. نتناول ZeRO-1/2/3 وFSDP، توازي النموذج (Tensor + Pipeline)، توازي الخبراء (MoE)، وتقنيات التداخل بين الحساب والاتصال. نقيس عرض النطاق الفعال على NVLink وInfiniBand، ونوثق الفرق بين النظري والعملي.
كل أسبوع يتضمن مختبرًا على عناقيد فعلية. لا محاكيات. تكتب التجارب، تطلق على H100، وتحلل النتائج جماعيًا.
أكثر النماذج الفاشلة لم تفشل في المعمارية، بل في الاتصال. هذا المسار عن الاتصال أولًا.
— د. مازن القحطاني · مدرس المسارالمنهج التفصيلي
الوحدات على مدى الفصل. كل وحدة تنتهي بتسليم محدد يقيم فرديًا وجماعيًا.
نراجع بنية وحدات H100 وA100، نموذج البرمجة CUDA، ومنظومة الاتصال NCCL. نقيس عرض النطاق الفعال للعمليات الجمعية الأساسية على عقدة واحدة وعبر العقد.
- معمارية H100 SXM والذاكرة الهرمية
- NCCL: عمليات جمعية وخوارزمياتها
- قياس bandwidth/latency على NVLink/IB
- أدوات Nsight Systems وnvprof
من DDP الكلاسيكي إلى ZeRO-1/2/3 وFSDP. نحلل تكلفة الذاكرة لكل مستوى، ونطبق تطبيقًا بسيطًا لـZeRO-3 يظهر كيف تقسم الأوزان والمشتقات وحالات المحسن.
- مقارنة DDP مقابل FSDP
- ZeRO-1/2/3: تجزئة الذاكرة
- Activation checkpointing
- Mixed precision (BF16/FP8)
Tensor Parallelism بأسلوب Megatron-LM، وPipeline Parallelism بنماذج 1F1B وInterleaved. متى نختار أيًا منهما؟ وكيف ندمجهما مع توازي البيانات لتحقيق توازي ثلاثي الأبعاد؟
- Megatron-style TP
- GPipe وPipeDream
- 1F1B وinterleaved scheduling
- 3D parallelism في الواقع
نماذج الخبراء المتفرقة (Sparse MoE) وما تتطلبه من توازي الخبراء وتوجيه الرموز. نتناول DeepSeek-MoE وMixtral، ونناقش تحديات موازنة الحمل (Load Balancing) والخسارة المساعدة (Auxiliary Loss).
- Top-K routing وnoisy gating
- Expert parallelism
- Load balancing وaux loss
- Communication patterns لـMoE
FlashAttention-2 وFusedKernels وCUDA Graphs. كيف نسرع التدريب 30-60٪ دون تغيير المعمارية؟ نقيس قبل وبعد ونوثق المكاسب.
- FlashAttention-2
- CUDA Graphs وkernel fusion
- Compile-time optimization (torch.compile)
- Activation memory reduction
Slurm وKubernetes للتدريب الموزع. كيف نتعامل مع فشل العقد، الانقطاعات، والاستئناف من نقاط حفظ؟ نتناول DeepSpeed Resilient Training.
- Slurm وjob arrays
- Elastic training
- Checkpoint/restore strategies
- Monitoring (Prometheus, Grafana)
نطبق كل ما تعلمناه على مشروع جماعي: تدريب نموذج لغة عربي بحجم 7B على عناقيد سعودية. كل فريق يختار استراتيجية ويدافع عنها بقياسات.
- تخطيط التجربة
- تنفيذ الاستراتيجية المختارة
- التحليل والمقارنة
- كتابة التقرير النهائي
المدرس
المسار يقوده مدرس واحد، يعرف ما يدرس من الداخل، ولا يفوض المختبرات لمساعدين.
سيعلن المدرس قريبًا
مدرس رئيسي للمسار
جامعة الملك سعود — الرياضزائر سابق · مختبر MIT CSAIL
د. مازن القحطاني مهندس رئيسي في أنظمة التعلم العميق الموزع، عمل لتسع سنوات على تحسين أداء التدريب على عناقيد كبيرة في كلٍ من الأكاديميا والصناعة. شارك في تصميم خط التدريب لنموذجين سعوديين مفتوحين بحجم 13B و34B.
حصل على الدكتوراه من جامعة كارنيجي ميلون عام 2018 في تخصص أنظمة التعلم الآلي تحت إشراف البروفيسور Greg Ganger. قبل الالتحاق بساعي، عمل مهندسًا أقدم في فريق Megatron-LM لمدة أربع سنوات، حيث ساهم في تحسينات FSDP الأخيرة.
نشر اثنتي عشرة ورقة في مؤتمرات MLSys، NeurIPS، وSC، ويحرر بانتظام لمجلة Journal of Parallel and Distributed Computing.
مسارات ذات صلة
دورات تكمل أو تسبق هذا المسار في رحلة التعمق.