แผนบริหารความเสี่ยง
อ้างอิง TOR: ข้อ 4.1.3 (แผนบริหารความเสี่ยง), ข้อ 7.1.1 (เอกสารส่งมอบงวดที่ 1)
สถานะเอกสาร: จัดทำเพื่อประกอบระบบสาธิต (Demo) ระดับโอกาสและผลกระทบเป็นการประเมินเบื้องต้นของผู้รับจ้าง ณ ขั้นเตรียมข้อเสนอ ชื่อผู้รับผิดชอบระบุเป็นตำแหน่ง และจะทบทวนร่วมกับมหาวิทยาลัยในการประชุม Kick-off และการประชุมประจำเดือนทุกครั้ง
1. กระบวนการบริหารความเสี่ยง
- ระบุความเสี่ยง — จากข้อกำหนด TOR ทั้ง 200 ข้อ สถาปัตยกรรมระบบ และประสบการณ์โครงการ RAG ภาษาไทย
- ประเมิน — ให้คะแนนโอกาสเกิด (L) และผลกระทบ (I) ระดับ 1–5 คะแนนความเสี่ยง = L × I
- กำหนดมาตรการ — ป้องกัน (ลดโอกาส) และรองรับ (ลดผลกระทบ) พร้อมตัวชี้วัดเตือนล่วงหน้า (Trigger)
- มอบหมายผู้รับผิดชอบ — ตามตำแหน่งในเอกสารโครงสร้างทีมงาน
- ติดตาม — ทบทวนทะเบียนความเสี่ยงทุกเดือน รายงานใน Progress Report (ข้อ 4.9.2) ความเสี่ยงระดับสูงมากรายงานทันที
1.1 เกณฑ์การให้คะแนน
| ระดับ | โอกาสเกิด (L) | ผลกระทบ (I) |
|---|---|---|
| 1 | แทบไม่เกิด | กระทบเล็กน้อย แก้ได้ในทีม |
| 2 | เกิดได้น้อย | ล่าช้าไม่เกิน 1 สัปดาห์ ไม่กระทบ Milestone |
| 3 | เกิดได้ปานกลาง | กระทบ Milestone ย่อย หรือคุณภาพบางส่วน |
| 4 | เกิดได้บ่อย | กระทบกำหนดส่งมอบงวด หรือเกณฑ์ตรวจรับ |
| 5 | เกือบแน่นอน | ไม่ผ่านการตรวจรับ มีค่าปรับ หรือเกิดเหตุละเมิดข้อมูล |
| คะแนน (L × I) | ระดับความเสี่ยง | การดำเนินการ |
|---|---|---|
| 15–25 | สูงมาก | ต้องมีมาตรการป้องกันทันทีและรายงานมหาวิทยาลัย |
| 8–14 | สูง | ต้องมีมาตรการและติดตามทุกเดือน |
| 4–7 | ปานกลาง | เฝ้าระวัง มีแผนรองรับ |
| 1–3 | ต่ำ | ยอมรับได้ |
2. ทะเบียนความเสี่ยง (Risk Register)
2.1 ความเสี่ยงเฉพาะด้าน AI และข้อมูล
| รหัส | ความเสี่ยง | L | I | คะแนน | มาตรการป้องกัน | มาตรการรองรับ | ผู้รับผิดชอบ |
|---|---|---|---|---|---|---|---|
| R-01 | ไฟล์พระไตรปิฎกและอรรถกถาแปล 91 เล่มเป็นไฟล์สแกน คุณภาพ OCR ต่ำ ทำให้ข้อความผิดเพี้ยน เลขข้อ/เลขหน้าตกหล่น กระทบ Chunking ตามหน้าและข้อ (ก.4.8.2) และความถูกต้องของ Citation (ก.3.6.3) | 4 | 5 | 20 | ขอไฟล์ตัวอย่างทุกปิฎกตั้งแต่งวดที่ 1 เพื่อประเมินคุณภาพ; กำหนดเกณฑ์คุณภาพขั้นต่ำใน Data Ingestion Plan; ใช้ฉบับออนไลน์เป็นแหล่งระยะแรกตามภาคผนวก ข | ทำ OCR ซ้ำพร้อมพจนานุกรมศัพท์บาลี-ไทย; สุ่มตรวจโดยผู้ทรงคุณวุฒิ; ติด flag เอกสารคุณภาพต่ำและรายงานในรายงานนำเข้าข้อมูล | AI Engineer |
| R-02 | Embedding ภาษาบาลีและการสืบค้นข้ามภาษาไทย-บาลี-อังกฤษ (ก.4.6.1) ได้ผลต่ำ เพราะโมเดล Embedding ทั่วไปมีข้อมูลบาลีน้อย และบาลีมีทั้งอักษรไทยและอักษรโรมัน | 4 | 4 | 16 | ใช้ Hybrid Search (BM25 + Vector + RRF) ไม่พึ่ง Vector อย่างเดียว; จัดทำพจนานุกรมคำพ้องไทย-บาลี-อังกฤษ; Query Expansion (ก.4.7.2); ทดสอบด้วย Benchmark Retrieval ตั้งแต่ Baseline | เพิ่ม Re-ranker (ก.4.7.1); ปรับน้ำหนัก BM25/Vector; ขยายพจนานุกรมจากผลรายข้อที่ไม่ผ่าน | AI Engineer |
| R-03 | ผล Benchmark ต่ำกว่าเกณฑ์ขั้นต่ำ (Accuracy ร้อยละ 80, Judge 2.00, Recall@5 ร้อยละ 80, Guardrail ร้อยละ 80) ทำให้ไม่ผ่านการตรวจรับ (ก.5.3.1) | 3 | 5 | 15 | รัน Baseline ตั้งแต่ D+150; กันเวลาปรับจูนอย่างน้อย 50 วันก่อน Acceptance; บันทึก Prompt/Dataset version ทุกรอบเพื่อเปรียบเทียบ (ก.5.2.4) | วิเคราะห์ผลรายข้อ แยกสาเหตุ (ไม่พบเอกสาร/ตอบผิด/ปฏิเสธผิด); เปลี่ยนโมเดลผ่าน Model Abstraction โดยไม่แก้โค้ด (4.4.6) | AI Engineer / Tech Lead |
| R-04 | ค่าใช้จ่ายและโควตา LLM API เกินงบประมาณที่มหาวิทยาลัยจัดไว้ หรือถูกจำกัดอัตราเรียก (Rate Limit) ทำให้ระบบหยุดให้บริการ | 3 | 4 | 12 | เพดานโทเคนรวม 10,000,000 ต่อ 24 ชั่วโมง (ก.3.4.1); จำกัดโทเคนต่อคำถาม 10,000/50,000 (ก.4.2.1); จำกัดความยาว Input และ Thinking Budget (ก.4.4.2); Dashboard ประมาณการค่าใช้จ่าย (ก.7.3.3) | Unavailable Mode อัตโนมัติเมื่อใกล้เพดาน (ก.3.4.4); Threshold Alert ทางอีเมล (ก.7.3.5); สลับไปโมเดลสำรอง | DevOps / AI Engineer |
| R-05 | Prompt Injection ทั้งทางตรง (ผู้ใช้พิมพ์คำสั่งแทรก) และทางอ้อม (คำสั่งแฝงในเอกสารที่นำเข้า) ทำให้ระบบตอบนอกขอบเขตหรือเปิดเผย System Prompt | 4 | 4 | 16 | Guardrail ตรวจ Input และ Output (ก.4.4.1); ทำความสะอาดเอกสารก่อนนำเข้า; แยก System Prompt ออกจากเนื้อหาที่สืบค้น; ทดสอบด้วยชุด Guardrail และชุด Injection | รูปแบบ Injection ปรับเพิ่มได้ในหน้า /admin/guardrails โดยไม่ต้อง Deploy; รายงาน AI Security/Guardrail Testing (7.2.7) | AI Engineer / QA |
| R-06 | ระบบชี้ขาดการตีความหลักธรรม หรือตอบคำถามใช่/ไม่ใช่ ขัดกับบุคลิกบรรณารักษ์ (ก.4.5.3) หรือตอบประเด็นการเมือง เปรียบเทียบศาสนา สุขภาพจิต (ก.4.4.3) กระทบภาพลักษณ์ของมหาวิทยาลัย | 3 | 5 | 15 | Persona Prompt ควบคุมเวอร์ชัน; ตัวตรวจจับคำถามใช่/ไม่ใช่; หัวข้อปฏิเสธปรับได้; ข้อความเตือนใต้กล่องคำถามและท้ายคำตอบ (ก.3.6.1, ก.3.6.2) | ปุ่ม Feedback และการทบทวนคำตอบที่ได้คะแนนลบ; Rollback Prompt ได้ทันที (ก.6.2.4) | AI Engineer |
| R-07 | การอ้างอิงผิดหรืออ้างข้อความที่ไม่มีจริง (Hallucinated Citation) ทำให้ผู้ใช้ตรวจสอบย้อนกลับไม่ได้ ขัดวัตถุประสงค์ข้อ 2.1 | 3 | 5 | 15 | Citation สร้างจาก Metadata ของ Chunk ที่สืบค้นได้เท่านั้น ไม่ให้โมเดลแต่งเลขอ้างอิงเอง; ตรวจ Citation ในคำตอบกับรายการอ้างอิงก่อนแสดงผล; Chunk เต็มข้อไม่ตัดตอน (ก.4.6.2) | Popup Modal แสดงเนื้อหาเต็มให้ผู้ใช้ตรวจเอง (ก.3.6.3); สุ่มตรวจโดยผู้ทรงคุณวุฒิในช่วง UAT | AI Engineer |
| R-08 | ชุด Benchmark ฉบับเต็มได้รับล่าช้าหรือเฉลยไม่ชัดเจน ทำให้ Baseline คลาดเคลื่อนและปรับจูนไม่ทัน | 3 | 4 | 12 | ตกลงรูปแบบ CSV และกำหนดส่งตั้งแต่ Kick-off; เตรียมแม่แบบ CSV ให้ดาวน์โหลดจากระบบ | เริ่ม Baseline ด้วยชุดตัวอย่างและเพิ่มข้อเมื่อได้รับ (ระบบบันทึกเวอร์ชัน Dataset) | PM / AI Engineer |
| R-09 | ผู้ให้บริการ LLM เปลี่ยนรุ่นโมเดล ราคา หรือยุติการให้บริการ ระหว่างสัญญาหรือช่วงรับประกัน | 3 | 3 | 9 | ออกแบบ Model-agnostic ผ่าน LlmGateway (ก.4.1.2); เลือกและเปลี่ยนโมเดลในหน้า /admin/ai-config (ก.6.2.3) | รัน Benchmark ซ้ำเมื่อเปลี่ยนโมเดลและเปรียบเทียบกับรอบก่อน (ก.6.4.3) | Tech Lead |
2.2 ความเสี่ยงด้านข้อมูลส่วนบุคคลและความมั่นคงปลอดภัย
| รหัส | ความเสี่ยง | L | I | คะแนน | มาตรการป้องกัน | มาตรการรองรับ | ผู้รับผิดชอบ |
|---|---|---|---|---|---|---|---|
| R-10 | การไม่ปฏิบัติตาม PDPA เช่น เก็บข้อมูลเกินจำเป็น ไม่ลบตามกำหนด ไม่ตอบคำขอใช้สิทธิ หรือข้อความสนทนาที่มีข้อมูลส่วนบุคคลถูกส่งไปยัง LLM API | 3 | 5 | 15 | Data Minimisation (14.2); เข้ารหัสคอลัมน์อีเมล/ชื่อ; ปิดบัง PII ในสำเนาบทสนทนา (14.3); ลบประวัติอัตโนมัติ 90 วัน (ก.3.5.1); จัดทำ DPA และระบุผู้ประมวลผลช่วง | ช่องทางใช้สิทธิที่ /privacy และ /admin/privacy-requests (14.4); ขั้นตอนแจ้งเหตุละเมิดตาม DPA | PM / Senior Software Engineer |
| R-11 | ข้อมูลรั่วไหลหรือการเข้าถึงโดยไม่ได้รับอนุญาต ผ่านช่องโหว่เว็บ (OWASP Top 10) หรือบัญชีผู้ดูแลถูกยึด | 2 | 5 | 10 | Input Validation ฝั่งเซิร์ฟเวอร์ CSRF Token Brute Force Protection (ก.2.1); รหัสผ่านผู้ดูแลซับซ้อนและ IP Allowlist (ก.6.1.4); Vulnerability Scan และ Pentest (4.8) | Audit Log แก้ไข/ลบไม่ได้ (ก.6.5.3) เพื่อสืบสวน; ขั้นตอนตอบสนองเหตุการณ์และแจ้งมหาวิทยาลัย | Tech Lead / DevOps |
| R-12 | พบช่องโหว่ระดับ High/Critical ใกล้กำหนดส่งมอบ ทำให้แก้ไขและทดสอบซ้ำไม่ทัน (4.8.1, ก.2.2.2) | 3 | 4 | 12 | สแกน Dependency ใน CI ทุกครั้ง; ทำ Pentest ก่อนกำหนดส่งมอบงวดที่ 2 อย่างน้อย 30 วัน | กันเวลาแก้ไขและทดสอบซ้ำในแผนงาน; บันทึกเป็น Defect ระดับสูง | QA / DevOps |
2.3 ความเสี่ยงด้านโครงสร้างพื้นฐาน ประสิทธิภาพ และการบริหารโครงการ
| รหัส | ความเสี่ยง | L | I | คะแนน | มาตรการป้องกัน | มาตรการรองรับ | ผู้รับผิดชอบ |
|---|---|---|---|---|---|---|---|
| R-13 | Cloud ของมหาวิทยาลัย คีย์ LLM API หรือ DNS โดเมน dhammaverse.mbu.ac.th ได้รับล่าช้า (4.6.1, ก.1.5.2) กระทบ Production Beta | 3 | 4 | 12 | ระบุวันที่ต้องได้รับในแผนงาน; แจ้งเตือนล่วงหน้า 30 วัน; เตรียม Helm Chart และ Deployment Guide ให้พร้อมก่อน | พัฒนาและทดสอบบนสภาพแวดล้อมของผู้รับจ้างชั่วคราว แล้วย้ายเมื่อพร้อม | PM / DevOps |
| R-14 | ประสิทธิภาพไม่ถึงเกณฑ์ รองรับ 500 concurrent ไม่ได้ หรือ FCP เกิน 5 วินาที TTFT เกิน 15 วินาที Error เกินร้อยละ 5 (ก.1.4.1, 12.2) | 3 | 4 | 12 | Streaming คำตอบเพื่อลด TTFT; สถาปัตยกรรม Stateless ขยายแนวนอนได้ (ก.1.3.2); ทดสอบโหลดตั้งแต่งวดที่ 2 | Auto Scaling (ก.1.6.2); ปรับขนาด Index/Cache; จำกัดอัตราคำขอต่อผู้ใช้ | Tech Lead / DevOps |
| R-15 | Availability ต่ำกว่าร้อยละ 95 ต่อเดือน (12.1) จากเหตุขัดข้องของ Cloud หรือบริการ LLM ภายนอก | 2 | 4 | 8 | Monitoring และ Alert (ก.4.10); Health Check; โมเดลสำรอง | Rollback อัตโนมัติใน CI/CD (4.6.3); Backup/Restore ที่ทดสอบแล้ว (ก.1.6.3); รายงานสาเหตุในรายงาน SLA | DevOps |
| R-16 | ขอบเขตงานขยาย (Scope Creep) จากความต้องการเพิ่มเติมระหว่างพัฒนา | 3 | 3 | 9 | SRS ที่ได้รับความเห็นชอบเป็นฐานอ้างอิง; ตารางเปรียบเทียบ TOR 200 ข้อ | กระบวนการควบคุมการเปลี่ยนแปลงเป็นลายลักษณ์อักษร | PM / BA |
| R-17 | บุคลากรหลักเปลี่ยนตัวหรือไม่สามารถปฏิบัติงานได้ | 2 | 4 | 8 | เอกสารระบบและโค้ดทบทวนร่วมกัน; มีผู้สำรองความรู้ในแต่ละโมดูล | เสนอผู้ทดแทนคุณสมบัติไม่ต่ำกว่า TOR ข้อ 3.12 และขอความเห็นชอบ | PM |
| R-18 | อัตลักษณ์ Dhammaverse ยังไม่พร้อมให้อ้างอิง ทำให้ UX/UI ต้องปรับภายหลัง (4.3.3, ก.3.1.2) | 3 | 2 | 6 | ออกแบบด้วย Design Token รวมศูนย์ ปรับสี/ฟอนต์ได้จากจุดเดียว; ยึดอัตลักษณ์เว็บไซต์หลักของ มมร. ก่อน | ปรับ Token เมื่อ Dhammaverse เผยแพร่ | UX/UI Designer |
| R-19 | UAT ล่าช้าหรือ Defect ระดับ High/Critical คงค้าง กระทบการส่งมอบงวดสุดท้าย (4.7.8) | 3 | 4 | 12 | กำหนดรายชื่อผู้ทดสอบและตาราง UAT ล่วงหน้า; สาธิตระบบทุก Milestone เพื่อรับข้อเสนอแนะก่อน UAT | จัดลำดับ Defect ตามความรุนแรง แก้ตามกรอบเวลา SLA (12.3) | QA / BA |
| R-20 | ข้อพิพาทด้านลิขสิทธิ์ของแหล่งข้อมูลหรือซอฟต์แวร์ (ข้อ 15) | 2 | 4 | 8 | ใช้เฉพาะ Open Source ที่สัญญาอนุญาตเปิดกว้าง; จัดทำบัญชีสัญญาอนุญาตและบันทึกสิทธิของแหล่งข้อมูลในเอกสาร ip-statement | ถอดหรือทดแทนองค์ประกอบที่มีปัญหา ผ่าน SourceCorpusGateway/Adapter | PM / Tech Lead |
3. แผนภาพสรุประดับความเสี่ยง (Heat Map)
| ผลกระทบ \ โอกาส | 1 | 2 | 3 | 4 | 5 |
|---|---|---|---|---|---|
| 5 | R-11 | R-03, R-06, R-07, R-10 | R-01 | ||
| 4 | R-15, R-17, R-20 | R-04, R-08, R-12, R-13, R-14, R-19 | R-02, R-05 | ||
| 3 | R-09, R-16 | ||||
| 2 | R-18 | ||||
| 1 |
ความเสี่ยงระดับสูงมาก (คะแนน 15 ขึ้นไป) ได้แก่ R-01, R-02, R-03, R-05, R-06, R-07 และ R-10 ซึ่งล้วนเป็นความเสี่ยงเฉพาะด้าน AI ข้อมูล และข้อมูลส่วนบุคคล จึงเป็นวาระประจำในการประชุมติดตามทุกเดือน
4. ตัวชี้วัดเตือนล่วงหน้า (Risk Triggers)
| ความเสี่ยง | ตัวชี้วัด | ค่าที่ต้องดำเนินการ | แหล่งข้อมูล |
|---|---|---|---|
| R-01 | สัดส่วน Chunk ที่ถูกติด flag คุณภาพต่ำหรือ Job Item ล้มเหลว | เกินร้อยละ 5 ของเล่มที่นำเข้า | /admin/knowledge-base/jobs, รายงานนำเข้าข้อมูล |
| R-02, R-03 | Recall@5, Accuracy, Judge Score ของรอบล่าสุด | ต่ำกว่าเกณฑ์ขั้นต่ำหรือค่าที่รับประกัน | /admin/evaluation |
| R-04 | ยอดโทเคน 24 ชั่วโมงเทียบเพดาน | เกินร้อยละ 80 ของเพดาน | /admin/dashboard, /admin/alerts |
| R-05, R-06 | อัตราป้องกันของชุด Guardrail และชุด Injection | ต่ำกว่าร้อยละ 80 | /admin/evaluation/security-report |
| R-10 | คำขอใช้สิทธิที่ค้างดำเนินการ | ค้างเกิน 15 วัน | /admin/privacy-requests |
| R-12 | จำนวนช่องโหว่ High/Critical | มากกว่า 0 | รายงาน Vulnerability Scan |
| R-14, R-15 | p95 Latency, TTFT, Error Rate, Availability | เกินเกณฑ์ข้อ 12.1–12.2 | /admin/sla-report |
| R-19 | จำนวน Defect High/Critical คงค้าง | มากกว่า 0 ก่อนตรวจรับ | /admin/defect-log |
5. สิ่งที่ระบบสาธิตแสดงเพื่อรองรับมาตรการข้างต้น
มาตรการหลายรายการในทะเบียนความเสี่ยงมีกลไกรองรับในระบบสาธิตแล้ว ได้แก่ Guardrail ที่ปรับหัวข้อได้ เพดานโทเคนและ Unavailable Mode ระบบประเมินผล 7 ชุดพร้อมการเปรียบเทียบรอบ Audit Log แบบ Append-only การเข้ารหัสคอลัมน์ข้อมูลส่วนบุคคล และ Defect Log ที่คำนวณกำหนดเวลาตาม SLA อย่างไรก็ตาม ระบบสาธิตใช้ข้อมูลตัวอย่าง ไม่ใช่ไฟล์ 91 เล่มฉบับเต็ม ดังนั้นความเสี่ยง R-01, R-02 และ R-03 ยังไม่ได้ถูกพิสูจน์กับข้อมูลจริง และต้องประเมินอีกครั้งเมื่อได้รับไฟล์จากมหาวิทยาลัย