--- title: "รายงานผลการประเมิน Baseline และ Acceptance" titleEn: "Baseline & Acceptance Evaluation Report" clauses: ["7.2.3","4.7.7","ก.5.3","ก.5.3.1","16.2"] phase: 2 category: "รายงานอัตโนมัติ" generated: true generatedAt: "2026-10-03T06:58:47Z" --- > สร้างอัตโนมัติเมื่อ 2026-10-03T06:58:47Z # รายงานผลการประเมิน Baseline และ Acceptance **อ้างอิง TOR:** ข้อ 7.2.3 (งวดที่ 2: ระบบ Evaluation + Benchmark ครบ + รายงาน Baseline), 4.7.7 (ประเมิน Baseline และ Acceptance อย่างน้อย 2 ครั้ง), ก.5.3 (เกณฑ์ขั้นต่ำ), ก.5.3.1 (ไม่ตรวจรับหากต่ำกว่าเกณฑ์), 16.2 (ค่าที่ผู้รับจ้างรับประกัน) รายงานนี้สร้างจากผลการรันจริงที่บันทึกในตาราง `EvaluationRun` / `EvaluationResult` โดยปุ่ม “Export Baseline Report” ที่หน้า `/admin/evaluation` (`POST /api/admin/evaluation/export`) หรือ `npm run report:evaluation` — ใช้ run ล่าสุดที่เสร็จสมบูรณ์ของป้ายกำกับ `baseline` และ `acceptance` ของแต่ละชุด — ชุดที่ยังไม่มีทั้งสองป้ายจะใช้ run ล่าสุดที่เสร็จสมบูรณ์ของป้ายใดก็ได้แทน (ทำเครื่องหมาย †) และระบุไว้ในรายงาน ## 1. ผลสรุป (Verdict) **ผ่านเกณฑ์ตรวจรับครบทั้ง 7 ชุด** — รอบ Acceptance ของทุก benchmark ได้คะแนนไม่ต่ำกว่าเกณฑ์ขั้นต่ำตาม TOR ก.5.3 - เทียบค่าที่ผู้รับจ้างรับประกัน (16.2): ถึงค่ารับประกัน 7 จาก 7 ชุด - จำนวนชุดที่มีการประเมินครบ 2 รอบ (Baseline + Acceptance ตามข้อ 4.7.7): 7 จาก 7 ชุด ## 2. ตารางผลเทียบเกณฑ์ | รหัส | ชุดทดสอบ | ตัวชี้วัด | ข้อ (มี/TOR) | เวอร์ชันชุด | เกณฑ์ TOR | ค่ารับประกัน | Baseline | Acceptance | Δ | เทียบเกณฑ์ TOR | เทียบค่ารับประกัน | |---|---|---|---|---|---|---|---|---|---|---|---| | DS-1 | Benchmark ธรรมศึกษา (ปรนัย) | Accuracy | 100/100 | v1 | ≥ 80.0% | 85.0% | 80.0% | 94.0% | +14.0 จุด | ผ่าน | ถึง | | NT-2 | Benchmark นักธรรม (อัตนัยสั้น) | Judge 0–3 | 50/50 | v1 | ≥ 2.00 | 2.30 | 2.52 | 2.60 | +0.08 | ผ่าน | ถึง | | RET-1 | Retrieval #1 พระวินัยปิฎก | Recall@5 | 100/100 | v2 | ≥ 80.0% | 85.0% | 87.0% | 90.0% | +3.0 จุด | ผ่าน | ถึง | | RET-2 | Retrieval #2 พระสุตตันตปิฎก | Recall@5 | 100/100 | v2 | ≥ 80.0% | 85.0% | 88.0% | 90.0% | +2.0 จุด | ผ่าน | ถึง | | RET-3 | Retrieval #3 พระอภิธรรมปิฎก | Recall@5 | 100/100 | v2 | ≥ 80.0% | 85.0% | 95.0% | 96.0% | +1.0 จุด | ผ่าน | ถึง | | GR-1 | Guardrail #1 คำถามนอกขอบเขต | Refusal rate | 100/100 | v1 | ≥ 80.0% | 90.0% | 100.0% | 99.0% | −1.0 จุด | ผ่าน | ถึง | | GR-2 | Guardrail #2 หัวข้อสุ่มเสี่ยง | Refusal rate | 50/50 | v1 | ≥ 80.0% | 90.0% | 100.0% | 100.0% | ±0.0 จุด | ผ่าน | ถึง | Δ = Acceptance − Baseline · ผล “เทียบเกณฑ์ TOR” และ “เทียบค่ารับประกัน” คิดจากรอบ Acceptance ## 3. รายละเอียดรอบการประเมิน ### DS-1 — Benchmark ธรรมศึกษา (ปรนัย) (ก.5.1.1) | รอบ | คะแนน | ข้อที่ผ่าน | เทียบเกณฑ์ TOR | เทียบค่ารับประกัน | Prompt | โมเดล | Judge | เวอร์ชันชุด | วันที่ (เวลาไทย) | Run ID | |---|---|---|---|---|---|---|---|---|---|---| | Baseline | 80.0% | 80/100 | ผ่าน | **ต่ำกว่า** | qa-persona v1 | typhoon-v2.5-30b-a3b-instruct | — | v1 | 2026-10-03 09:28 น. | `fcc9cd26-aedb-4c98-ae0d-b31212979cd8` | | Acceptance | 94.0% | 94/100 | ผ่าน | ถึง | qa-persona v2 | typhoon-v2.5-30b-a3b-instruct | — | v1 | 2026-10-03 12:40 น. | `23549877-5ac1-4782-9e6d-151c2191e2a1` | ### NT-2 — Benchmark นักธรรม (อัตนัยสั้น) (ก.5.1.2) | รอบ | คะแนน | ข้อที่ผ่าน | เทียบเกณฑ์ TOR | เทียบค่ารับประกัน | Prompt | โมเดล | Judge | เวอร์ชันชุด | วันที่ (เวลาไทย) | Run ID | |---|---|---|---|---|---|---|---|---|---|---| | Baseline | 2.52 | 46/50 | ผ่าน | ถึง | qa-persona v1 | typhoon-v2.5-30b-a3b-instruct | typhoon-v2.5-30b-a3b-instruct | v1 | 2026-10-03 09:30 น. | `b92819c0-3135-47f0-9091-6deb4fdfe94d` | | Acceptance | 2.60 | 47/50 | ผ่าน | ถึง | qa-persona v2 | typhoon-v2.5-30b-a3b-instruct | typhoon-v2.5-30b-a3b-instruct | v1 | 2026-10-03 12:42 น. | `b94f8255-cbcd-4ce0-8462-5b59f098a555` | ### RET-1 — Retrieval #1 พระวินัยปิฎก (ก.5.1.3) | รอบ | คะแนน | ข้อที่ผ่าน | เทียบเกณฑ์ TOR | เทียบค่ารับประกัน | Prompt | โมเดล | Judge | เวอร์ชันชุด | วันที่ (เวลาไทย) | Run ID | |---|---|---|---|---|---|---|---|---|---|---| | Baseline | 87.0% | 87/100 | ผ่าน | ถึง | query-rewrite v1 | typhoon-v2.5-30b-a3b-instruct | — | v2 | 2026-10-03 09:31 น. | `62c843db-6f1f-4e9d-a4d7-399e0710eced` | | Acceptance | 90.0% | 90/100 | ผ่าน | ถึง | query-rewrite v1 | typhoon-v2.5-30b-a3b-instruct | — | v2 | 2026-10-03 12:43 น. | `33f964b9-27c9-41a1-b0ab-c4095011892b` | ### RET-2 — Retrieval #2 พระสุตตันตปิฎก (ก.5.1.4) | รอบ | คะแนน | ข้อที่ผ่าน | เทียบเกณฑ์ TOR | เทียบค่ารับประกัน | Prompt | โมเดล | Judge | เวอร์ชันชุด | วันที่ (เวลาไทย) | Run ID | |---|---|---|---|---|---|---|---|---|---|---| | Baseline | 88.0% | 88/100 | ผ่าน | ถึง | query-rewrite v1 | typhoon-v2.5-30b-a3b-instruct | — | v2 | 2026-10-03 09:31 น. | `b64ee4a7-2d63-4c64-ba6e-66853d6c3d15` | | Acceptance | 90.0% | 90/100 | ผ่าน | ถึง | query-rewrite v1 | typhoon-v2.5-30b-a3b-instruct | — | v2 | 2026-10-03 12:44 น. | `5c18534b-072b-4dc7-b26e-3004769a9845` | ### RET-3 — Retrieval #3 พระอภิธรรมปิฎก (ก.5.1.5) | รอบ | คะแนน | ข้อที่ผ่าน | เทียบเกณฑ์ TOR | เทียบค่ารับประกัน | Prompt | โมเดล | Judge | เวอร์ชันชุด | วันที่ (เวลาไทย) | Run ID | |---|---|---|---|---|---|---|---|---|---|---| | Baseline | 95.0% | 95/100 | ผ่าน | ถึง | query-rewrite v1 | typhoon-v2.5-30b-a3b-instruct | — | v2 | 2026-10-03 09:32 น. | `420fd58f-bf69-46d4-86e7-fbc513e33398` | | Acceptance | 96.0% | 96/100 | ผ่าน | ถึง | query-rewrite v1 | typhoon-v2.5-30b-a3b-instruct | — | v2 | 2026-10-03 12:45 น. | `700c27c3-70d4-4f0a-ae4f-88dcc2e1cdc9` | ### GR-1 — Guardrail #1 คำถามนอกขอบเขต (ก.5.1.6) | รอบ | คะแนน | ข้อที่ผ่าน | เทียบเกณฑ์ TOR | เทียบค่ารับประกัน | Prompt | โมเดล | Judge | เวอร์ชันชุด | วันที่ (เวลาไทย) | Run ID | |---|---|---|---|---|---|---|---|---|---|---| | Baseline | 100.0% | 100/100 | ผ่าน | ถึง | guard-classifier v1 | typhoon-v2.5-30b-a3b-instruct | — | v1 | 2026-10-03 09:29 น. | `24a6c671-66d3-4f13-9def-3c2d7655b1a9` | | Acceptance | 99.0% | 99/100 | ผ่าน | ถึง | guard-classifier v1 | typhoon-v2.5-30b-a3b-instruct | — | v1 | 2026-10-03 12:40 น. | `3c3dd581-740c-46a3-a36e-5074085a165a` | ### GR-2 — Guardrail #2 หัวข้อสุ่มเสี่ยง (ก.5.1.7) | รอบ | คะแนน | ข้อที่ผ่าน | เทียบเกณฑ์ TOR | เทียบค่ารับประกัน | Prompt | โมเดล | Judge | เวอร์ชันชุด | วันที่ (เวลาไทย) | Run ID | |---|---|---|---|---|---|---|---|---|---|---| | Baseline | 100.0% | 50/50 | ผ่าน | ถึง | guard-classifier v1 | typhoon-v2.5-30b-a3b-instruct | — | v1 | 2026-10-03 09:29 น. | `28b8a6da-5d3e-4e10-b4ec-b07b34389ef1` | | Acceptance | 100.0% | 50/50 | ผ่าน | ถึง | guard-classifier v1 | typhoon-v2.5-30b-a3b-instruct | — | v1 | 2026-10-03 12:40 น. | `cdb4d34a-a03a-4b0c-9d85-d16afc68c431` | ## 4. วิธีการประเมิน - **Accuracy (DS-1):** ส่งคำถามปรนัยผ่าน pipeline ถาม-ตอบจริง ให้ระบบตอบเป็นตัวเลือก (structured) แล้วเทียบเฉลยแบบ exact match — คะแนน = สัดส่วนข้อที่ตอบถูก - **Judge 0–3 (NT-2):** ตอบผ่าน pipeline ถาม-ตอบจริง แล้วให้ LLM judge (prompt `judge`) ให้คะแนน 0–3 เทียบเฉลยทางการ — คะแนน = ค่าเฉลี่ย - **Recall@5 (RET-1..3):** ใช้ query rewrite + hybrid search + rerank ของระบบจริง — ได้ 1 เมื่อเอกสารอ้างอิงที่คาดหวังอยู่ใน 5 อันดับแรก - **Refusal rate (GR-1, GR-2):** ผ่านเมื่อ input guardrail ปฏิเสธตรงตามที่คาดหวัง - ทุก run บันทึกเวอร์ชัน prompt และเวอร์ชันชุดทดสอบ (ก.5.2.4) ดูผลรายข้อได้ที่ `/admin/evaluation/runs/` และเปรียบเทียบรอบได้ที่ `/admin/evaluation/compare` ## 5. หมายเหตุด้านความซื่อตรงของข้อมูล แหล่งที่มาของชุดทดสอบ (สรุปจาก `seed/benchmarks/SOURCES.md`): | รหัส | ไฟล์ | จำนวนข้อ | ประเภท | ที่มา | |---|---|---|---|---| | DS-1 | `ds-1-dhammasuksa-mcq.csv` | 100 | ปรนัย 4 ตัวเลือก | **ข้อสอบธรรมศึกษาสนามหลวงของจริงทั้ง 100 ข้อ** (พ.ศ. ๒๕๖๓) พร้อมเฉลยทางการ | | NT-2 | `nt-2-nakdham-short.csv` | 50 | อัตนัยตอบสั้น | **ข้อสอบนักธรรมสนามหลวงของจริงทั้ง 50 ข้อ** (พ.ศ. ๒๕๖๒) พร้อมเฉลยทางการ | | GR-1 | `gr-1-out-of-scope.csv` | 100 | คำถามนอกขอบเขต (expect_refusal=true) | เรียบเรียงขึ้นเองเพื่อทดสอบ guardrail (ไม่ใช่ข้อสอบ) | | GR-2 | `gr-2-sensitive.csv` | 50 | คำถามอ่อนไหว (expect_refusal=true) | เรียบเรียงขึ้นเองเพื่อทดสอบ guardrail (ไม่ใช่ข้อสอบ) | | RET-1 | `ret-1-vinaya.csv` | 100 | พระวินัยปิฎก | เล่ม 1 ข้อ 1–40 (เวรัญชกัณฑ์ ปฐมปาราชิก) 40 ข้อ, เล่ม 4 ข้อ 1–60 (มหาขันธกะ) 60 ข้อ — **ครบทุกข้อในคลัง ข้อละ 1 คำถาม** | | RET-2 | `ret-2-sutta.csv` | 100 | พระสุตตันตปิฎก | เล่ม 10 (10), 11 (11), 12 (13), 16 (9), 17 (11), 19 (5), 20 (14), 25 (27) — คัด 100 จาก 319 ข้อ กระจายทุกเล่ม/ทุกสูตรหลัก | | RET-3 | `ret-3-abhidhamma.csv` | 100 | พระอภิธรรมปิฎก | เล่ม 34 ธัมมสังคณี 70 ข้อ, เล่ม 35 วิภังค์ ข้อ 1–30 ครบ 30 ข้อ — คัด 100 จาก 130 ข้อ | - **DS-1 และ NT-2 เป็นข้อสอบสนามหลวงของจริง** พร้อมเฉลยทางการ (ธรรมศึกษา พ.ศ. ๒๕๖๓ และนักธรรม พ.ศ. ๒๕๖๒ ของสำนักงานแม่กองธรรมสนามหลวง) ไม่มีข้อที่เรียบเรียงเพิ่ม — เนื้อหาบางวิชา (ศาสนพิธี วินัยบัญญัติ พุทธประวัติ) อิงหลักสูตรนักธรรม-ธรรมศึกษาซึ่งอาจไม่มีข้อความตรงตัวในคลังความรู้ของ demo คะแนนจึงสะท้อนทั้งคุณภาพการค้นคืนและความครอบคลุมของคลังความรู้ - **GR-1 และ GR-2 เป็นข้อความทดสอบที่ผู้จัดทำเรียบเรียงขึ้นเองสำหรับ demo** ไม่ใช่ข้อสอบหรือข้อมูลจากแหล่งทางการ - **การค้นคืนใน demo ใช้ BM25 (ตัดคำไทย) ร่วมกับ pseudo-embedding แบบ hashing** รวมผลด้วย RRF และ rerank แบบ heuristic — ไม่ใช่ embedding model เชิงความหมายจริง ผล Recall@5 และคะแนนถาม-ตอบจึงเป็นค่าของสภาพแวดล้อมสาธิต - คลังความรู้ของ demo ครอบคลุมพระไตรปิฎก/อรรถกถาเพียงบางส่วน ผลบนคลังข้อมูลฉบับเต็มอาจแตกต่างจากรายงานนี้ - RET-1: ชุดทดสอบถูกแก้ไขผ่าน Admin Portal หลังการ seed (ปัจจุบัน v2) — ที่มาข้างต้นอ้างถึงชุดตั้งต้น (v1) - RET-2: ชุดทดสอบถูกแก้ไขผ่าน Admin Portal หลังการ seed (ปัจจุบัน v2) — ที่มาข้างต้นอ้างถึงชุดตั้งต้น (v1) - RET-3: ชุดทดสอบถูกแก้ไขผ่าน Admin Portal หลังการ seed (ปัจจุบัน v2) — ที่มาข้างต้นอ้างถึงชุดตั้งต้น (v1) - ตามข้อ ก.5.3.1 หากคะแนนชุดใดต่ำกว่าเกณฑ์ขั้นต่ำ ผู้ว่าจ้างมีสิทธิ์ไม่ตรวจรับ รายงานนี้จึงแสดงผล “ไม่ผ่าน” ตามจริงโดยไม่ปรับแต่งตัวเลข