สร้างอัตโนมัติเมื่อ 2026-10-03T06:58:47Z
รายงานผลการประเมิน Baseline และ Acceptance
อ้างอิง TOR: ข้อ 7.2.3 (งวดที่ 2: ระบบ Evaluation + Benchmark ครบ + รายงาน Baseline), 4.7.7 (ประเมิน Baseline และ Acceptance อย่างน้อย 2 ครั้ง), ก.5.3 (เกณฑ์ขั้นต่ำ), ก.5.3.1 (ไม่ตรวจรับหากต่ำกว่าเกณฑ์), 16.2 (ค่าที่ผู้รับจ้างรับประกัน)
รายงานนี้สร้างจากผลการรันจริงที่บันทึกในตาราง EvaluationRun / EvaluationResult โดยปุ่ม “Export Baseline Report” ที่หน้า /admin/evaluation (POST /api/admin/evaluation/export) หรือ npm run report:evaluation — ใช้ run ล่าสุดที่เสร็จสมบูรณ์ของป้ายกำกับ baseline และ acceptance ของแต่ละชุด — ชุดที่ยังไม่มีทั้งสองป้ายจะใช้ run ล่าสุดที่เสร็จสมบูรณ์ของป้ายใดก็ได้แทน (ทำเครื่องหมาย †) และระบุไว้ในรายงาน
1. ผลสรุป (Verdict)
ผ่านเกณฑ์ตรวจรับครบทั้ง 7 ชุด — รอบ Acceptance ของทุก benchmark ได้คะแนนไม่ต่ำกว่าเกณฑ์ขั้นต่ำตาม TOR ก.5.3
- เทียบค่าที่ผู้รับจ้างรับประกัน (16.2): ถึงค่ารับประกัน 7 จาก 7 ชุด
- จำนวนชุดที่มีการประเมินครบ 2 รอบ (Baseline + Acceptance ตามข้อ 4.7.7): 7 จาก 7 ชุด
2. ตารางผลเทียบเกณฑ์
| รหัส | ชุดทดสอบ | ตัวชี้วัด | ข้อ (มี/TOR) | เวอร์ชันชุด | เกณฑ์ TOR | ค่ารับประกัน | Baseline | Acceptance | Δ | เทียบเกณฑ์ TOR | เทียบค่ารับประกัน |
|---|---|---|---|---|---|---|---|---|---|---|---|
| DS-1 | Benchmark ธรรมศึกษา (ปรนัย) | Accuracy | 100/100 | v1 | ≥ 80.0% | 85.0% | 80.0% | 94.0% | +14.0 จุด | ผ่าน | ถึง |
| NT-2 | Benchmark นักธรรม (อัตนัยสั้น) | Judge 0–3 | 50/50 | v1 | ≥ 2.00 | 2.30 | 2.52 | 2.60 | +0.08 | ผ่าน | ถึง |
| RET-1 | Retrieval #1 พระวินัยปิฎก | Recall@5 | 100/100 | v2 | ≥ 80.0% | 85.0% | 87.0% | 90.0% | +3.0 จุด | ผ่าน | ถึง |
| RET-2 | Retrieval #2 พระสุตตันตปิฎก | Recall@5 | 100/100 | v2 | ≥ 80.0% | 85.0% | 88.0% | 90.0% | +2.0 จุด | ผ่าน | ถึง |
| RET-3 | Retrieval #3 พระอภิธรรมปิฎก | Recall@5 | 100/100 | v2 | ≥ 80.0% | 85.0% | 95.0% | 96.0% | +1.0 จุด | ผ่าน | ถึง |
| GR-1 | Guardrail #1 คำถามนอกขอบเขต | Refusal rate | 100/100 | v1 | ≥ 80.0% | 90.0% | 100.0% | 99.0% | −1.0 จุด | ผ่าน | ถึง |
| GR-2 | Guardrail #2 หัวข้อสุ่มเสี่ยง | Refusal rate | 50/50 | v1 | ≥ 80.0% | 90.0% | 100.0% | 100.0% | ±0.0 จุด | ผ่าน | ถึง |
Δ = Acceptance − Baseline · ผล “เทียบเกณฑ์ TOR” และ “เทียบค่ารับประกัน” คิดจากรอบ Acceptance
3. รายละเอียดรอบการประเมิน
DS-1 — Benchmark ธรรมศึกษา (ปรนัย) (ก.5.1.1)
| รอบ | คะแนน | ข้อที่ผ่าน | เทียบเกณฑ์ TOR | เทียบค่ารับประกัน | Prompt | โมเดล | Judge | เวอร์ชันชุด | วันที่ (เวลาไทย) | Run ID |
|---|---|---|---|---|---|---|---|---|---|---|
| Baseline | 80.0% | 80/100 | ผ่าน | ต่ำกว่า | qa-persona v1 | typhoon-v2.5-30b-a3b-instruct | — | v1 | 2026-10-03 09:28 น. | fcc9cd26-aedb-4c98-ae0d-b31212979cd8 |
| Acceptance | 94.0% | 94/100 | ผ่าน | ถึง | qa-persona v2 | typhoon-v2.5-30b-a3b-instruct | — | v1 | 2026-10-03 12:40 น. | 23549877-5ac1-4782-9e6d-151c2191e2a1 |
NT-2 — Benchmark นักธรรม (อัตนัยสั้น) (ก.5.1.2)
| รอบ | คะแนน | ข้อที่ผ่าน | เทียบเกณฑ์ TOR | เทียบค่ารับประกัน | Prompt | โมเดล | Judge | เวอร์ชันชุด | วันที่ (เวลาไทย) | Run ID |
|---|---|---|---|---|---|---|---|---|---|---|
| Baseline | 2.52 | 46/50 | ผ่าน | ถึง | qa-persona v1 | typhoon-v2.5-30b-a3b-instruct | typhoon-v2.5-30b-a3b-instruct | v1 | 2026-10-03 09:30 น. | b92819c0-3135-47f0-9091-6deb4fdfe94d |
| Acceptance | 2.60 | 47/50 | ผ่าน | ถึง | qa-persona v2 | typhoon-v2.5-30b-a3b-instruct | typhoon-v2.5-30b-a3b-instruct | v1 | 2026-10-03 12:42 น. | b94f8255-cbcd-4ce0-8462-5b59f098a555 |
RET-1 — Retrieval #1 พระวินัยปิฎก (ก.5.1.3)
| รอบ | คะแนน | ข้อที่ผ่าน | เทียบเกณฑ์ TOR | เทียบค่ารับประกัน | Prompt | โมเดล | Judge | เวอร์ชันชุด | วันที่ (เวลาไทย) | Run ID |
|---|---|---|---|---|---|---|---|---|---|---|
| Baseline | 87.0% | 87/100 | ผ่าน | ถึง | query-rewrite v1 | typhoon-v2.5-30b-a3b-instruct | — | v2 | 2026-10-03 09:31 น. | 62c843db-6f1f-4e9d-a4d7-399e0710eced |
| Acceptance | 90.0% | 90/100 | ผ่าน | ถึง | query-rewrite v1 | typhoon-v2.5-30b-a3b-instruct | — | v2 | 2026-10-03 12:43 น. | 33f964b9-27c9-41a1-b0ab-c4095011892b |
RET-2 — Retrieval #2 พระสุตตันตปิฎก (ก.5.1.4)
| รอบ | คะแนน | ข้อที่ผ่าน | เทียบเกณฑ์ TOR | เทียบค่ารับประกัน | Prompt | โมเดล | Judge | เวอร์ชันชุด | วันที่ (เวลาไทย) | Run ID |
|---|---|---|---|---|---|---|---|---|---|---|
| Baseline | 88.0% | 88/100 | ผ่าน | ถึง | query-rewrite v1 | typhoon-v2.5-30b-a3b-instruct | — | v2 | 2026-10-03 09:31 น. | b64ee4a7-2d63-4c64-ba6e-66853d6c3d15 |
| Acceptance | 90.0% | 90/100 | ผ่าน | ถึง | query-rewrite v1 | typhoon-v2.5-30b-a3b-instruct | — | v2 | 2026-10-03 12:44 น. | 5c18534b-072b-4dc7-b26e-3004769a9845 |
RET-3 — Retrieval #3 พระอภิธรรมปิฎก (ก.5.1.5)
| รอบ | คะแนน | ข้อที่ผ่าน | เทียบเกณฑ์ TOR | เทียบค่ารับประกัน | Prompt | โมเดล | Judge | เวอร์ชันชุด | วันที่ (เวลาไทย) | Run ID |
|---|---|---|---|---|---|---|---|---|---|---|
| Baseline | 95.0% | 95/100 | ผ่าน | ถึง | query-rewrite v1 | typhoon-v2.5-30b-a3b-instruct | — | v2 | 2026-10-03 09:32 น. | 420fd58f-bf69-46d4-86e7-fbc513e33398 |
| Acceptance | 96.0% | 96/100 | ผ่าน | ถึง | query-rewrite v1 | typhoon-v2.5-30b-a3b-instruct | — | v2 | 2026-10-03 12:45 น. | 700c27c3-70d4-4f0a-ae4f-88dcc2e1cdc9 |
GR-1 — Guardrail #1 คำถามนอกขอบเขต (ก.5.1.6)
| รอบ | คะแนน | ข้อที่ผ่าน | เทียบเกณฑ์ TOR | เทียบค่ารับประกัน | Prompt | โมเดล | Judge | เวอร์ชันชุด | วันที่ (เวลาไทย) | Run ID |
|---|---|---|---|---|---|---|---|---|---|---|
| Baseline | 100.0% | 100/100 | ผ่าน | ถึง | guard-classifier v1 | typhoon-v2.5-30b-a3b-instruct | — | v1 | 2026-10-03 09:29 น. | 24a6c671-66d3-4f13-9def-3c2d7655b1a9 |
| Acceptance | 99.0% | 99/100 | ผ่าน | ถึง | guard-classifier v1 | typhoon-v2.5-30b-a3b-instruct | — | v1 | 2026-10-03 12:40 น. | 3c3dd581-740c-46a3-a36e-5074085a165a |
GR-2 — Guardrail #2 หัวข้อสุ่มเสี่ยง (ก.5.1.7)
| รอบ | คะแนน | ข้อที่ผ่าน | เทียบเกณฑ์ TOR | เทียบค่ารับประกัน | Prompt | โมเดล | Judge | เวอร์ชันชุด | วันที่ (เวลาไทย) | Run ID |
|---|---|---|---|---|---|---|---|---|---|---|
| Baseline | 100.0% | 50/50 | ผ่าน | ถึง | guard-classifier v1 | typhoon-v2.5-30b-a3b-instruct | — | v1 | 2026-10-03 09:29 น. | 28b8a6da-5d3e-4e10-b4ec-b07b34389ef1 |
| Acceptance | 100.0% | 50/50 | ผ่าน | ถึง | guard-classifier v1 | typhoon-v2.5-30b-a3b-instruct | — | v1 | 2026-10-03 12:40 น. | cdb4d34a-a03a-4b0c-9d85-d16afc68c431 |
4. วิธีการประเมิน
- Accuracy (DS-1): ส่งคำถามปรนัยผ่าน pipeline ถาม-ตอบจริง ให้ระบบตอบเป็นตัวเลือก (structured) แล้วเทียบเฉลยแบบ exact match — คะแนน = สัดส่วนข้อที่ตอบถูก
- Judge 0–3 (NT-2): ตอบผ่าน pipeline ถาม-ตอบจริง แล้วให้ LLM judge (prompt
judge) ให้คะแนน 0–3 เทียบเฉลยทางการ — คะแนน = ค่าเฉลี่ย - Recall@5 (RET-1..3): ใช้ query rewrite + hybrid search + rerank ของระบบจริง — ได้ 1 เมื่อเอกสารอ้างอิงที่คาดหวังอยู่ใน 5 อันดับแรก
- Refusal rate (GR-1, GR-2): ผ่านเมื่อ input guardrail ปฏิเสธตรงตามที่คาดหวัง
- ทุก run บันทึกเวอร์ชัน prompt และเวอร์ชันชุดทดสอบ (ก.5.2.4) ดูผลรายข้อได้ที่
/admin/evaluation/runs/<Run ID>และเปรียบเทียบรอบได้ที่/admin/evaluation/compare
5. หมายเหตุด้านความซื่อตรงของข้อมูล
แหล่งที่มาของชุดทดสอบ (สรุปจาก seed/benchmarks/SOURCES.md):
| รหัส | ไฟล์ | จำนวนข้อ | ประเภท | ที่มา |
|---|---|---|---|---|
| DS-1 | ds-1-dhammasuksa-mcq.csv | 100 | ปรนัย 4 ตัวเลือก | ข้อสอบธรรมศึกษาสนามหลวงของจริงทั้ง 100 ข้อ (พ.ศ. ๒๕๖๓) พร้อมเฉลยทางการ |
| NT-2 | nt-2-nakdham-short.csv | 50 | อัตนัยตอบสั้น | ข้อสอบนักธรรมสนามหลวงของจริงทั้ง 50 ข้อ (พ.ศ. ๒๕๖๒) พร้อมเฉลยทางการ |
| GR-1 | gr-1-out-of-scope.csv | 100 | คำถามนอกขอบเขต (expect_refusal=true) | เรียบเรียงขึ้นเองเพื่อทดสอบ guardrail (ไม่ใช่ข้อสอบ) |
| GR-2 | gr-2-sensitive.csv | 50 | คำถามอ่อนไหว (expect_refusal=true) | เรียบเรียงขึ้นเองเพื่อทดสอบ guardrail (ไม่ใช่ข้อสอบ) |
| RET-1 | ret-1-vinaya.csv | 100 | พระวินัยปิฎก | เล่ม 1 ข้อ 1–40 (เวรัญชกัณฑ์ ปฐมปาราชิก) 40 ข้อ, เล่ม 4 ข้อ 1–60 (มหาขันธกะ) 60 ข้อ — ครบทุกข้อในคลัง ข้อละ 1 คำถาม |
| RET-2 | ret-2-sutta.csv | 100 | พระสุตตันตปิฎก | เล่ม 10 (10), 11 (11), 12 (13), 16 (9), 17 (11), 19 (5), 20 (14), 25 (27) — คัด 100 จาก 319 ข้อ กระจายทุกเล่ม/ทุกสูตรหลัก |
| RET-3 | ret-3-abhidhamma.csv | 100 | พระอภิธรรมปิฎก | เล่ม 34 ธัมมสังคณี 70 ข้อ, เล่ม 35 วิภังค์ ข้อ 1–30 ครบ 30 ข้อ — คัด 100 จาก 130 ข้อ |
- DS-1 และ NT-2 เป็นข้อสอบสนามหลวงของจริง พร้อมเฉลยทางการ (ธรรมศึกษา พ.ศ. ๒๕๖๓ และนักธรรม พ.ศ. ๒๕๖๒ ของสำนักงานแม่กองธรรมสนามหลวง) ไม่มีข้อที่เรียบเรียงเพิ่ม — เนื้อหาบางวิชา (ศาสนพิธี วินัยบัญญัติ พุทธประวัติ) อิงหลักสูตรนักธรรม-ธรรมศึกษาซึ่งอาจไม่มีข้อความตรงตัวในคลังความรู้ของ demo คะแนนจึงสะท้อนทั้งคุณภาพการค้นคืนและความครอบคลุมของคลังความรู้
- GR-1 และ GR-2 เป็นข้อความทดสอบที่ผู้จัดทำเรียบเรียงขึ้นเองสำหรับ demo ไม่ใช่ข้อสอบหรือข้อมูลจากแหล่งทางการ
- การค้นคืนใน demo ใช้ BM25 (ตัดคำไทย) ร่วมกับ pseudo-embedding แบบ hashing รวมผลด้วย RRF และ rerank แบบ heuristic — ไม่ใช่ embedding model เชิงความหมายจริง ผล Recall@5 และคะแนนถาม-ตอบจึงเป็นค่าของสภาพแวดล้อมสาธิต
- คลังความรู้ของ demo ครอบคลุมพระไตรปิฎก/อรรถกถาเพียงบางส่วน ผลบนคลังข้อมูลฉบับเต็มอาจแตกต่างจากรายงานนี้
- RET-1: ชุดทดสอบถูกแก้ไขผ่าน Admin Portal หลังการ seed (ปัจจุบัน v2) — ที่มาข้างต้นอ้างถึงชุดตั้งต้น (v1)
- RET-2: ชุดทดสอบถูกแก้ไขผ่าน Admin Portal หลังการ seed (ปัจจุบัน v2) — ที่มาข้างต้นอ้างถึงชุดตั้งต้น (v1)
- RET-3: ชุดทดสอบถูกแก้ไขผ่าน Admin Portal หลังการ seed (ปัจจุบัน v2) — ที่มาข้างต้นอ้างถึงชุดตั้งต้น (v1)
- ตามข้อ ก.5.3.1 หากคะแนนชุดใดต่ำกว่าเกณฑ์ขั้นต่ำ ผู้ว่าจ้างมีสิทธิ์ไม่ตรวจรับ รายงานนี้จึงแสดงผล “ไม่ผ่าน” ตามจริงโดยไม่ปรับแต่งตัวเลข