Accuracy Benchmarks, Hallucination Guards, and Latency SLA
የግምገማ ማዕቀፎች፣ የህግ ትክክለኛነት መለኪያዎች፣ በማስረጃ የተደገፈ ማረጋገጫ (RAG) እና የመዘግየት መለኪያዎች።


1. Overview & Technical Architecture#
ለተልዕኮ-ወሳኝ አስተማማኝነትን ለማረጋገጥ፣ ብጁ ሞዴሎች በባለቤትነት በተዘጋጀው የEthioBiz-Bench የሙከራ ስብስብ ላይ የማያቋርጥ ግምገማ ይደረግባቸዋል።
1. Benchmark Evaluation Results#
| Benchmark Category | Sovereign Model | Generic Base Model | Pass Threshold | Status |
|---|---|---|---|---|
| Tax Calculation Accuracy | 99.4% | 68.2% | 98.0% | PASSED |
| Store Voucher Workflow Logic | 98.7% | 54.1% | 95.0% | PASSED |
| Amharic Grammar & Coherence | 94.6% | 71.3% | 90.0% | PASSED |
| Hallucination Rate (Financial) | 0.4% | 14.8% | <1.0% | PASSED |
2. Hallucination Safeguards#
በፋይናንሺያል አውዶች ውስጥ በሞዴሉ የተመለሰው እያንዳንዱ የቁጥር አሃዝ ከትውልድ በኋላ ባለው አውቶማቲክ አረጋጋጭ አማካኝነት ከመሰረታዊው የPostgreSQL የሂሳብ መዝገብ ጋር ይረጋገጣል። የማይጣጣሙ አሃዞች በዜሮ ቴምፕሬቸር አውቶማቲክ ዳግም ማመንጨትን ያስጀምራሉ።
2. Prerequisites & Infrastructure Requirements#
- የስራ ማስኬጃ አካባቢ (Runtime): Python 3.12+፣ PostgreSQL 16 ከ
pgvectorቅጥያ ጋር። - የደህንነት መዳረሻ ቡድን:
Ashewa AI / Administrator(የቴክኒክ መለያ፦muk_ai.group_ai_manager) - የሃርድዌር ዝርዝር: ቢያንስ 16 ጊባ የስርዓት RAM (ለሲፒዩ ኢንፈረንስ) ወይም NVIDIA ጂፒዩ ከ8+ ጊባ VRAM ጋር።
3. Step-by-Step Configuration & Verification#
Step 1: Navigating to Model Management#
- የSmartERP ስርዓትዎን በ
https://smarterp.et/odooይክፈቱ። - ወደ Settings → Technical → Ashewa AI → Model Registry ይሂዱ።
- ብጁ የሞዴል መገለጫውን ይምረጡ።
Step 2: Testing Endpoint Health & Response Verification#
- የRun Diagnostic Health Check አዝራሩን ጠቅ ያድርጉ።
- የቶከን ማመንጫ ፍጥነትን (ቶከን/ሰከንድ) እና የመዘግየት መለኪያዎችን ያረጋግጡ።
- በዲያግኖስቲክ ኮንሶል ውስጥ የናሙና ምላሹን ይገምግሙ።
4. Advanced Configuration Points#
- አውቶማቲክ ተግባራት:
muk_ai.ir_cron_model_health_monitorበየ15 ደቂቃው ይሰራል:: - የተከራይ ወሰኖች (Multi-Tenant): የብጁ ሞዴል ማስተካከያ አዳፕተሮች በእያንዳንዱ የተከራይ የውሂብ ጎታ በጥብቅ የተከፋፈሉ ናቸው።
5. Comprehensive Troubleshooting Matrix#
| Symptom / Error | Probable Root Cause | Resolution Action |
|---|---|---|
Connection refused: Model server unreachable | የኢንፈረንስ ዴሞን ቆሟል ወይም ወደቡ በፋየርዎል ታግዷል። | የሞዴል አገልግሎቱን እንደገና ያስጀምሩ (systemctl restart vllm) እና የፋየርዎል ደንቦችን ያረጋግጡ። |
Token limit exceeded on input prompt | የግብዓት አውድ የመስኮቱን መጠን አልፏል። | በሞዴል መገለጫ ቅንብሮች ውስጥ የአውድ ማሳጠርን ያንቁ። |
መጨረሻ የተሻሻለው: 2026-11-15