Real-Time Inference Pipelines, JSON-RPC & Streaming API Hooks
የቀጥታ ቶከን ማመንጨት፣ የJSON-RPC መጨረሻ ነጥቦች እና የሴለሪ/ክሮን ያልተመሳሰለ የተግባር ስርጭት የስርዓት መመሪያ።


1. Overview & Technical Architecture#
SmartERP ለቀጥታ ውይይት ተከታታይ የቶከን ማስተላለፊያን እንዲሁም ለጅምላ ሰነድ ሂደት ያልተመሳሰሉ የቡድን ቧንቧዎችን ይደግፋል።
1. Streaming Server-Sent Events (SSE) Protocol#
ተጠቃሚዎች ከተንሳፋፊው የውይይት በይነገጽ (chat_composer.js) ጋር ሲገናኙ፣ የፊት ለፊት ክፍሉ ከ/ashewa_ai/stream ጋር የSSE ግንኙነት ይመሰርታል፣ ይህም ቶከኖች በሞዴሉ ሲመነጩ ወዲያውኑ እንዲታዩ ያደርጋል።
Client (OWL) ──> POST /ashewa_ai/stream ──> Odoo Controller ──> vLLM Stream
Client <── Token Chunk 1 <── Yield Chunk 1 <── SSE Stream
Client <── Token Chunk 2 <── Yield Chunk 2 <── SSE Stream
Client <── [DONE] <── Finalize <── Close
2. Python ORM Service Hooks#
አልሚዎች self.env['muk_ai.provider'] በመጠቀም ከማንኛውም የOdoo ሞዴል ዘዴ በቀጥታ የሞዴል ኢንፈረንስን መጥራት ይችላሉ፡
# Example ORM Method Invocation
provider = self.env['muk_ai.provider'].search([('code', '=', 'sovereign')], limit=1)
response = provider.generate_text(
prompt="Audit vendor bill INV/2026/0014 for duplicate line items.",
temperature=0.1,
max_tokens=2048,
)
2. Prerequisites & Infrastructure Requirements#
- የስራ ማስኬጃ አካባቢ (Runtime): Python 3.12+፣ PostgreSQL 16 ከ
pgvectorቅጥያ ጋር። - የደህንነት መዳረሻ ቡድን:
Ashewa AI / Administrator(የቴክኒክ መለያ፦muk_ai.group_ai_manager) - የሃርድዌር ዝርዝር: ቢያንስ 16 ጊባ የስርዓት RAM (ለሲፒዩ ኢንፈረንስ) ወይም NVIDIA ጂፒዩ ከ8+ ጊባ VRAM ጋር።
3. Step-by-Step Configuration & Verification#
Step 1: Navigating to Model Management#
- የSmartERP ስርዓትዎን በ
https://smarterp.et/odooይክፈቱ። - ወደ Settings → Technical → Ashewa AI → Model Registry ይሂዱ።
- ብጁ የሞዴል መገለጫውን ይምረጡ።
Step 2: Testing Endpoint Health & Response Verification#
- የRun Diagnostic Health Check አዝራሩን ጠቅ ያድርጉ።
- የቶከን ማመንጫ ፍጥነትን (ቶከን/ሰከንድ) እና የመዘግየት መለኪያዎችን ያረጋግጡ።
- በዲያግኖስቲክ ኮንሶል ውስጥ የናሙና ምላሹን ይገምግሙ።
4. Advanced Configuration Points#
- አውቶማቲክ ተግባራት:
muk_ai.ir_cron_model_health_monitorበየ15 ደቂቃው ይሰራል:: - የተከራይ ወሰኖች (Multi-Tenant): የብጁ ሞዴል ማስተካከያ አዳፕተሮች በእያንዳንዱ የተከራይ የውሂብ ጎታ በጥብቅ የተከፋፈሉ ናቸው።
5. Comprehensive Troubleshooting Matrix#
| Symptom / Error | Probable Root Cause | Resolution Action |
|---|---|---|
Connection refused: Model server unreachable | የኢንፈረንስ ዴሞን ቆሟል ወይም ወደቡ በፋየርዎል ታግዷል። | የሞዴል አገልግሎቱን እንደገና ያስጀምሩ (systemctl restart vllm) እና የፋየርዎል ደንቦችን ያረጋግጡ። |
Token limit exceeded on input prompt | የግብዓት አውድ የመስኮቱን መጠን አልፏል። | በሞዴል መገለጫ ቅንብሮች ውስጥ የአውድ ማሳጠርን ያንቁ። |
መጨረሻ የተሻሻለው: 2026-11-15