လွယ်လွယ်ပြောရရင် AI Inference ဆိုတာ AI Model ကို သင်ပြီးသွားတဲ့အခါ တကယ်အလုပ်ခိုင်းတဲ့အဆင့်ပါ။ Training က ကျောင်းတက်တာဆိုရင် Inference က စာမေးပွဲဖြေတာပါ။ Model က စာတွေအများကြီး ဖတ်ပြီးပြီ၊ အခု သင်မေးလိုက်တဲ့ မေးခွန်းကို သူက အဖြေပြန်ပေးတဲ့အချိန်ပေါ့။ ChatGPT ကို စာရိုက်ပြီး မေးလိုက်တိုင်း နောက်ကွယ်မှာ Inference တစ်ကြိမ် ဖြစ်နေတာပါ။
ကျွန်တော် ဒါကို ပထမဆုံး ရှင်းရှင်းလင်းလင်း နားလည်သွားတာက ကိုယ့်ရဲ့ လက်တွေ့အတွေ့အကြုံကနေပါပဲ။ Model တစ်ခု Train ဖို့ GPU နဲ့ ရက်အကြာကြီး စောင့်ရတယ်ဆိုတာ ကြားဖူးတယ်။ ဒါပေမယ့် Train ပြီးသွားတဲ့ Model ကို ဖုန်းထဲမှာ သုံးတဲ့အခါ တစ်စက္ကန့်အတွင်း အဖြေထွက်လာတယ်။ ဘယ်လိုဖြစ်တာလဲလို့ စဉ်းစားမိတယ်။ အဖြေက ရိုးရိုးလေးပါ — သင်ယူတဲ့ အလုပ်နဲ့ သုံးတဲ့အလုပ်က လုံးဝ မတူဘူး။ သင်ယူတဲ့အခါ Model က အမှားတွေကို တစ်ကြိမ်ပြီးတစ်ကြိမ် ပြင်ရတယ်၊ တွက်ချက်မှုတွေ အများကြီး လုပ်ရတယ်။ သုံးတဲ့အခါကျတော့ သင်ထားပြီးသား အသိကို ရှေ့ကိုပဲ တွက်သွားရုံပဲ။ စာမေးပွဲဖြေတဲ့ ကျောင်းသားလိုပေါ့၊ စာကျက်တုန်းက ပင်ပန်းပေမယ့် ဖြေတဲ့အခါကျတော့ သိထားတာကို ချရေးရုံပဲ။
Inference မှာ တကယ်ဘာဖြစ်နေတာလဲ?
သင်မေးခွန်းတစ်ခုမေးလိုက်တဲ့အခါ Model ထဲမှာ ဒီလိုဖြစ်ပါတယ်။
အရင်ဆုံး သင့်မေးခွန်းကို Token တွေအဖြစ် ခွဲပါတယ်။ စာလုံးတွေ၊ စကားစုတွေကို Model နားလည်တဲ့ ကိန်းဂဏန်းအပိုင်းလေးတွေအဖြစ် ပြောင်းတာပါ။ Token အကြောင်း အရင်က ရေးခဲ့ဖူးပါတယ်။
ပြီးတော့ အဲဒီ Token တွေကို Model ရဲ့ Layer တွေထဲ တစ်ဆင့်ပြီးတစ်ဆင့် ဖြတ်သွားစေပါတယ်။ Layer တစ်ခုချင်းစီက အဓိပ္ပာယ်ကို နည်းနည်း ချင်းစီ ပိုနားလည်သွားစေတယ်။ ပထမ Layer က စာလုံးအဆင့်၊ နောက် Layer တွေက စာကြောင်းအဓိပ္ပာယ်၊ နောက်ဆုံး Layer က သင်မေးတာကို ဘာပြန်ဖြေရမယ်ဆိုတာ ဆုံးဖြတ်တယ်။
နောက်ဆုံးမှာ Model က နောက်ထွက်လာမယ့် Token ကို တစ်ခုချင်းစီ ခန့်မှန်းပါတယ်။ စာကြောင်းတစ်ကြောင်းလုံး တစ်ခါတည်း ထွက်လာတာ မဟုတ်ဘူး။ စာလုံးတစ်လုံး ထွက်လာပြီးမှ နောက်တစ်လုံးကို ထပ်ခန့်မှန်းတယ်။ ဒါကြောင့် AI စာရေးနေတာကို ကြည့်ရင် စာလုံးတစ်လုံးချင်း ပေါ်လာနေတာကို မြင်ရတာပါ။
ဒါကို Forward Pass လို့ ခေါ်ပါတယ်။ Training မှာက Forward Pass လုပ်ပြီးမှ Backward Pass နဲ့ အမှားပြင်ရတယ်။ Inference မှာက Forward Pass တစ်ခုတည်းနဲ့ ပြီးတယ်။ ဒါကြောင့် Inference က Training ထက် အများကြီး မြန်ပြီး စျေးလည်း သက်သာတာပါ။
Inference က ဘယ်မှာဖြစ်နေတာလဲ?
Inference ဖြစ်တဲ့နေရာ နှစ်မျိုးရှိပါတယ်။ တစ်ခုက Cloud ပေါ်မှာ၊ နောက်တစ်ခုက ကိုယ့်စက်ပေါ်မှာ။
Cloud Inference ဆိုတာ ChatGPT, Claude လို Service တွေသုံးတဲ့အခါပါ။ သင့်မေးခွန်းက Internet ကနေ သူတို့ရဲ့ Server ဆီကို သွားတယ်၊ အဲဒီမှာ GPU ကြီးတွေနဲ့ တွက်ချက်ပြီး အဖြေပြန်ပို့ပေးတယ်။ Model ကြီးတွေ၊ အသိပညာများများလိုတဲ့ အလုပ်တွေအတွက် ဒါက သင့်တော်တယ်။ အားနည်းချက်က Internet လိုတယ်၊ စောင့်ရတဲ့အချိန် (Latency) နည်းနည်းရှိတယ်၊ ပြီးတော့ သင့်မေးခွန်းက သူတို့ဆီ ရောက်သွားတယ်ဆိုတဲ့ Privacy ကိစ္စလည်း ရှိတယ်။
On-device Inference ဆိုတာ ဖုန်းထဲမှာပဲ တွက်တာပါ။ ဖုန်းရဲ့ Keyboard က နောက်လာမယ့် စာလုံးကို ခန့်မှန်းပေးတာတို့၊ ဓာတ်ပုံထဲက မျက်နှာကို ရှာပေးတာတို့၊ Voice Typing တို့က ဒီအမျိုးအစားပါ။ Model က သေးတယ်၊ မြန်တယ်၊ Internet မလိုဘူး။ ဒါကြောင့် Small Language Model (SLM) တွေအကြောင်း အရင်က ရေးခဲ့တာနဲ့ တိုက်ရိုက်ဆက်စပ်ပါတယ်။
Inference ကို ဘာလို့ အရေးကြီးတာလဲ?
ကုမ္ပဏီတွေအတွက် Inference ကုန်ကျစရိတ်က တကယ့်ပိုက်ဆံပါ။ Model ကို Train ဖို့ တစ်ကြိမ်တည်း ပိုက်ဆံအများကြီး ကုန်ပေမယ့်၊ Inference က လူသန်းပေါင်းများစွာ နေ့တိုင်းသုံးတိုင်း ထပ်ထပ်ကုန်နေတာပါ။ ဒါကြောင့် ကုမ္ပဏီတွေက Model ကို သေးအောင်၊ မြန်အောင် လုပ်ဖို့ Quantization လို နည်းတွေကို သုံးကြတာပါ။ Quantization အကြောင်းလည်း အရင်က ရေးခဲ့ဖူးပါတယ်။
ကိုယ့်အတွက် သိထားဖို့ အရေးကြီးတဲ့ အချက်က ဒီတစ်ခုပါ — AI က ဖြေတာမြန်လို့ သူက တကယ်သိနေတယ်လို့ မထင်ပါနဲ့။ Inference က ခန့်မှန်းခြင်းသက်သက်ပါ။ Model က သင်ထားတဲ့ ပုံစံတွေထဲက အဖြစ်နိုင်ဆုံးအဖြေကို ရွေးပေးနေတာပါ။ ဒါကြောင့် တခါတလေ ယုံကြည်မှုအပြည့်နဲ့ မှားတာတွေ ထွက်လာတတ်တာပါ။ Hallucination ဆိုတာလည်း ဒီ Inference အဆင့်မှာပဲ ဖြစ်တာပါ။
နောက်တစ်ခါ Chatbot ကို မေးခွန်းမေးတဲ့အခါ နောက်ကွယ်မှာ ဘာဖြစ်နေလဲဆိုတာ သိသွားပြီ။ ကျောင်းတက်ပြီးသား ကျောင်းသားတစ်ယောက်က စာမေးပွဲဖြေနေတာပါ။ မြန်တယ်၊ အသုံးဝင်တယ်၊ ဒါပေမယ့် သူ့ရဲ့ အဖြေတိုင်းကို မျက်စိမှိတ်ယုံဖို့ မလိုဘူးဆိုတာလည်း မမေ့ပါနဲ့။ 🙂
