လွယ်လွယ်ပြောရရင် Parameter ဆိုတာ AI Model ထဲမှာ သင်ယူထားတဲ့ ဂဏန်းတွေပါ။ Model တစ်ခုက စာတစ်ကြောင်းကို ဖတ်ပြီး နောက်စာလုံးကို ခန့်မှန်းတဲ့အခါ အဲဒီဂဏန်းတွေကိုပဲ သုံးပြီး တွက်ချက်တာပါ။ “7B Model” “70B Model” “175B Model” ဆိုပြီး ကြားဖူးကြမှာပါ။ အဲဒီ B ဆိုတာ Billion၊ Parameter အရေအတွက်ကို ပြောတာပါ။ 7B ဆိုရင် Parameter သန်း ၇၀၀၀ ပါတယ်လို့ ဆိုလိုတာပါ။
ကျွန်တော် ဒါကို ပထမဆုံး နားလည်သွားတာက အသံချဲ့စက် (Mixer) နဲ့ ယှဉ်ကြည့်မှပါ။ Mixer မှာ ခလုတ်အသေးလေးတွေ အများကြီးရှိတယ်။ ခလုတ်တစ်ခုချင်းစီကို နည်းနည်းလှည့်လိုက်ရင် အသံထွက်က ပြောင်းသွားတယ်။ AI Model လည်း ဒီလိုပါပဲ။ Parameter တစ်ခုချင်းစီက ခလုတ်တစ်လုံးနဲ့ တူတယ်။ Training လုပ်တဲ့အခါ Model က စာတွေ၊ ပုံတွေ အများကြီးဖတ်ပြီး ခလုတ်တွေကို နည်းနည်းချင်း လှည့်ပေးသွားတယ်။ နောက်ဆုံး ခလုတ်တွေ နေရာမှန်ရောက်သွားတဲ့အခါ Model က အဖြေမှန်ကို ခန့်မှန်းနိုင်သွားတာပါ။ ဒါကြောင့် Parameter များလေ၊ Model က ပိုရှုပ်တဲ့ ပုံစံတွေကို မှတ်နိုင်လေလို့ ယေဘုယျ ပြောလို့ရတယ်။
ဒါပေမယ့် Parameter က Data သိမ်းထားတဲ့ နေရာ မဟုတ်ဘူးဆိုတာ သတိထားစေချင်တယ်။ Model က Wikipedia စာမျက်နှာတွေကို copy ကူးပြီး သိမ်းထားတာ မဟုတ်ပါဘူး။ စာဖတ်ရင်းနဲ့ စကားလုံးတွေကြားက ဆက်စပ်မှုကို ဂဏန်းတွေအဖြစ် ပြောင်းပြီး မှတ်ထားတာပါ။ ဒါကြောင့် Model က တစ်ခါတလေ ကိုယ်ထင်တဲ့ အဖြေကို ယုံကြည်မှုအပြည့်နဲ့ မှားပြောတတ်တာပါ။ အရင်က Hallucination အကြောင်း ရေးခဲ့ဖူးသလိုပဲ၊ ဂဏန်းတွေက ပုံစံကို မှတ်ထားတာပါ၊ အချက်အလက်ကို အတိအကျ ကူးထားတာ မဟုတ်ပါဘူး။
Parameter များလေ ကောင်းလေလား?
အမြဲတမ်း မဟုတ်ပါဘူး။ Parameter များတဲ့ Model က ပိုတော်တတ်ပေမယ့် အလေးချိန်လည်း ပိုလေးပါတယ်။ ဖုန်းထဲမှာ သုံးဖို့၊ ကွန်ပျူတာ သာမန်တစ်လုံးမှာ run ဖို့ဆိုရင် Model အကြီးကြီးက မလွယ်ပါဘူး။ ဒါကြောင့် အခုနောက်ပိုင်း Small Language Model တွေ ပေါ်လာတာပါ။ အရင်က SLM အကြောင်း ရေးခဲ့ဖူးပါတယ်။ Parameter နည်းပေမယ့် သေချာသင်ထားတဲ့ Model အသေးလေးက နေ့စဉ်အလုပ်တွေမှာ Model အကြီးကြီးလောက် အသုံးဝင်တတ်ပါတယ်။
လက်တွေ့မှာ Model ရွေးတဲ့အခါ Parameter အရေအတွက်နဲ့ ကိုယ့် စက်ရဲ့ စွမ်းရည်ကို ချိန်ကြည့်ရပါတယ်။ ယေဘုယျ တွက်နည်းလေးတစ်ခုရှိတယ်။ Parameter တစ်လုံးကို ၂ Byte လောက်ယူတယ်လို့ တွက်ရင် 7B Model က Memory ၁၄ GB လောက် လိုပါတယ်။ ဒါကြောင့် 8B Model တွေက Laptop အတော်များများမှာ နိုင်နိုင်နင်းနင်း run လို့ရပြီး 70B Model ကျတော့ Server အကြီးကြီး လိုသွားတာပါ။ Quantization နည်းနဲ့ Model ကို ဖိထားရင် Memory လိုတာ နည်းသွားတယ်ဆိုတာလည်း အရင်က ရေးခဲ့ဖူးပါတယ်။
ကိုယ်တိုင် စမ်းကြည့်ဖို့
Hugging Face မှာ Model တစ်ခုကို ဖွင့်ကြည့်ပါ။ နာမည်ဘေးမှာ 7B၊ 8B၊ 70B ဆိုပြီး Parameter အရေအတွက် ရေးထားတာ တွေ့ရပါလိမ့်မယ်။
ကိုယ့် Laptop ရဲ့ RAM နဲ့ ယှဉ်ကြည့်ပါ။ 8B အောက် Model တွေက စမ်းဖို့ အလွယ်ဆုံးပါ။
Model အသေးနဲ့ အကြီး တစ်ခုစီကို တူညီတဲ့ မေးခွန်းမေးကြည့်ပါ။ ဘယ်နေရာမှာ ကွာသွားလဲ ကိုယ်တိုင် မြင်ရပါလိမ့်မယ်။
Parameter ဆိုတာ အရည်အသွေး အာမခံချက် မဟုတ်ဘူးဆိုတာ မှတ်ထားပါ။ Training Data ကောင်းကောင်း၊ သင်နည်းကောင်းကောင်းကလည်း အရေးကြီးပါတယ်။
Parameter ဆိုတာ AI ရဲ့ ဦးနှောက်ထဲက ခလုတ်တွေပါ။ ခလုတ်များလေ ပိုရှုပ်တဲ့ အလုပ်တွေ လုပ်နိုင်လေ၊ ဒါပေမယ့် ခလုတ်တွေကို ထားဖို့ နေရာနဲ့ စွမ်းအင်လည်း ပိုလိုလေပါပဲ။ ကိုယ့်အလုပ်နဲ့ ကိုက်တဲ့ Model အရွယ်ကို ရွေးတတ်သွားရင် AI သုံးရတာ ပိုသက်သာပြီး ပိုအဆင်ပြေသွားမှာပါ။ 🙂
