လွယ်လွယ်ပြောရရင် Benchmark ဆိုတာ AI Model တွေကို စာမေးပွဲ စစ်တဲ့နည်းပါ။ Model တစ်ခုက တော်လား မတော်လားဆိုတာ ပါးစပ်နဲ့ ပြောလို့မရဘူး၊ မေးခွန်းအစုံပါတဲ့ စာမေးပွဲကြီးတစ်ခု ပေးဖြေခိုင်းပြီး ရတဲ့အမှတ်နဲ့ တိုင်းတာတာပါ။
ကျွန်တော် ဒါကို ပထမဆုံး သတိထားမိတာက AI Model အသစ်ထွက်တိုင်း ကုမ္ပဏီတွေက “ကျွန်တော်တို့ Model က အတော်ဆုံးပဲ” လို့ ကြွားတဲ့အချိန်မှာ ဖြစ်တယ်။ တစ်ယောက်ကပြောတယ် 90% ရတယ်၊ နောက်တစ်ယောက်ကပြောတယ် 92% ရတယ်။ ဒါပေမယ့် ဘာစာမေးပွဲကို ဖြေပြီး ရတဲ့အမှတ်လဲဆိုတာ မသိရင် အဲဒီကိန်းဂဏန်းတွေက အဓိပ္ပာယ်မရှိဘူး။ အဲဒီစာမေးပွဲတွေကိုပဲ Benchmark လို့ ခေါ်တာပါ။
စာမေးပွဲက ဘယ်လိုမျိုးလဲ?
စာသင်ခန်းထဲက စာမေးပွဲလိုပဲ၊ Benchmark တစ်ခုမှာ မေးခွန်းရာပေါင်းများစွာ၊ ထောင်ပေါင်းများစွာ ပါတယ်။ Model က ဖြေတယ်၊ အဖြေမှန်နဲ့ တိုက်စစ်တယ်၊ အမှတ်ပေးတယ်။ မေးခွန်းအမျိုးအစားအလိုက် Benchmark နာမည်တွေ ကွဲသွားတယ်။
MMLU — တက္ကသိုလ်အဆင့် ဗဟုသုတမေးခွန်းတွေ။ သမိုင်း၊ သိပ္ပံ၊ ဥပဒေ၊ ဆေးပညာအထိ 57 ဘာသာလောက် ပါတယ်။ Model က ဗဟုသုတဘယ်လောက်ရှိလဲ စစ်တာ။
HumanEval — Code ရေးခိုင်းတဲ့ စာမေးပွဲ။ Function တစ်ခုကို ရေးခိုင်းပြီး Test တွေနဲ့ စစ်တယ်။ Code ရေးတဲ့ Model တွေအတွက် အဓိကစာမေးပွဲပဲ။
GSM8K — ကျောင်းသားအဆင့် သင်္ချာပုစ္ဆာတွေ။ တွက်ချက်အဆင့်ဆင့်နဲ့ ဖြေရတာ။ Model က တကယ်တွေးပြီး ဖြေတာလား၊ ခန့်မှန်းဖြေတာလားဆိုတာ ဒီမှာပေါ်တယ်။
MMMU — စာအပြင် ပုံကိုပါ ကြည့်ပြီး ဖြေရတဲ့ စာမေးပွဲ။ Multimodal Model တွေအတွက်။ ပုံကားချပ်ထဲက Graph ကို ဖတ်ပြီး မေးခွန်းဖြေတာမျိုးပေါ့။
ဥပမာ ကိုယ်က “ဘယ် Chatbot က သင်္ချာတော်လဲ” သိချင်ရင် GSM8K အမှတ်ကို ကြည့်လိုက်ရုံပဲ။ တစ်ခုက 95% ရပြီး နောက်တစ်ခုက 80% ရရင်၊ သင်္ချာအတွက်တော့ ပထမတစ်ခုက ပိုတော်တယ် ဆိုတာ ချက်ချင်းသိသာတယ်။
Benchmark ကို ဈေးဝယ်သလို သုံးနည်း
Benchmark ကို ကိုယ်တိုင်သုံးဖို့ဆိုရင် ဒီလိုကြည့်ပါ။
ကိုယ့်အလုပ်နဲ့ ကိုက်တဲ့ Benchmark ကိုပဲ ကြည့် — Code ရေးဖို့ဆိုရင် HumanEval ကို ကြည့်၊ ဗဟုသုတမေးဖို့ဆိုရင် MMLU ကို ကြည့်။ အမှတ်စုစုပေါင်းတစ်ခုတည်းနဲ့ မဆုံးဖြတ်နဲ့။
Model အသစ်နဲ့ အဟောင်း နှိုင်းယှဉ်တဲ့အခါ တူညီတဲ့ Benchmark ဖြစ်ဖို့ လိုတယ် — တစ်ယောက်က စာမေးပွဲလွယ်တာဖြေပြီး 95% ရတာနဲ့၊ နောက်တစ်ယောက်က စာမေးပွဲခက်တာဖြေပြီး 85% ရတာကို တိုက်ရိုက်နှိုင်းလို့မရဘူး။
အမှတ် 1-2% ကွာတာကို အရမ်းအလေးမထားနဲ့ — မေးခွန်းအနည်းငယ်ကွာတာနဲ့ အမှတ်က နည်းနည်းတိုးလိုက်ကျလိုက်ဖြစ်တတ်တယ်။ 5% ကျော်ကွာမှ တကယ်ကွာတယ်လို့ ယူဆနိုင်တယ်။
Benchmark ရဲ့ အားနည်းချက်
ဒါပေမယ့် Benchmark ကို အကြွင်းမဲ့ ယုံလို့မရဘူး။ ပြဿနာသုံးခုရှိတယ်။
ပထမတစ်ခုက Model က စာမေးပွဲကို ကျက်ထားနိုင်တာပဲ။ Benchmark မေးခွန်းတွေက Internet ပေါ်မှာ ပျံ့နေတတ်တယ်။ Model က သင်ယူတဲ့အချိန်မှာ အဲဒီမေးခွန်းတွေကို တွေ့ထားပြီးသားဆိုရင်၊ သူက တကယ်ဖြေတတ်တာမဟုတ်ဘဲ ကျက်ထားတာကို ပြန်ရေးနေတာဖြစ်နိုင်တယ်။ ဒါကို Data Contamination လို့ ခေါ်တယ်။ စာမေးပွဲဖြေခါနီးမှာ မေးခွန်းဟောင်းတွေ အရင်ဖတ်ထားတဲ့သူလိုပေါ့။
ဒုတိယတစ်ခုက Benchmark အမှတ်ကောင်းတိုင်း လက်တွေ့မှာ ကောင်းမယ်လို့ အာမမခံဘူး။ စာမေးပွဲမှာ 100 မှတ်ရတဲ့သူက လက်တွေ့အလုပ်မှာ သိပ်မတော်တာမျိုး ရှိတတ်သလိုပဲ။ ကိုယ်က နေ့တိုင်းသုံးဖို့ဆိုရင် ကိုယ်တိုင်စမ်းသုံးကြည့်တာက အသေချာဆုံးပဲ။
တတိယတစ်ခုက Benchmark က အမှတ်တစ်ခုတည်းကိုပဲ တိုင်းတယ်။ စာဖြေတာ မှန်တာ၊ မှားတာကိုပဲ ကြည့်တယ်။ အဖြေက ဘေးကင်းလား၊ ဘက်လိုက်မှုရှိလား၊ အဖြေရှည်တာ ဖတ်ရအဆင်ပြေလား ဆိုတာတွေကိုတော့ Benchmark တွေက သိပ်မတိုင်းဘူး။
ဒါကြောင့် ကျွန်တော်ဆို Model အသစ်ထွက်ရင် Benchmark အမှတ်ကို တစ်ချက်ကြည့်တယ်၊ ပြီးတော့ ကိုယ်တိုင်သုံးကြည့်ပြီး ကိုယ့်အလုပ်မှာ အဆင်ပြေမပြေ ဆုံးဖြတ်တယ်။ ကိန်းဂဏန်းက လမ်းညွှန်ပဲ၊ နောက်ဆုံးအဖြေမဟုတ်ဘူး။
AI Model ရွေးတဲ့အခါ နောက်တစ်ခါ Benchmark နာမည်လေးတွေ တွေ့ရင် ကြောက်စရာမလိုတော့ဘူး။ ဒါက စာမေးပွဲနာမည်ပဲဆိုတာ သိသွားပြီ။ ကိုယ့်အလုပ်နဲ့ ကိုက်တဲ့ စာမေးပွဲရလဒ်ကိုပဲ ကြည့်ပြီး၊ ကိုယ်တိုင်စမ်းသုံးကြည့်ဖို့ မမေ့ပါနဲ့။ 🙂
—
