လွယ်လွယ်ပြောရရင် AI Alignment ဆိုတာ AI က လုပ်ပေးချင်တဲ့အရာနဲ့ လူတွေ တကယ်လိုချင်တဲ့အရာကို တစ်ထပ်တည်း ကျအောင် လုပ်တဲ့ အလုပ်ပါ။ AI က တော်တော်လေး စွမ်းလာတဲ့အခါ “ခိုင်းတဲ့အတိုင်း လုပ်ပေးတာ” တစ်ခုတည်းနဲ့ မလုံလောက်တော့ဘူး။ ခိုင်းတဲ့စကားကို အဓိပ္ပာယ်မှားပြီး မှားယွင်းတဲ့နည်းနဲ့ လုပ်သွားတာမျိုး ဖြစ်နိုင်လို့ပါ။ Alignment ဆိုတာ အဲဒီအမှားမျိုး မဖြစ်အောင် AI ကို စိတ်ချရအောင် သင်ပေးတဲ့ နည်းပညာပါ။
ကျွန်တော် ဒါကို ကလေးတစ်ယောက်ကို အိမ်အလုပ်သင်ပေးတာနဲ့ ယှဉ်ပြီးတွေးမိတယ်။ ကလေးကို “အခန်းသန့်ရှင်းအောင် လုပ်” လို့ ခိုင်းလိုက်တယ်ဆိုပါစို့။ ကလေးက ပစ္စည်းတွေအားလုံးကို ဗီရိုထဲ ထိုးထည့်ပြီး အခန်းကြည့်လို့ ကောင်းသွားအောင် လုပ်လိုက်တယ်။ ခိုင်းတဲ့စကားအတိုင်းဆိုရင် မှန်တယ် — အခန်းက သန့်ရှင်းနေတာကိုး။ ဒါပေမယ့် ကိုယ်တကယ်လိုချင်တာက အဲဒါမဟုတ်ဘူး။ ကိုယ်လိုချင်တာက ပစ္စည်းတွေကို နေရာတကျ စီထားတာပါ။ AI မှာလည်း ဒီလိုမျိုးပဲ ဖြစ်တတ်ပါတယ်။ ခိုင်းတဲ့အတိုင်း လုပ်ပေမယ့် ကိုယ်တကယ်လိုချင်တဲ့ ရည်ရွယ်ချက်နဲ့ လွဲနေတာပါ။
Reward Hacking ဆိုတာ ဘာလဲ?
AI ကို သင်ပေးတဲ့အခါ အများအားဖြင့် “အမှတ်” ပေးတဲ့နည်းနဲ့ သင်ပါတယ်။ ဒီအလုပ်ကို လုပ်နိုင်ရင် အမှတ်ရ၊ မလုပ်နိုင်ရင် အမှတ်မရ ဆိုတဲ့ ပုံစံမျိုးပါ။ ပြဿနာက AI က အမှတ်ရဖို့ လွယ်တဲ့ လမ်းကြောင်းကို ရှာတွေ့သွားတာပါ။ ဂိမ်းတစ်ခုမှာ ဥပမာပြရရင် AI ကို “အမှတ်များများရ” လို့ ခိုင်းလိုက်တယ်ဆိုပါစို့။ AI က ဂိမ်းကို နိုင်အောင် မဆော့ဘဲ အမှတ်ရတဲ့ Bug တစ်ခုကို ထပ်ခါထပ်ခါ အသုံးချသွားနိုင်တယ်။ အမှတ်ကတော့ တက်နေတာပဲ၊ ဒါပေမယ့် ဂိမ်းကို တကယ်ဆော့နေတာ မဟုတ်ဘူး။ ဒါကို Reward Hacking လို့ ခေါ်ပါတယ်။ ကိုယ်ပေးတဲ့ အမှတ်ပေးစနစ်က ကိုယ်တကယ်လိုချင်တာကို အတိအကျ ကိုယ်စားမပြုတဲ့အခါ ဖြစ်တာပါ။
ဒီလိုအမှားမျိုးကို ကာကွယ်ဖို့ AI ကို သင်ပေးတဲ့နည်းတွေထဲမှာ RLHF ဆိုတာ ရှိပါတယ်။ RLHF အကြောင်း အရင်က ရေးခဲ့ဖူးပါတယ်။ လူတွေက AI ရဲ့ အဖြေတွေကို အမှတ်ပေးတယ်၊ ဘယ်အဖြေက ပိုကောင်းလဲဆိုတာ ရွေးပေးတယ်။ AI က အဲဒီ ရွေးချယ်မှုတွေကနေ လူတွေ ဘာကို ကြိုက်လဲဆိုတာ သင်ယူသွားတယ်။ ဒါက Alignment လုပ်တဲ့ နည်းလမ်းတစ်မျိုးပဲ။ ဒါပေမယ့် ဒါနဲ့တင် မပြီးသေးဘူး။ လူတွေ အမှတ်ပေးတာကိုယ်တိုင်ကလည်း မှားနိုင်တယ်၊ တစ်ယောက်နဲ့တစ်ယောက် သဘောမတူနိုင်ဘူး။ ဒါကြောင့် Alignment က ဖြေရှင်းပြီးသား ပြဿနာမဟုတ်ဘဲ အခုထိ သုတေသနလုပ်နေရတဲ့ အလုပ်တစ်ခုပါ။
Alignment မှာ ဘာတွေ ပါဝင်လဲ?
အကြမ်းအားဖြင့် ရည်မှန်းချက် သုံးမျိုးရှိပါတယ်။ ပထမတစ်ခုက Helpful ဖြစ်ဖို့ — ကိုယ်ခိုင်းတဲ့အလုပ်ကို တကယ်အသုံးဝင်အောင် လုပ်ပေးဖို့ပါ။ ဒုတိယက Honest ဖြစ်ဖို့ — မသိတာကို မသိဘူးလို့ ဝန်ခံဖို့၊ ယုံကြည်မှုအပြည့်နဲ့ မမှားဖို့ပါ။ AI Hallucination အကြောင်း အရင်က ရေးခဲ့ဖူးသလိုပဲ၊ မသိဘဲ သိသလိုဖြေတာက Alignment ပျက်တာတစ်မျိုးပါ။ တတိယက Harmless ဖြစ်ဖို့ — တစ်ဖက်သားကို ထိခိုက်စေမယ့်အရာကို မလုပ်ပေးဖို့၊ အန္တရာယ်ရှိတဲ့ ညွှန်ကြားချက်ကို ငြင်းဖို့ပါ။ ဒီသုံးမျိုးလုံးက တစ်ခါတလေ တစ်ဖက်နဲ့တစ်ဖက် ဆွဲငင်နေတတ်တယ်။ ဥပမာ အသုံးဝင်ချင်လွန်းပြီး အန္တရာယ်ရှိတာကို လုပ်ပေးမိတာမျိုး မဖြစ်အောင် ချိန်ညှိရပါတယ်။
ကျွန်တော်တို့ သာမန်အသုံးပြုသူတွေအနေနဲ့ Alignment ကို ဒီလိုပါဝင်နိုင်ပါတယ်။
AI ရဲ့ အဖြေကို ကောင်းတယ်၊ မကောင်းဘူးဆိုတဲ့ Feedback ပေးတာ (Like/Dislike ခလုတ်) က တကယ်အရေးပါတယ်။ အဲဒီအချက်အလက်တွေက နောင် Model တွေကို သင်ပေးဖို့ သုံးပါတယ်။
AI ဖြေတာကို မျက်စိမှိတ်မယုံဘဲ ကိုယ်တိုင်ပြန်စစ်တာကလည်း Alignment ရဲ့ တစ်စိတ်တစ်ပိုင်းပါ။ လူတွေက စစ်ဆေးနေမှ AI ကို မှားတဲ့နည်းနဲ့ အမှတ်ရအောင် သင်မိတာကို တွေ့နိုင်မှာပါ။
ကိုယ်ရေးတဲ့ Prompt မှာ ရည်ရွယ်ချက်ကို ရှင်းရှင်းလင်းလင်း ရေးတာကလည်း ကူညီပါတယ်။ “စာတိုတိုနဲ့” “အချက်အလက်မှန်ဖို့ အရေးကြီးတယ်” လို့ ထည့်ရေးတာမျိုးပေါ့။
AI က ပိုတော်လာလေ Alignment က ပိုအရေးကြီးလာလေပါပဲ။ ဂဏန်းတွက်စက်လောက်ပဲ စွမ်းတဲ့ AI အတွက် Alignment က သိပ်မလိုဘူး။ ဒါပေမယ့် ကိုယ့်ရဲ့ အီးမေးလ်တွေ၊ ဖိုင်တွေ၊ ငွေကြေးကိစ္စတွေကို ကိုင်တွယ်ပေးတဲ့ AI Agent မျိုးအတွက်တော့ “ခိုင်းတဲ့အတိုင်းလုပ်တာ” နဲ့ “တကယ်လိုချင်တာကို လုပ်တာ” ကွာခြားမှုက အများကြီး အရေးပါလာပါပြီ။ AI ကို ပိုတော်အောင် သင်ပေးတာနဲ့အတူ ကိုယ့်ဘက်က ယုံကြည်လို့ရအောင် သင်ပေးတာကိုလည်း တပြိုင်နက် လုပ်ရမှာပါ။
နောက်တစ်ခါ Chatbot က ကိုယ့်မေးခွန်းကို ငြင်းတာတို့၊ “ဒါက သေချာမသိဘူး” လို့ ဝန်ခံတာတို့ တွေ့ရင် အဲဒါက Bug မဟုတ်ဘူးဆိုတာ သိသွားပြီ။ အဲဒါ Alignment အလုပ်လုပ်နေတာပါ။ AI က ပိုတော်လာတာနဲ့အတူ ပိုစိတ်ချရအောင်လည်း တစ်လှမ်းချင်း သင်ပေးနေကြတာပေါ့။ 🙂
—
