လွယ်လွယ်ပြောရရင် Reinforcement Learning (RL) ဆိုတာ AI ကို အဖြေမှန်ကို တိုက်ရိုက် မသင်ပေးဘဲ ကိုယ်တိုင် စမ်းသပ်၊ မှား၊ ပြင်၊ ပြန်စမ်းရင်းနဲ့ သင်ယူခိုင်းတဲ့ နည်းလမ်းပါ။ လုပ်တာ မှန်ရင် ဆု (Reward) ရတယ်။ မှားရင် အပြစ်ပေး (Penalty) ခံရတယ်။ အဲဒီဆုနဲ့ အပြစ်ကိုပဲ ကြည့်ပြီး AI က “ဘယ်လို လုပ်ရင် ဆုအများဆုံး ရမလဲ” ဆိုတာကို တဖြည်းဖြည်း ရှာသွားတာပါ။
ကျွန်တော် ဒါကို အလွယ်ဆုံး ရှင်းပြရရင် ခွေးလေး လေ့ကျင့်ပေးသလိုပဲ ပြောပြချင်တယ်။ ခွေးကို “ထိုင်” လို့ ပြောလိုက်တိုင်း ထိုင်ရင် မုန့်တစ်ခု ပေးတယ်။ မထိုင်ရင် မုန့်မပေးဘူး။ ရှင်းပြတာ မဟုတ်ဘူး၊ စာသင်တာ မဟုတ်ဘူး။ ခွေးက သူ့ဘာသာ “ထိုင်ရင် မုန့်ရတယ်” ဆိုတာ သင်ယူသွားပါတယ်။ RL ကလည်း အဲဒီသဘောပါပဲ။ AI ကို နည်းလမ်းကို မပြောပြဘူး။ ရလဒ်ကိုပဲ ဆုနဲ့ တိုင်းပေးတယ်။ သူ့ဘာသာ နည်းလမ်းကို ရှာခိုင်းတာပါ။
RL မှာ ပါဝင်တဲ့ အစိတ်အပိုင်း ၄ ခု
Agent — သင်ယူနေတဲ့ AI ကိုယ်တိုင်ပါ။ ဂိမ်းကစားတဲ့ AI ဆိုရင် Agent က ကစားသမားပါ။
Environment — Agent နေထိုင်ပြီး အလုပ်လုပ်ရတဲ့ ပတ်ဝန်းကျင်ပါ။ ဂိမ်းကမ္ဘာ၊ စက်ရုပ်ရဲ့ အခန်း၊ စတော့ဈေးကွက် စသဖြင့် ဖြစ်နိုင်ပါတယ်။
Action — Agent လုပ်လိုက်တဲ့ ရွေးချယ်မှုပါ။ ရှေ့တိုးမလား၊ နောက်ဆုတ်မလား၊ ခုန်မလား ဆိုတာမျိုး။
Reward — Action ရဲ့ ရလဒ်ကို ပေးတဲ့ အမှတ်ပါ။ ဂိုးသွင်းရင် +၁၀၊ ပြုတ်ကျရင် -၁၀ ဆိုတာမျိုး။
Agent က Action တစ်ခုလုပ်တယ်။ Environment က အခြေအနေ အသစ်နဲ့ Reward ကို ပြန်ပေးတယ်။ Agent က အဲဒါကို မှတ်တယ်။ ပြီးရင် နောက်တစ်ကြိမ် ထပ်လုပ်တယ်။ ဒါကို အကြိမ်ပေါင်း သန်းနဲ့ချီပြီး ထပ်ခါထပ်ခါ လုပ်ရင်း Agent ရဲ့ “Policy” ဆိုတဲ့ ဆုံးဖြတ်ချက်ချနည်း တဖြည်းဖြည်း တိုးတက်လာပါတယ်။
ဘာကြောင့် ဒီနည်းက အလုပ်ဖြစ်တာလဲ?
တချို့ အလုပ်တွေမှာ အဖြေမှန်ကို ရေးပြလို့ မရဘူးလေ။ ဥပမာ Go ဂိမ်းလိုမျိုး။ တစ်ပွဲမှာ ဖြစ်နိုင်တဲ့ အနေအထား အရေအတွက်က စကြာဝဠာထဲက အက်တမ်အရေအတွက်ထက် များပါတယ်။ ဘယ်အကွက်က အကောင်းဆုံးဆိုတာ ဆရာက တစ်ကွက်ချင်း သင်ပေးလို့ မရဘူး။ ဒါပေမယ့် “နိုင်ရင် ဆုပေး၊ ရှုံးရင် အပြစ်ပေး” လို့ပဲ သတ်မှတ်ထားပြီး AI ကို သူ့ဘာသာ သူနဲ့ ကစားခိုင်းလိုက်ရင် သူက လူသားတွေ တစ်ခါမှ မစဉ်းစားဖူးတဲ့ အကွက်သစ်တွေကို ကိုယ်တိုင် ရှာတွေ့သွားပါတယ်။ AlphaGo က လူ့ချန်ပီယံကို နိုင်သွားတာက အဲဒီသဘောပါပဲ။
နောက်တစ်ခု စိတ်ဝင်စားဖို့ကောင်းတာက Exploration နဲ့ Exploitation ရဲ့ မျှခြေပါ။ Exploration ဆိုတာ အသစ်တွေ စမ်းတာပါ။ Exploitation ဆိုတာ သိပြီးသား အကောင်းဆုံးနည်းကို သုံးတာပါ။ အသစ်ပဲ ချည်းစမ်းနေရင် ဘယ်တော့မှ မတိုးတက်ဘူး။ သိပြီးသားပဲ ချည်းသုံးနေရင် ပိုကောင်းတဲ့နည်း ရှိနေတာကို လွဲသွားနိုင်ပါတယ်။ စားသောက်ဆိုင်အသစ်ကို တစ်ခါတစ်လေ စမ်းကြည့်သလို၊ ကြိုက်ပြီးသား ဆိုင်ကိုလည်း မကြာခဏ သွားသလိုပါပဲ။ RL က ဒီနှစ်ခုကြားမှာ မျှခြေရှာရတာပါ။
RL ကို ဘယ်နေရာတွေမှာ သုံးနေလဲ?
ဂိမ်း — Chess, Go, Dota 2, StarCraft လို ဂိမ်းတွေမှာ ကမ္ဘာ့အဆင့် AI တွေကို RL နဲ့ သင်ပါတယ်။
စက်ရုပ် — စက်ရုပ်လက်ကို ပစ္စည်းကိုင်တတ်အောင်၊ လမ်းလျှောက်တတ်အောင် သင်တဲ့အခါ အပြင်မှာ တကယ် စမ်းတာထက် Simulation ထဲမှာ အကြိမ်သန်းချီ စမ်းပြီး သင်ပါတယ်။
ကားမောင်းတဲ့ AI — လမ်းပေါ်မှာ ဘယ်လို ဆုံးဖြတ်ရမလဲ ဆိုတာကို ဆုပေးစနစ်နဲ့ သင်ပါတယ်။
အကြံပေးစနစ် — ဘယ် Video ကို ပြရင် သုံးစွဲသူ ကြည့်ဖြစ်မလဲ ဆိုတာကို ဆုအဖြစ် တိုင်းပြီး သင်ပါတယ်။
သတိထားရမယ့် အချက် ၂ ခု
Reward Hacking — ဆုကို မှားပေးမိရင် AI က ဆုရဖို့ပဲ လုပ်ပြီး တကယ်လိုချင်တဲ့အလုပ်ကို မလုပ်ဘဲ နေတတ်ပါတယ်။ ဥပမာ ဂိမ်းမှာ အမှတ်ရဖို့ တစ်နေရာတည်းမှာ ရပ်ပြီး အမှတ်စုနေတဲ့ AI မျိုးပေါ့။ ဆုကို သေချာသတ်မှတ်ဖို့က RL ရဲ့ အခက်ဆုံးအပိုင်းပါ။
အချိန်နဲ့ ကုန်ကျစရိတ် — RL က စမ်းသပ်မှုသန်းချီလိုပါတယ်။ အဲဒါကြောင့် အများစုကို အပြင်မှာ တကယ် စမ်းတာထက် Simulation ထဲမှာ သင်ကြပါတယ်။ စက်ရုပ်အစစ်ကို ပျက်စီးအောင် စမ်းလို့ မရဘူးလေ။
အရင်က ရေးခဲ့ဖူးတဲ့ RLHF နဲ့ ရောထွေးသွားတတ်ပါတယ်။ RLHF မှာ ဆုကို လူတွေက ပေးတာပါ။ RL ရိုးရိုးမှာတော့ ဆုကို ပတ်ဝန်းကျင် (ဂိမ်းရမှတ်၊ စည်းမျဉ်း) က ပေးတာပါ။ နှစ်ခုလုံး “ဆုပေးပြီး သင်” တဲ့ သဘောချင်းတူပေမယ့် ဆုပေးသူ မတူပါဘူး။
ကျွန်တော်ပြောချင်တာက RL က AI သင်တဲ့နည်း အမျိုးအစားထဲမှာ အထူးခြားဆုံးတစ်ခုပါ။ အဖြေကို မသင်ပေးဘဲ သင်ယူခိုင်းတဲ့အခါ AI က လူတွေ မမျှော်လင့်ထားတဲ့ ဖြေရှင်းနည်းတွေကို ရှာတွေ့တတ်ပါတယ်။ အဲဒါကြောင့်ပဲ ဂိမ်းကမ္ဘာမှာ အကြီးမားဆုံး အောင်ပွဲတွေက RL ကနေ လာတာပါ။ နောက်တစ်ခါ AI တစ်ခု ဂိမ်းဆော့တာ မြင်ရင် “ဒီကောင်က အဖြေကို ကျက်ထားတာ မဟုတ်ဘူး၊ ဆုရဖို့ သန်းချီ စမ်းခဲ့တာ” လို့ တွေးကြည့်ပါ။ 🙂
—
