လွယ်လွယ်ပြောရရင် transformer ဆိုတာ AI က စာကို “နားလည်သလို ဖတ်တတ်” အောင် လုပ်ပေးတဲ့ နည်းပညာပါ။ ChatGPT, Gemini, Claude — အခု နာမည်ကြီးနေတဲ့ AI တွေအားလုံးရဲ့ အခြေခံက transformer ပဲ။

ဒါကို နားလည်ဖို့ အလွယ်ဆုံး ဥပမာက မီးမောင်းပါ။

စင်ပေါ်မှာ လူ ၁၀ ယောက် ရပ်နေတယ်ဆိုပါစို့။ မီးမောင်းက တစ်ယောက်တည်းကိုပဲ ထိုးထားရင် ပရိသတ်က အဲဒီလူကိုပဲ ကြည့်မယ်။ စကားပြောနေတဲ့သူ ပြောင်းသွားရင် မီးမောင်းလည်း လိုက်ပြောင်းတယ်။ မီးမောင်းထိုးထားတဲ့ လူက “အခု အရေးကြီးဆုံးသူ” ပေါ့။

Transformer လည်း ဒီအတိုင်းပဲ — စာကြောင်းတစ်ကြောင်းကို ဖတ်တဲ့အခါ စာလုံးတိုင်းအတွက် “အခု ဘယ်စာလုံးတွေက အရေးကြီးလဲ” ဆိုတာကို မီးမောင်းထိုးသလို ဆုံးဖြတ်တယ်။ ဒါကို attention လို့ ခေါ်တယ်။

ဥပမာ ဒီစာကြောင်း ကြည့်ပါ —

“ကြောင်က ကြွက်ကို လိုက်တယ်။ သူ အရမ်း မြန်တယ်။”

“သူ” ဆိုတာ ဘယ်သူ့ကို ပြောတာလဲ? ကိုယ်တို့ လူတွေကတော့ တန်းသိတယ် — ကြောင်ကိုပေါ့။ ဒါပေမဲ့ ကွန်ပျူတာအတွက်တော့ “သူ” ဆိုတာ စာလုံးတစ်လုံးပဲ။ ကြောင်လား၊ ကြွက်လား — ဘယ်လိုသိမလဲ?

Transformer က ဒီလိုဖြေရှင်းတယ်။ “သူ” ဆိုတဲ့ စာလုံးကို ဖတ်တဲ့အခါ စာကြောင်းထဲက စာလုံးတိုင်းကို ပြန်လှည့်ကြည့်တယ် — “ကြောင်” နဲ့ ဆက်စပ်မှု ဘယ်လောက်၊ “ကြွက်” နဲ့ ဆက်စပ်မှု ဘယ်လောက် ဆိုပြီး အမှတ်ပေးတယ်။ “ကြောင်” က အမှတ်အများဆုံး ရတော့ မီးမောင်းက “ကြောင်” ဆီ ထိုးသွားတယ်။ “သူ = ကြောင်” လို့ ဆုံးဖြတ်လိုက်တာပဲ။

ဒါကို self-attention လို့ ခေါ်တယ် — စာလုံးတိုင်းက တခြားစာလုံးတိုင်းနဲ့ ဆက်စပ်မှုကို ကိုယ်တိုင်တွက်တာ။

ဘာလို့ တော်လဲသွားတာလဲ?

2017 မတိုင်ခင်က AI က စာကို တစ်လုံးချင်း အစဉ်လိုက် ဖတ်တယ် (RNN လို့ ခေါ်တယ်)။ စာအုပ်ကို စာမျက်နှာ တစ်ရွက်ချင်း လှန်ဖတ်သလိုပေါ့ — အစပိုင်းကို မေ့သွားတတ်တယ်။ စာကြောင်းရှည်လာလေ အစပိုင်းအကြောင်း မေ့လေပဲ။

Transformer က တော်လဲသွားတာ ဒီမှာပါ —

တစ်ပြိုင်နက် ဖတ်တယ် — စာလုံးတိုင်းကို တစ်ပြိုင်တည်း ကြည့်လို့ရတယ်။ စာမျက်နှာ ၁၀၀ ကို လူ ၁၀၀ နဲ့ တစ်ပြိုင်နက် ဖတ်သလိုပေါ့။ ဒါကြောင့် training မြန်တယ်။
အဝေးက ဆက်စပ်မှုကို မိတယ် — စာပိုဒ်အစမှာ ပြောထားတဲ့ နာမည်ကို အဆုံးမှာ ပြန်သုံးရင်တောင် မီးမောင်း ပြန်ထိုးပေးနိုင်တယ်။ မေ့မသွားဘူး။
အဓိပ္ပာယ်ကို လေးနက်တယ် — စာလုံးတစ်လုံးတည်းက အဓိပ္ပာယ်အမျိုးမျိုး ရှိတတ်တယ်။ ဥပမာ “ဘဏ်” ဆိုတာ ငွေဘဏ်လား၊ မြစ်ကမ်းနဖူးလား — ပတ်ဝန်းကျင်စာလုံးတွေကို ကြည့်ပြီး ဆုံးဖြတ်တယ်။

2017 မှာ Google က “Attention Is All You Need” ဆိုတဲ့ စာတမ်းတစ်စောင် ထုတ်လိုက်တယ်။ အဲဒီကစပြီး AI လောက ပြောင်းသွားတာပဲ။ အဲဒီစာတမ်းက ဖော်ပြတဲ့ နည်းပညာကပဲ transformer ပါ။

ကိုယ်နဲ့ ဘာဆိုင်လဲ?

ကိုယ် ChatGPT ကို မေးခွန်းမေးတိုင်း နောက်ကွယ်မှာ transformer အလုပ်လုပ်နေတယ်။ ကိုယ် ရိုက်ထည့်လိုက်တဲ့ စာကို token တွေအဖြစ် ခွဲတယ် (token အကြောင်း အရင်က ရေးဖူးတယ်)၊ ပြီးရင် transformer အလွှာပေါင်း များစွာ (GPT-4 လို model တွေမှာ အလွှာပေါင်း ၁၀၀ ကျော်) ကို ဖြတ်ပြီး နောက်ထပ် ဘာ token လာမလဲဆိုတာ ခန့်မှန်းတယ်။

စိတ်ဝင်စားစရာ တစ်ခုက transformer က စာအတွက်ပဲ မဟုတ်တော့ဘူး။ ပုံဆွဲတဲ့ AI (DALL-E, Midjourney), အသံထွက်တဲ့ AI, ရုပ်ရှင်လုပ်တဲ့ AI — အားလုံး transformer အခြေခံပဲ။ စာအစား ပုံကို အပိုင်းပိုင်းခွဲပြီး “ပုံအပိုင်းလေးတွေ” ကြားက ဆက်စပ်မှုကို attention နဲ့ တွက်တာ။ နည်းပညာတစ်ခုတည်းက AI လောကတစ်ခုလုံးကို လွှမ်းမိုးသွားတယ်။

ဒါကြောင့် “transformer” ဆိုတဲ့ နာမည်ကို မှတ်ထားလိုက်။ နောက် AI အကြောင်း တစ်ခုခု ကြားရင် — “အော်၊ ဒါလည်း transformer ပဲလား” လို့ မေးကြည့်လို့ရတယ်။ အဖြေက တော်တော်များများ “ဟုတ်တယ်” ပဲ ဖြစ်နေလိမ့်မယ်။ 🙂