လွယ်လွယ်ပြောရရင် Generator ဆိုတာ Data တွေကို တစ်ခါတည်း အကုန်လုံး Memory ထဲ ထည့်မထားဘဲ လိုတဲ့အခါမှ တစ်ခုချင်း ထုတ်ပေးတဲ့ Function ပါ။ ပုံမှန် Function က return လုပ်လိုက်တာနဲ့ တန်ဖိုးတစ်ခု ပြန်ပေးပြီး ပြီးသွားတယ်။ Generator ကတော့ yield ဆိုတဲ့ စကားလုံးကို သုံးပြီး တန်ဖိုးကို တစ်ခုချင်း ထုတ်ပေးတယ်။ ပြီးရင် ခဏ ရပ်နေတယ်။ နောက်တစ်ခါ တောင်းမှ နောက်တစ်ခုကို ဆက်ထုတ်ပေးတယ်။
ကျွန်တော် ဒါကို စာအုပ်နဲ့ ဥပမာပေးချင်တယ်။ စာအုပ် အထူကြီးတစ်အုပ်ကို ဖတ်ချင်တယ်ဆိုပါစို့။ နည်းလမ်း နှစ်ခု ရှိပါတယ်။ ပထမနည်းက စာအုပ်တစ်အုပ်လုံးကို Photocopy ဆွဲပြီး စာရွက်အကုန်လုံးကို စားပွဲပေါ် တစ်ပြိုင်နက် တင်ထားတာ။ ဒုတိယနည်းက လိုတဲ့ စာမျက်နှာကိုပဲ တစ်ရွက်ချင်း ယူဖတ်တာ။ ပထမနည်းက နေရာအများကြီး ယူတယ် — ဒါက List ပါ။ ဒုတိယနည်းက နေရာ သက်သာတယ် — ဒါက Generator ပါ။ Data အများကြီးနဲ့ အလုပ်လုပ်တဲ့အခါ ဒီကွာခြားချက်က အရေးကြီးသွားပါတယ်။
List နဲ့ ဘာကွာလဲ?
Python မှာ ဒီလိုမျိုး ရေးကြည့်ပါ။
# List: နံပါတ် ၁ သန်းလုံး Memory ထဲ တစ်ခါတည်း ထည့်တယ်
numbers = [x * 2 for x in range(1000000)]
# Generator: လိုတဲ့အခါမှ တစ်ခုချင်း ထုတ်ပေးတယ်
numbers = (x * 2 for x in range(1000000))
စာရိုက်တာ ကွာခြားတာက [ ] နဲ့ ( ) ပဲ ရှိပါတယ်။ ဒါပေမယ့် အတွင်းမှာ ဖြစ်တာက လုံးဝ ကွာပါတယ်။ List က နံပါတ် တစ်သန်းလုံးကို Memory ထဲ တစ်ခါတည်း ထည့်ထားတယ်။ Generator ကတော့ နံပါတ်ကို ဘယ်လို ထုတ်ရမယ်ဆိုတဲ့ “နည်းလမ်း” ပဲ မှတ်ထားတယ်။ တစ်ခု တောင်းမှ တစ်ခု တွက်ထုတ်ပေးတယ်။ Memory အသုံးက ဆယ်ဂဏန်းနဲ့ချီပြီး ကွာနိုင်ပါတယ်။
yield က ဘယ်လိုအလုပ်လုပ်လဲ?
Generator Function ရေးဖို့ return အစား yield ကို သုံးပါတယ်။
def count_up(n):
i = 1
while i <= n:
yield i
i += 1
for num in count_up(3):
print(num)
ဒီ Code က 1, 2, 3 ကို တစ်လုံးချင်း Print လုပ်ပါတယ်။ ဖြစ်ပုံက ဒီလိုပါ။
for loop က count_up(3) ကို ခေါ်တယ်။
Function က yield i မှာ ရပ်ပြီး 1 ကို ထုတ်ပေးတယ်။
Print လုပ်ပြီးရင် Function က ရပ်ထားတဲ့ နေရာကနေ ဆက်ပြီး 2 ကို ထုတ်ပေးတယ်။
3 ထုတ်ပြီးတာနဲ့ Function ပြီးသွားတယ်။
Function က တစ်ခါတည်း ပြီးမသွားဘဲ yield တစ်ခါတိုင်း ခဏ ရပ်နေတယ်ဆိုတာ သတိထားပါ။ ရပ်နေတဲ့ အချိန်မှာ Function ထဲက i တန်ဖိုးလည်း မပျောက်သွားပါဘူး။ နောက်တစ်ခါ ခေါ်တဲ့အခါ ဆက်လုပ်သွားတယ်။ ဒါက Generator ရဲ့ အဓိက အချက်ပါ။
တကယ့် အလုပ်မှာ ဘယ်နေရာမှာ သုံးလဲ?
Generator ကို သုံးလို့ အကောင်းဆုံး နေရာက ဖိုင်အကြီးတွေ ဖတ်တဲ့အခါပါ။ Log File 1 GB လောက်ကို ဖတ်ချင်တယ်ဆိုပါစို့။ readlines() နဲ့ ဖတ်ရင် တစ်ဖိုင်လုံးကို Memory ထဲ တစ်ခါတည်း ထည့်မိပြီး Memory ပြည့်သွားနိုင်ပါတယ်။ Generator နဲ့ဆိုရင် တစ်ကြောင်းချင်း ဖတ်လို့ရပါတယ်။
def read_lines(filename):
with open(filename) as f:
for line in f:
yield line.strip()
for line in read_lines("server.log"):
if "ERROR" in line:
print(line)
ဖိုင် ဘယ်လောက်ကြီးကြီး Memory က နည်းနည်းပဲ သုံးပါတယ်။ ဘာလို့လဲဆိုတော့ တစ်ကြောင်းပြီးမှ နောက်တစ်ကြောင်းကို ဖတ်လို့ပါ။
နောက်ထပ် နေရာတစ်ခုက Data Pipeline ပါ။ Data အများကြီးကို တစ်ဆင့်ပြီးတစ်ဆင့် ဖြတ်သန်းခိုင်းတဲ့အခါ Generator တွေကို Chain လုပ်လို့ရပါတယ်။ ဥပမာ ဖိုင်ဖတ် → စစ်ထုတ် → ပြောင်း ဆိုပြီး တစ်ကြောင်းချင်း ဖြတ်သန်းသွားတာ။ တစ်ဆင့်ချင်းစီမှာ Data အကုန်လုံးကို စုထားစရာ မလိုပါဘူး။
သတိထားရမယ့် အချက်တွေ
Generator က ကောင်းပေမယ့် အကန့်အသတ်တွေ ရှိပါတယ်။
တစ်ခါပဲ သုံးလို့ရတယ် — Generator ကို တစ်ခါ Loop ပတ်ပြီးသွားရင် ကုန်သွားပါတယ်။ ဒုတိယအကြိမ် Loop ပတ်ရင် ဘာမှ ထွက်မလာတော့ပါဘူး။ ထပ်သုံးချင်ရင် အသစ် ပြန်ဖန်တီးရပါတယ်။
len() မရဘူး — Generator ထဲမှာ ဘယ်နှစ်ခု ရှိလဲဆိုတာ ကြိုပြီး မသိနိုင်ပါဘူး။ တစ်ခုချင်း ထုတ်နေရင်းနဲ့မှ သိတာပါ။ အရေအတွက် လိုချင်ရင် List ကို သုံးပါ။
Index မရဘူး — numbers[5] လို ဆွဲထုတ်လို့ မရပါဘူး။ တစ်ခုချင်းစီ ဖြတ်သန်းမှပဲ ရပါတယ်။
ဒါကြောင့် Data အရေအတွက် နည်းပြီး ထပ်ခါထပ်ခါ ပြန်သုံးဖို့ လိုရင် List က ပိုအဆင်ပြေပါတယ်။ Data အများကြီးကို တစ်ခါပဲ ဖြတ်သန်းပြီး Memory သက်သာချင်ရင် Generator က ပိုကောင်းပါတယ်။ ဘယ်ဟာ သုံးမလဲဆိုတာက ကိုယ့်အလုပ်ပေါ်မှာ မူတည်ပါတယ်။
စမ်းကြည့်ဖို့ လေ့ကျင့်ခန်း
Python ဖွင့်ပြီး ဒါကို စမ်းကြည့်ပါ။
squares = (x ** 2 for x in range(5))
print(next(squares)) # 0
print(next(squares)) # 1
print(list(squares)) # [4, 9, 16] — 0, 1 ကုန်သွားပြီ
next() ကို ခေါ်တိုင်း Generator က နောက်တစ်ခုကို ထုတ်ပေးနေတာကို တွေ့ရမှာပါ။ ပြီးရင် list() နဲ့ ကျန်တာကို ယူလိုက်ရင် 0 နဲ့ 1 မပါတော့ဘူးဆိုတာလည်း တွေ့ရပါလိမ့်မယ် — ဘာလို့လဲဆိုတော့ သူတို့ကို သုံးပြီးသွားပြီမို့ပါ။
Generator က Python ရဲ့ အသုံးဝင်ဆုံး အရာတွေထဲက တစ်ခုပါ။ အစပိုင်းမှာ yield က ထူးဆန်းနေနိုင်ပေမယ့် “လိုတဲ့အခါမှ တစ်ခုချင်း ထုတ်ပေးတယ်” ဆိုတဲ့ စိတ်ကူးကို နားလည်သွားရင် ကျန်တာ လွယ်သွားပါတယ်။ ဖိုင်အကြီးတွေ၊ Data အများကြီးနဲ့ အလုပ်လုပ်တဲ့အခါ Generator က သင့်ရဲ့ Memory ကို အများကြီး သက်သာစေပါလိမ့်မယ်။ 🙂
—