လွယ်လွယ်ပြောရရင် Data Lake ဆိုတာ ဒေတာတွေကို အမျိုးအစားမခွဲဘဲ၊ အစိမ်းအတိုင်း အများကြီး စုထားတဲ့ နေရာပါ။ ဘာဒေတာဖြစ်ဖြစ် — စာတွေ၊ ပုံတွေ၊ Video တွေ၊ Log တွေ — အကုန် တစ်နေရာတည်းမှာ သိမ်းထားတာပါ။ နောက်မှ လိုအပ်တဲ့အခါ လိုအပ်သလို ထုတ်ယူပြီး သုံးတာပါ။

ကျွန်တော် ဒါကို ကန်နဲ့ ဂိုဒေါင် ဥပမာပေးချင်တယ်။ Data Warehouse ဆိုတာ ဂိုဒေါင်ပါ။ ပစ္စည်းတွေ ရောက်လာတဲ့အခါ အမျိုးအစားခွဲတယ်၊ စင်ပေါ် သေသေချာချာ စီတယ်၊ Label ကပ်တယ်။ ရှာရင် လွယ်တယ်။ ဒါပေမယ့် စီစဉ်ဖို့ အချိန်နဲ့ ငွေကုန်ပါတယ်။ Data Lake ကတော့ ကန်ပါ။ ရေတွေ ဘယ်ကလာလာ ကန်ထဲကို လွှတ်ထားလိုက်တယ်။ ငါးတွေ၊ ရေထဲက အရာတွေ အားလုံး အစိမ်းအတိုင်း ရှိနေတယ်။ သိမ်းဖို့ စျေးသက်သာတယ်။ နောက်မှ လိုချင်တဲ့ ငါးကို ဖမ်းပြီး သုံးလို့ရပါတယ်။

ဘာတွေ သိမ်းထားတာလဲ?

Data Lake ထဲမှာ ဒေတာ အမျိုးအစား အားလုံး ဝင်ပါတယ်။

Log တွေ — Website တွေ၊ Server တွေ၊ App တွေက ထုတ်တဲ့ Log ဖိုင်တွေ။ တစ်ရက်ကို GB ရာချီ ထွက်ပါတယ်။
Clickstream ဒေတာ — User တွေ Website မှာ ဘယ်ဟာ နှိပ်လဲ၊ ဘယ်စာမျက်နှာ ကြည့်လဲ ဆိုတဲ့ မှတ်တမ်းတွေ။
ပုံနဲ့ Video — CCTV မှတ်တမ်းတွေ၊ User တွေ တင်တဲ့ ပုံတွေ၊ Sensor တွေက ရိုက်ထားတဲ့ ဓာတ်ပုံတွေ။
Sensor ဒေတာ — IoT စက်ပစ္စည်းတွေ၊ စက်ရုံစက်တွေ၊ မိုးလေဝသ တိုင်းတာရေးစက်တွေက ပို့တဲ့ ဒေတာတွေ။
Social Media ဒေတာ — Post တွေ၊ Comment တွေ၊ Like တွေ။

အရေးကြီးတာက ဒီဒေတာတွေကို သိမ်းတဲ့အခါ ဘာမှ ပြောင်းလဲပစ်တာ မရှိပါဘူး။ မူရင်း ပုံစံအတိုင်း ထားပါတယ်။ ဒါကို Schema-on-read လို့ ခေါ်ပါတယ်။ ဒေတာကို ဖတ်တဲ့အခါမှသာ လိုအပ်တဲ့ ပုံစံကို ပြောင်းယူတာပါ။ Data Warehouse ကတော့ ဆန့်ကျင်ဘက်ပါ — သိမ်းခင်မှာ အရင် စီစဉ်ရပါတယ်။ အဲဒါကို Schema-on-write လို့ ခေါ်ပါတယ်။

ဘာလို့ Data Lake သုံးတာလဲ?

စျေးသက်သာတယ် — Object Storage (Amazon S3 လို) ပေါ်မှာ သိမ်းထားတော့ ဒေတာ အများကြီး သိမ်းလို့ရတယ်။ Database ထဲ သိမ်းတာထက် အများကြီး သက်သာပါတယ်။
ဘာဒေတာမဆို လက်ခံတယ် — Table ပုံစံရှိတဲ့ ဒေတာလည်း ရတယ်၊ JSON၊ ပုံ၊ Video လို မစီစဉ်ရသေးတဲ့ ဒေတာလည်း ရပါတယ်။
AI သင်ဖို့ အကောင်းဆုံးပါ — AI Model တွေကို Train လုပ်ဖို့ ဒေတာ အများကြီး လိုပါတယ်။ Data Lake ထဲမှာ ရှိတဲ့ ဒေတာအစိမ်းတွေက AI အတွက် အကောင်းဆုံး စာအုပ်စင်ပါ။
နောက်မှ စဉ်းစားလို့ရတယ် — အခုအချိန်မှာ ဘာအတွက် သုံးမလဲ မသိသေးတဲ့ ဒေတာကိုတောင် အရင် သိမ်းထားလို့ရပါတယ်။ နောင်တစ်ချိန် လိုလာရင် ထုတ်သုံးရုံပါပဲ။

သတိထားရမယ့် အချက် — Data Swamp

Data Lake ရဲ့ အကြီးမားဆုံး အန္တရာယ်ကတော့ Data Swamp ဖြစ်သွားတာပါ။ ကန်ထဲကို ဒေတာ အကုန် လွှတ်ထားပြီး ဘာမှတ်တမ်းမှ မထားရင် ကန်က ဗွက်အိုင် ဖြစ်သွားပါတယ်။ ဘာဒေတာ ဘယ်မှာရှိလဲ မသိ၊ ဘယ်ဒေတာက အမှန်လဲ မသိ၊ ဘယ်သူ သုံးလို့ရလဲ မသိ ဖြစ်သွားပါတယ်။

ဒါကြောင့် Data Lake ကောင်းကောင်းလုပ်ချင်ရင် ဒါတွေ လိုပါတယ်။

Metadata Catalog — ဒေတာတစ်ခုချင်းစီ ဘာလဲ၊ ဘယ်ကလာလဲ၊ ဘယ်သူ ပိုင်လဲ ဆိုတဲ့ မှတ်တမ်း ထားရပါတယ်။
Data Governance — ဘယ်သူတွေ ဘယ်ဒေတာ ကြည့်လို့ရလဲ၊ ကိုယ်ရေးကိုယ်တာ ဒေတာကို ဘယ်လို ကာကွယ်မလဲ ဆိုတဲ့ စည်းမျဉ်းတွေ ရှိရပါတယ်။
Data Quality — ဒေတာ မှားနေတာ၊ ထပ်နေတာ၊ မပြည့်စုံတာတွေကို သန့်ရှင်းပေးဖို့ လိုပါတယ်။

Data Lakehouse ဆိုတာ ဘာလဲ?

အခုနောက်ပိုင်းမှာ Data Lake နဲ့ Data Warehouse ကို ပေါင်းထားတဲ့ Lakehouse ဆိုတဲ့ ပုံစံ ပေါ်လာပါပြီ။ Data Lake ရဲ့ စျေးသက်သာမှု၊ ဒေတာအမျိုးအစားစုံ လက်ခံမှုနဲ့ Data Warehouse ရဲ့ စီစဉ်မှု၊ မြန်ဆန်မှုကို ပေါင်းထားတာပါ။ Databricks လို Platform တွေက ဒီပုံစံကို တွန်းအားပေးနေပါတယ်။

ကျွန်တော်တို့ သုံးနေတဲ့ App တိုင်းက ဒေတာ အများကြီး ထုတ်နေပါတယ်။ ဒီဒေတာတွေကို ပစ်ပစ်ခါခါ မထားဘဲ သိမ်းထားနိုင်ရင် နောင်တစ်ချိန်မှာ အဖိုးတန်တဲ့ အရာတွေ ဖြစ်လာနိုင်ပါတယ်။ Data Lake ဆိုတာ အဲဒီ ဒေတာတွေကို စျေးသက်သာသက်သာနဲ့ စုထားဖို့ တည်ဆောက်ထားတဲ့ ကန်ကြီးပါ။ ကန်ကို သေချာ ထိန်းသိမ်းထားရင်တော့ ငါးဖမ်းလို့ ရပါလိမ့်မယ်။ ထိန်းသိမ်းမှု မရှိရင်တော့ ဗွက်အိုင်ပဲ ဖြစ်သွားမှာပါ။ 🙂

—

Avatar photo
Min SiThu
@itsmeminsithu

Software Engineer & Tech Content Creator

View all posts