မာတိကာသို့ ခုန်သွားရန်

ညွှန်ပြချက်မဲ့သင်ယူမှုစနစ်

ဝီကီပီးဒီးယား မှ

ညွှန်ပြချက်မဲ့ သင်ယူမှုစနစ် (သို့မဟုတ်) ကြီးကြပ်မှုမဲ့ သင်ယူမှုစနစ် (အင်္ဂလိပ်: Unsupervised Learning) ဆိုသည်မှာ ဒေတာအခြေပြုသင်ယူမှုစနစ် (Machine Learning) ၏ framework တစ်ခု ဖြစ်ပြီး၊ ၎င်းသည် ညွှန်ပြချက်ပါ သင်ယူမှုစနစ် (Supervised Learning)နှင့် မတူဘဲ အယ်လ်ဂိုရီသမ်များက မည်သည့်အဖြေအညွှန်းမျှ မပါဝင်သော ဒေတာ(Unlabeled Data) များထံမှသာ pattern များကို သီးသန့်လေ့လာသင်ယူရခြင်း ဖြစ်ပါသည်။[၁] ကြီးကြပ်မှု အတိုင်းအတာ နယ်ပယ်အတွင်းရှိ အခြားသော စနစ်ပုံစံများတွင် ဒေတာ ပမာဏအနည်းငယ်ကိုသာ အညွှန်းတပ်ထားရှိသည့် အားနည်းသော သို့မဟုတ် တစ်စိတ်တစ်ပိုင်း ကြီးကြပ်သင်ယူမှုစနစ် (Weak- or Semi-Supervision) နှင့် ကိုယ်တိုင်ကြီးကြပ်သင်ယူမှုစနစ် (Self-Supervision) တို့ ပါဝင်ပါသည်။ အချို့သော သုတေသီများက ကိုယ်တိုင်ကြီးကြပ်သင်ယူမှုစနစ်ကို ညွှန်ပြချက်မဲ့ သင်ယူမှုစနစ်၏ ပုံစံကွဲတစ်ခုအနေဖြင့် သတ်မှတ်ကြပါသည်။[၂]

သဘောတရားအရ ညွှန်ပြချက်မဲ့ သင်ယူမှုစနစ်ကို ဒေတာ (Data)၊ လေ့ကျင့်သင်ကြားခြင်း (Training)၊ အယ်လ်ဂိုရီသမ် (Algorithm) နှင့် ရှေ့ဆက်အသုံးချမည့် လုပ်ငန်းဆောင်တာများ (Downstream Applications) ဟူ၍ အပိုင်းကဏ္ဍများ ခွဲခြားနိုင်ပါသည်။

ယေဘုယျအားဖြင့် ဤစနစ်သုံး ဒေတာစုဆောင်းမှုကို အင်တာနက်စာမျက်နှာများမှ အချက်အလက် လိုက်လံကောက်ယူခြင်း (Web Crawling) ဖြင့် ရရှိသော အလုံးအရင်းလိုက် စာသားအချက်အလက်များကဲ့သို့ "လက်လှမ်းမီရာ ပတ်ဝန်းကျင်" မှတစ်ဆင့် ကုန်ကျစရိတ်သက်သာစွာဖြင့် ရှာဖွေစုဆောင်းလေ့ရှိပြီး (Common Crawling ကဲ့သို့သော) အနည်းငယ်မျှသာ စိစစ်ဖယ်ရှားမှုများကို ပြုလုပ်ထားရှိပါသည်။ ၎င်းသည် အချက်အလက်စုဆောင်းမှု (ဥပမာ - ImageNet1000) ကို လူကိုယ်တိုင် လိုက်လံတည်ဆောက်ရသဖြင့် ကုန်ကျစရိတ် ပိုမိုကြီးမားလေ့ရှိသော ညွှန်ပြချက်ပါ သင်ယူမှုစနစ် (Supervised Learning)နှင့် နှိုင်းယှဉ်လျှင် သိသာစွာ သာလွန်ကောင်းမွန်သည့် အချက်ဖြစ်ပါသည်။

ညွှန်ပြချက်မဲ့ သင်ယူမှုစနစ်အတွက် သီးသန့်ဒီဇိုင်းထုတ်ထားသော အယ်လ်ဂိုရီသမ်များ ရှိကြပြီး၊ ၎င်းတို့တွင် k-means ကဲ့သို့သော အုပ်စုခွဲခြင်း အယ်လ်ဂိုရီသမ်များ (Clustering Algorithms)၊ ပင်မအစိတ်အပိုင်း ခွဲခြားစိတ်ဖြာခြင်း (Principal Component Analysis - PCA) ကဲ့သို့သော အတိုင်းအတာအရွယ်အစား လျှော့ချခြင်း နည်းပညာများ (Dimensionality Reduction Techniques)၊ ဘော့ဇ်မန်း ဒေတာအခြေပြုသင်ယူမှုစနစ် (Boltzmann Machine Learning) နှင့် အော်တိုအန်ကုဒ်ဒါများ (Autoencoders) တို့ ပါဝင်ပါသည်။ အလွှာစုံ သင်ယူမှုစနစ် (Deep Learning) ခေတ်စားလာပြီးနောက်ပိုင်းတွင်မူ အကြီးစား ညွှန်ပြချက်မဲ့ သင်ယူမှုစနစ် အများစုကို သင့်တော်မည့် လေ့ကျင့်ရေးလုပ်ငန်းစဉ်တစ်ခု ဖန်တီးကာ ဂရဒီယန့် လျှောဆင်းခြင်းနည်းလမ်း (Gradient Descent) ဖြင့် ယေဘုယျသုံး အာရုံကြောပုံတူ ကွန်ရက် (Neural Network) တည်ဆောက်ပုံများကို လေ့ကျင့်သင်ကြားပေးခြင်းဖြင့် လုပ်ဆောင်လာကြပါသည်။

အချို့သော အခြေအနေများတွင် လေ့ကျင့်ပေးထားသည့် မော်ဒယ် (Model) ကို ရှိရင်းစွဲအတိုင်း တိုက်ရိုက် အသုံးပြုနိုင်သော်လည်း၊ များသောအားဖြင့် ရှေ့ဆက်အသုံးချမည့် လုပ်ငန်းဆောင်တာများ (Downstream Applications) အတွက် ပြုပြင်မွမ်းမံပြီးမှသာ အသုံးပြုကြပါသည်။ ဥပမာအားဖြင့် ဂျင်နရေတစ် ကြိုတင်လေ့ကျင့်မှုနည်းလမ်း (Generative Pretraining Method) တွင် မော်ဒယ်တစ်ခုကို အခြားသော လုပ်ငန်းဆောင်တာများ (ဥပမာ - စာသား အမျိုးအစားခွဲခြားခြင်း လုပ်ငန်းစဉ်များ) အတွက် အသေးစိတ် ချိန်ညှိမှု (Finetuning) မပြုလုပ်မီ၊ စာသားဒေတာစုဆောင်းမှုများကို ထုတ်လုပ်နိုင်စေရန် ဦးစွာ လေ့ကျင့်သင်ကြားပေးခြင်း ဖြစ်ပါသည်။[၃][၄] အခြားသော ဥပမာတစ်ခုအနေဖြင့် အော်တိုအန်ကုဒ်ဒါ (Autoencoders) များကို အရည်အသွေးကောင်းမွန်သော Feature များ ထုတ်လုပ်နိုင်စေရန် လေ့ကျင့်ပေးပြီး၊ ၎င်း Feature များကို လေတန့်ဒစ်ဖျူးရှင်မော်ဒယ် (Latent Diffusion Model) ကဲ့သို့သော အခြားပုံစံငယ်များအတွက် အစိတ်အပိုင်း (Module) တစ်ခုအဖြစ် ပြန်လည်အသုံးပြုနိုင်ပါသည်။

လုပ်ငန်းဆောင်တာများ

[ပြင်ဆင်ရန်]
လုပ်ငန်းဆောင်တာတစ်ခုအတွက် ညွှန်ပြချက်ပါစနစ် သို့မဟုတ် ညွှန်ပြချက်မဲ့စနစ်များကို အသုံးပြုရန် အလားအလာရှိမှု။ စက်ဝိုင်းနယ်နိမိတ်များကို ခွလျက်ရှိနေသော လုပ်ငန်းဆောင်တာအမည်များသည် တမင်ရည်ရွယ်ဖော်ပြထားခြင်း ဖြစ်ပါသည်။ ၎င်းသည် ညွှန်ပြချက်မဲ့နည်းလမ်းများကို အသုံးပြုသည့် စိတ်ကူးပုံဖော်မှုဆိုင်ရာ လုပ်ငန်းဆောင်တာများ (ဘယ်ဘက်) ၏ ရိုးရာခွဲခြားမှုပုံစံသည် ယနေ့ခေတ် သင်ယူမှုစနစ်များတွင် ဝေဝါးလာနေကြောင်းကို ပြသနေပါသည်။

လုပ်ငန်းဆောင်တာများကို များသောအားဖြင့် ပိုင်းခြားခွဲထုတ်ခြင်း (ခွဲခြားမှတ်မိမှုဆိုင်ရာ - Discriminative/Recognition) သို့မဟုတ် ဖန်တီးထုတ်လုပ်ခြင်း (စိတ်ကူးပုံဖော်မှုဆိုင်ရာ - Generative/Imagination) ဟူ၍ အမျိုးအစား ခွဲခြားလေ့ရှိပါသည်။ အမြဲတမ်းမဟုတ်သော်လည်း များသောအားဖြင့် ပိုင်းခြားခွဲထုတ်ခြင်းဆိုင်ရာ လုပ်ငန်းဆောင်တာများသည် ညွှန်ပြချက်ပါနည်းလမ်းများကို အသုံးပြုကြပြီး ဖန်တီးထုတ်လုပ်ခြင်းဆိုင်ရာ လုပ်ငန်းဆောင်တာများသည် ညွှန်ပြချက်မဲ့နည်းလမ်းများကို အသုံးပြုကြပါသည် (Venn diagram ကို ကြည့်ပါ)။ သို့သော်လည်း ၎င်းတို့ကြားမှ ကွဲပြားမှုသည် အလွန်တရာ ဝေဝါးလှပါသည်။

ဥပမာအားဖြင့် အရာဝတ္ထုများကို ခွဲခြားမှတ်မိခြင်းလုပ်ငန်းစဉ် (Object Recognition) သည် ညွှန်ပြချက်ပါသင်ယူမှုစနစ်ကို ပိုမိုအားသာသော်လည်း ညွှန်ပြချက်မဲ့သင်ယူမှုစနစ်သည်လည်း အရာဝတ္ထုများကို အုပ်စုများအလိုက် စုဖွဲ့ပေးနိုင်ပါသည် (Cluster)။ ထို့အပြင် နည်းပညာများ တိုးတက်ပြောင်းလဲလာသည်နှင့်အမျှ အချို့သော လုပ်ဆောင်ချက်များသည် နည်းလမ်းနှစ်ခုလုံးကို တွဲဖက်အသုံးပြုလာကြပြီး၊ အချို့လုပ်ဆောင်ချက်များမှာမူ နည်းလမ်းတစ်ခုမှ တစ်ခုသို့ ကူးပြောင်းသွားကြပါသည်။

ဥပမာအားဖြင့် ပုံရိပ်ခွဲခြားမှတ်မိခြင်းလုပ်ငန်းစဉ် (Image Recognition) သည် စတင်ခါစတွင် ညွှန်ပြချက်ပါစနစ်အပေါ်၌သာ အလွန်အမင်း အမှီပြုခဲ့သော်လည်း၊ နောက်ပိုင်းတွင် ညွှန်ပြချက်မဲ့ ကြိုတင်လေ့ကျင့်မှုစနစ် (Unsupervised Pre-training) ကို ထည့်သွင်းအသုံးပြုခြင်းဖြင့် ပေါင်းစပ်စနစ် (Hybrid) ဖြစ်လာခဲ့ပြီး၊ ထိုမှတစ်ဆင့် Dropout၊ ReLU နှင့် ပြောင်းလဲလွယ်သော သင်ယူမှုနှုန်းထားများ (Adaptive Learning Rates) ပေါ်ပေါက်လာမှုနှင့်အတူ ညွှန်ပြချက်ပါစနစ်ဘက်သို့ ပြန်လည်ဦးတည် ရွေ့လျားသွားခဲ့ပါသည်။

ပုံစံပြ ဖန်တီးထုတ်လုပ်ခြင်းဆိုင်ရာ လုပ်ငန်းဆောင်တာ (Generative Task) တစ်ခု၏ လုပ်ဆောင်ပုံမှာ အောက်ပါအတိုင်း ဖြစ်ပါသည်။ အဆင့်တစ်ခုချင်းစီတွင် ဒေတာစုဆောင်းမှု (Dataset) ထဲမှ ဒေတာအမှတ်တစ်ခု (Datapoint) ကို နမူနာအဖြစ် ရယူပြီး၊ ၎င်းဒေတာ၏ အစိတ်အပိုင်းအချို့ကို ဖယ်ရှားပစ်ကာ၊ ဖယ်ရှားခံလိုက်ရသည့် ထိုအစိတ်အပိုင်းကို မော်ဒယ်က မှန်းဆတွက်ချက်ရခြင်း ဖြစ်ပါသည်။ ဤလုပ်ငန်းစဉ်ကို အမှိုက်ဖယ်ရှားပေးသည့် အော်တိုအန်ကုဒ်ဒါများ (Denoising Autoencoders) နှင့် BERT မော်ဒယ်တို့တွင် အထူးသဖြင့် အထင်အရှား တွေ့မြင်နိုင်ပါသည်


သမိုင်းကြောင်း

[ပြင်ဆင်ရန်]
၁၉၇၄ ဒဗလျူအေ လစ်တဲလ် (WA Little) က Cognition အတွက် အိုင်းဆင်း သံလိုက်မော်ဒယ် (Ising Magnetic Model) ကို တင်ပြခဲ့သည်။
၁၉၈၀ ကူနီဟီကို ဖူကူရှီးမား (Kunihiko Fukushima) က နီယိုကော့ဂနီထရွန် (Neocognitron) ကို စတင်မိတ်ဆက်ခဲ့ပြီး၊ ၎င်းကို နောက်ပိုင်းတွင် ကွန်ဗိုလူးရှင်းနယ် နျူရယ်ကွန်ရက် (Convolutional Neural Network) ဟု ခေါ်ဆိုကြသည်။ ၎င်းကို ညွှန်ပြချက်ပါ သင်ယူမှုစနစ် (SL) တွင် အများဆုံး အသုံးပြုသော်လည်း ဤနေရာ၌ ထည့်သွင်းဖော်ပြရန် ထိုက်တန်ပါသည်။
၁၉၈၂ ဂျွန် ဟော့ဖီးလ်ဒ် (John Hopfield) က အိုင်းဆင်းမော်ဒယ်တစ်ခုဖြစ်သော ဟော့ဖီးလ်ဒ်ကွန်ရက် (Hopfield Net) ကို အချက်အလက်အခြေပြု မှတ်ဉာဏ်စနစ် (Content-addressable memory - CAMs) များနှင့် အမျိုးအစားခွဲစနစ်များအဖြစ် ဖော်ပြခဲ့သည်။
၁၉၈၃ ရှာရင်တန် (Sherrington) နှင့် ကာ့ခ်ပက်ထရစ် (Kirkpatrick) တို့၏ ၁၉၇၅ ခုနှစ် လက်ရာကို အခြေခံ၍ ဟင်တန် (Hinton) နှင့် ဆက်ဂ်နော့စကီး (Sejnowski) တို့က ဖြစ်နိုင်ခြေပြ နျူရွန်များ ပါဝင်သော အိုင်းဆင်းပုံစံကွဲ ဘော့ဇ်မန်းစက် (Boltzmann Machine) ကို ဖော်ပြခဲ့သည်။
၁၉၈၆ ပေါလ် စမိုလန်းစကီး (Paul Smolensky) က ဟာမိုနီသီအိုရီ (Harmony Theory) ကို ထုတ်ဝေခဲ့ပြီး၊ ၎င်းမှာ လက်တွေ့တွင် ဘော့ဇ်မန်းစွမ်းအင် လုပ်ဆောင်ချက်ချင်း အတူတူပင်ဖြစ်သည့် ကန့်သတ်ချက်ပါ ဘော့ဇ်မန်းစက် (RBM) တစ်ခု ဖြစ်သည်။ စမိုလန်းစကီးသည် လက်တွေ့ကျသော လေ့ကျင့်ရေးလုပ်ငန်းစဉ်ကို မပြသနိုင်ခဲ့သော်လည်း ဟင်တန်က ၂၀၀၀ ပြည့်နှစ်များ အလယ်ပိုင်းတွင် ပြသနိုင်ခဲ့သည်။
၁၉၉၅ ဟော့ချ်ရိုက်တာ (Hochreiter) နှင့် ရှမစ်ဟူးဘား (Schmidhuber) တို့က ဘာသာစကားဆိုင်ရာ လုပ်ငန်းစဉ်များအတွက် အယ်လ်အက်စ်တီအမ် နျူရွန် (LSTM Neuron) ကို စတင်မိတ်ဆက်ခဲ့သည်။
၁၉၉၅ ဒါယန် (Dayan) နှင့် ဟင်တန် (Hinton) တို့က ဟမ်းဟိုးဇ်စက် (Helmholtz Machine) ကို မိတ်ဆက်ခဲ့သည်။
၂၀၁၃ ကင်းမား (Kingma) ၊ ရီဇန်းဒေး (Rezende) နှင့် အဖွဲ့တို့ကအာရုံကြောပုံတူ ကွန်ရက် (Neural Network) များကို အစိတ်အပိုင်းများအဖြစ် အသုံးပြုထားသည့် ဘေးစီးယန်း ဂရပ်ဖစ်ကယ် ဖြစ်နိုင်ခြေကွန်ရက် (Bayesian Graphical Probability Network) ပုံစံမျိုးဖြင့် ဗေရီရေးရှင်းနယ် အော်တိုအန်ကုဒ်ဒါ (Variational Autoencoders) များကို စတင်မိတ်ဆက်ခဲ့သည်။

ကိုးကားချက်များ

[ပြင်ဆင်ရန်]
  1. ↑ Wu, Wei. "Unsupervised Learning" (PDF). Archived (PDF) from the original on 14 April 2024. Retrieved 26 April 2024.
  2. ↑ Liu, Xiao (2023-01). "Self-Supervised Learning: Generative or Contrastive". IEEE Transactions on Knowledge and Data Engineering 35 (1): 857–876. doi:10.1109/TKDE.2021.3090866. ISSN 1558-2191.
  3. ↑ Radford, Alec; Narasimhan, Karthik; Salimans, Tim; Sutskever, Ilya (11 June 2018). "Improving Language Understanding by Generative Pre-Training" (PDF). OpenAI. p. 12. Archived (PDF) from the original on 26 January 2021. Retrieved 23 January 2021.
  4. ↑ Li, Zhuohan (2020-11-21). "Train Big, Then Compress: Rethinking Model Size for Efficient Training and Inference of Transformers" (in en). Proceedings of the 37th International Conference on Machine Learning: 5958–5968. PMLR.
  5. Roman၊ Victor (2019-04-21)။ Unsupervised Machine Learning: Clustering Analysis။ 2020-08-21 တွင် မူရင်းအား မော်ကွန်းတင်ပြီး။ 2019-10-01 တွင် ပြန်စစ်ပြီး။
  6. Jordan၊ Michael I.; Bishop၊ Christopher M. (2004)။ "7. Intelligent Systems §Neural Networks"။ in Tucker၊ Allen B. (ed.)။ Computer Science Handbook (2nd ed.)။ Chapman & Hall/CRC Press။ doi:10.1201/9780203494455။ ISBN 1-58488-360-X။ 2022-11-03 တွင် မူရင်းမှ မော်ကွန်းတင်ပြီး ။ 2022-11-03 တွင် ပြန်စစ်ပြီး။
  7. Hastie, Tibshirani & Friedman 2009, pp. 485–586
  8. Garbade၊ Dr Michael J. (2018-09-12)။ Understanding K-means Clustering in Machine Learning (in en)။ 2019-05-28 တွင် မူရင်းအား မော်ကွန်းတင်ပြီး။ 2019-10-31 တွင် ပြန်စစ်ပြီး။
  9. "Tensor Decompositions for Learning Latent Variable Models" (2014). Journal of Machine Learning Research 15: 2773–2832. Bibcode: 2012arXiv1210.7559A.
  10. Buhmann၊ J.; Kuhnel၊ H. (1992)။ "Unsupervised and supervised data clustering with competitive neural networks"။ [Proceedings 1992] IJCNN International Joint Conference on Neural Networks။ 4။ IEEE။ pp. 796–801။ doi:10.1109/ijcnn.1992.227220။ ISBN 0780305590။ S2CID 62651220။
  11. "An application of Hebbian learning in the design process decision-making" (June 2016). Journal of Intelligent Manufacturing 27 (3): 487–506. doi:10.1007/s10845-014-0881-z. ISSN 0956-5515.
  12. "The ART of adaptive pattern recognition by a self-organizing neural network" (1988). Computer 21 (3): 77–88. doi:10.1109/2.33.
  13. Hinton၊ G. (2012)။ "A Practical Guide to Training Restricted Boltzmann Machines" (PDF)။ Neural Networks: Tricks of the Trade။ Lecture Notes in Computer Science။ 7700။ Springer။ pp. 599–619။ doi:10.1007/978-3-642-35289-8_32။ ISBN 978-3-642-35289-8။ 2022-09-03 တွင် မူရင်းမှ မော်ကွန်းတင်ပြီး (PDF) ။ 2022-11-03 တွင် ပြန်စစ်ပြီး။
  14. Deep Belief Nets (September 2009)။ 2022-03-08 တွင် မူရင်းအား မော်ကွန်းတင်ပြီး။ 2022-03-27 တွင် ပြန်စစ်ပြီး။
ကိုးကား အမှား - <ref> tag with name "tds-ul" defined in <references> is not used in prior text.
ကိုးကား အမှား - <ref> tag with name "JordanBishop2004" defined in <references> is not used in prior text.
ကိုးကား အမှား - <ref> tag with name "Hastie" defined in <references> is not used in prior text.
ကိုးကား အမှား - <ref> tag with name "tds-kmeans" defined in <references> is not used in prior text.
ကိုးကား အမှား - <ref> tag with name "TensorLVMs" defined in <references> is not used in prior text.
ကိုးကား အမှား - <ref> tag with name "Buhmann" defined in <references> is not used in prior text.
ကိုးကား အမှား - <ref> tag with name "Comesana" defined in <references> is not used in prior text.
ကိုးကား အမှား - <ref> tag with name "Carpenter" defined in <references> is not used in prior text.
ကိုးကား အမှား - <ref> tag with name "Hinton2010" defined in <references> is not used in prior text.
ကိုးကား အမှား - <ref> tag with name "HintonMlss2009" defined in <references> is not used in prior text.
"https://my.wikipedia.org/w/index.php?title=ညွှန်ပြချက်မဲ့သင်ယူမှုစနစ်&oldid=1042356" မှ ရယူရန်