NLP ဢၼ်ဝႃႈၼႆႉ ပဵၼ်ဢီႈသင်

ယၢမ်းလဵဝ်... တီႈၼႂ်းတူင်ႇဝိူင်းဢၢႆႇထီႇပၢႆးထႅၵ်ႉၶၼေႃႇလေႃႇꩡီႇၼႆႉ ၶေႃႈၵႂၢမ်း NLP ဢၼ်ဝႃးၼၼ်ႉ သဵင်ၶႂ်ႈလင်မေႃးမႃးႁႅင်းႁႅင်းဝႆႉယူႇယဝ်ႉ။ တီႈၸၼ်ႉၸွမ်ၶွမ်ႇပျူႇတႃႇၵေႃႈ တီႈၵၢၼ်တင်ႈႁဵၼ်းပီလိုၼ်းသုတ်းၼၼ်ႉ ဢဝ် NLP သွၼ်ၵိုၵ်းၵၼ်တင်း Artificial Intelligence ယဝ်ႉ။ တူဝ်ယဝ်း NLP တႄႉ ပဵၼ် Natural Language Processing ယဝ်ႉ။ ပေႃးလၢတ်ႈႁႂ်ႈပွင်ႇငၢႆႈသေပိူၼ်ႈတႄႉ ဢဝ် မၼ်းပဵၼ် ပၢႆးပႆႇၺႃႇ ဢၼ်ဢဝ် ၽႃႇသႃႇၶေႃႈၵႂၢမ်း ဢၼ်ၵူၼ်းလၢတ်ႈယူႇၼၼ်ႉ ၽိုၵ်းသွၼ်ပၼ် ႁႂ်းၶွမ်းပွင်ႇၸႂ် ၼၼ်ႉ ပဵၼ် NLP ယဝ်ႉ။ ပေႃးဝႃႈ တေလႆႈၼႄ NLP Product ဢၼ်ႁၼ်ၸႅင်ႈလီၼႆတႄႉ ပဵၼ် Google Translate လႄႈ Google Voice Search ႁင်း Google ၼၼ်ႉယဝ်ႉ။ လွင်ႈတၢင်းဢၼ်လုၵ်ႈႁဵၼ်းၶဝ် လႆႈသွၼ် NLP တင်း Artificial Intelligence ၼႆႉ ၸိူဝ်းပဵၼ် Theory ဢၼ်လႆႈသွၼ်တီႈ AI ၼၼ်ႉ တေလႆႈဢဝ်ၸႂ်ႉၶိုၼ်းတီႈ NLP ယဝ်ႉ။ ၸိူဝ်းပဵၼ်တၢင်းမေႃ NLP ဢၼ်တေၸၢင်ႈဢဝ်ၸႂ်ႉလႆႈ တီႈမၼ်းတႄႉ -

• Text Mining - သွၵ်ႈႁႃ Pattern ဢၼ်မီးတီႈၼႂ်း Text ၼၼ်ႉယဝ်ႉ။ ပိူင်ယၢင်ႇမၼ်း မိူၼ်ၼင်ႇ comment ဢၼ်တႅမ်ႈဝႆႉတီႈ Youtube video ဢၼ်ၼိုင်ႈၼၼ်ႉ ဝႃႈ ၵူၼ်းတင်းၼမ် ႁၼ်ထိုင် ငဝ်းတူင်ႉဢၼ်ၼႆႉဝႃႈႁိုဝ်၊ ၵူၼ်းလႆႈၸႂ်ၼမ်ယူႇႁႃႉ ၸၵႂႃႇၸိူဝ်းၼၼ်ႉ ဢမ်ႇတၢပ်ႈလူဝ်ႇ ၵႂႃႇလူတူၺ်းၵမ်းထႅဝ်ထႅဝ်သေ လုၵ်ႉတီး ၶွမ်းသေၵေႃႈ ႁဵတ်းလႆႈ Automatic Text Analysis လႆႈဢေႃႈ။ ( Text Mining Application တႄႉ မီးဝႆႉတင်းၼမ်ယဝ်ႉ။ ၵူဝ်မၼ်းယၢဝ်းၵႂႃႇႁႅင်းလႄႈ ဢမ်ႇသိုပ်ႇတႅမ်ႈယဝ်ႉ။)
• Information Retrieval - Google Search ၼႆႉ ပဵၼ် AI Application ဢၼ်ၶႅမ်ႉလိူဝ်ပိူၼ်ႈယဝ်ႉ။ ၼႂ်းၵႃႈ​ၶေႃႈမုၼ်း ဢၼ်သိမ်းဝႆႉ တီႈၼႂ်း document တင်းၼမ်ၼၼ်ႉ မၼ်းသွၵ်ႈႁႃပၼ် ၽွၼ်းဢၼ်မၢၼ်ႈမႅၼ်ႈလီ တွၼ်ႈတႃႇၽူႈၸႂ်ႉတိုဝ်းၶဝ်ၼၼ်ႉယဝ်ႉ။
• Information Extraction - Information Extraction ဢၼ်ဝႃႈၼၼ်ႉတႄႉ ၼႂ်းၽိုၼ်လိၵ်ႈၼိုင်ႈၽိုၼ်ၼႆႉ ၸၼ်ဢွၵ်ႇၶေႃႈမုၼ်း ဢၼ်ၸဝ်ႈၵဝ်ႇ ၶႂ်ႈလႆႈၼၼ်ႉၵူၺ်း။ ပိူင်ယၢင်ႇမၼ်း မိူၼ်ၼင်ႇ ၶၢဝ်ႇယၢဝ်း ဢၼ်ၵဵဝ်ႇလူၺ်ႈ လွင်ႈဢိင်ႇသၼ်ႇၼၼ်ႉ ၵူၺ်းၸၼ်ဢွၵ်ႇ ဢွင်ႈတီႈဢိင်ႇသၼ်ႇ လႄႈ ရိတ်ႉၶျ်တႃႇၸၵေး မၼ်းၵူၺ်း။
• Machine Translation - ပိူင်ယၢင်မၼ်းတႄႉ မိူၼ်ၼင်ႇ Google Translate ၼၼ်ႉယဝ်ႉ။ ဢဝ်ၽႃႇသႃႇၵႂၢမ်း ဢၼ်ၸဝ်ႈၵဝ်ႇ ႁဵတ်း input ၼၼ်ႉသေ လႅၵ်ႈလၢႆႈပၼ်ၸူး ၽႃႇသႃႇဢၼ်ၸဝ်ႈၵဝ်ႇ ၶႂ်ႈလႆႈၼၼ်ႉယဝ်ႉ။
• Speech Recognition - မိူၼ်ၼင်ႇ Google Voice Search ၼၼ်ႉယဝ်ႉ။ ပဵၼ်တၢင်းမေႃႇ ဢၼ်ႁဵတ်းႁႂ်ႈ ၸၢၵ်ႈ ပွင်ႇၸႂ် ၶေႃႈၵႂၢမ်းဢၼ်ၵူၼ်းလၢတ်ႈၼၼ်ႉယဝ်ႉ။
• Text To Speech - ၸၢၵ်ႈလူဢၢၼ်ႇလိၵ်ႈ ဢၼ်ၵူၼ်းပေႃႉသႂ်ႇ ၼၼ်ႉ ႁႂ်ႈမၼ်းဢွၵ်ႇၼႄပၼ်သဵင်ယဝ်ႉ။
• Speech To Text - ပဵၼ်ဢၼ်ၵူၼ်းဢဝ်သူပ်းလၢတ်ႈသေ ၸၢၵ်ႈၵေႃႉပေႃႉလိၵ်ႈပၼ်ၵႂႃႇၸွမ်းၼၼ်ႉယဝ်ႉ။
• Text Summarization - တီႈလိၵ်ႈဢၼ်မီးတၢင်းၼမ်ၼၼ်ႉ မၼ်းတေဢဝ်ပႅတ်ႈ မဵဝ်းမိူၼ်ၵၼ်သေ တေႁုပ်ႈပၼ် ႁႂ်ႈမၼ်းပွတ်းၵႂႃႇ။
• Question and Answering Systems - ပေႃး user ၶႂ်ႈႁူႉ ၶေႃႈမုၼ်းသေဢၼ်ဢၼ်လႄႈသင်၊ ၶႂ်ႈတွင်ႈထၢမ်သေဢၼ်ဢၼ်လႄႈသင် မၼ်းတေတွပ်ႇပၼ် Auto Reply ယဝ်ႉ။

တွၼ်ႈတႃႇတေပဵၼ်မႃး Application ယႂ်ႇလူင်ၸိူင်ႉၼႆၼႆႉ ၸၼ်ႉၵၢၼ် NLP ဢၼ်လႆႈႁဵတ်းမၼ်း မီးဝႆႉတင်းၼမ်ယဝ်ႉ။ တၢင်းယၢပ်ႇၽိုတ်ႇၵေႃႈမီး၊ လွင်ႈၶဵင်ႇတၵေႃႈမီးတင်းၼမ်ယဝ်ႉ။

တွၼ်ႈတႃႇၵၢၼ်ငၢၼ်း NLP ပေႃးတေပၼ်ၽွၼ်းလႆႈ ဢၼ်မၢၼ်ႇမႅၼ်ႈမၼ်းၼၼ်ႉ လူဝ်ႇလႆႈႁဵတ်းၵၢၼ်ၸွမ်း ၾွၼ်ႉ ဢၼ်ၸွမ်းလၵ်းၸဵင် Unicode ၼၼ်ႉယဝ်ႉ။

ၶႃႈႁဝ်းတေသပ်းလႅင်း ၸၼ်ႉၵၢၼ် NLP ဢၼ်ပဵၼ်ပိုၼ်ႉထၢၼ်မၼ်းၼၼ်ႉ။ ပေႃးတွၼ်ႈတႃႇ ၽႃႇသႃႇဢိင်းၵလဵတ်ႈတႄႉၵေႃႈ ၸိူဝ်းပဵၼ် NLP Basic Step ဢၼ်ၼႄဝႆႉၼင်ႇ ၽၢႆႇတႂ်ႈၼႆႉ ၸၢင်ႈဢဝ်လႆႈ open source tool ယဝ်ႉ။

(1)Word Segmentation

ပဵၼ်ၸၼ်ႉၵၢၼ် ဢၼ်တႅပ်းဢွၵ်ႇ ၶေႃႈၵႂၢမ်း ဢၼ်မီးတီႈ တူၼ်ႈထႅဝ်လိၵ်ႈၼိုင်ႈထႅဝ်ၼၼ်ႉယဝ်ႉ။ တွၼ်ႈတႃႇ ၽႃႇသႃႇၵႂၢမ်းမိူင်းဝၼ်းတူၵ်းၶဝ်တႄႉ ဢမ်ႇပေႃးမီး လွင်ႈယၢပ်ႇၽိုတ်ႇသင်။ ဢဝ် Space သေၵေႃႈ တႅပ်းဢွၵ်ႇလႆႈယူႇ။

ပိူင်ယၢင်ႇမၼ်း I live in Lashio. ၼႆႉ တေလႆႈၶေႃႈၵႂၢမ်း သီႇၶေႃႈ ၼင်ႇ I, live, in, Lashio ယဝ်ႉ။

ပဵၼ်ပဵၼ်တွၼ်ႈတႃႇ ၽႃႇသႃႇၵႂၢမ်း မိူင်းဝၼ်းဢွၵ်ႇ မိူၼ်ၼင်ႇ တႆး၊ ထႆး၊ မၢၼ်ႈ၊ ၶႄႇ ၸၵႂႃႇၸိူဝ်းၼႆႉ တီႈၸၼ်ႉWord Segmentation ၼႆႉ တိုၵ်ႉတေမီး လွင်ႈၶဵင်ႇတဝႆႉယူႇ။

ပိူင်ယၢင်ႇ: ၵဝ်ယူႇတီႈလႃႈသဵဝ်ႈ။

ၽွၼ်းလႆႈမၼ်း

(႑) ၵဝ်-ယူႇ-တီႈ-လႃႈသဵဝ်ႈ။ (႒) ၵဝ်-ယူႇ-တီႈလႃႈသဵဝ်ႈ။

ၽွၼ်းမၼ်းတေၸၢင်ႈပဵၼ် သွင်ဢၼ်ယဝ်ႉ။

ၽွၼ်း (႑) ၼႆႉ မၼ်းၸႅၵ်ႇပၼ် Word Level သေ ၽွၼ်း (႒) ၼႆႉ မၼ်းၸႅၵ်ႇပၼ် Phrase Level ယဝ်ႉ။ တီႈၶေႃႈၵႂၢမ်း “လႃႈသဵဝ်ႈ” ဢၼ်ဝႃႈၼၼ်ႉ ဢဝ်တူဝ်လိၵ်ႈႁဵင်း “တီႈ”ၼၼ်ႉ မႃးၸပ်းသႂ်ႇဝႆႉယဝ်ႉ။

(2) Stemming

ပဵၼ်ၵၢၼ် ဢၼ်သွၵ်ႈႁႃ Root Word ယဝ်ႉ။ ပေႃးတေလႆႈလၢတ်ႈပိူင်ယၢင်ႇမၼ်း root word ႁင်း went ၼႆႉ ပဵၼ် go ယဝ်ႉ။ root word ႁင်း students ၼႆႉ ပဵၼ် student ယဝ်ႉ။ ပေႃးတွၼ်ႈတႃႇ လိၵ်ႈတႆးတႄႉ “လုၵ်ႈႁဵၼ်းၶဝ် ၵႂႃႇႁူင်းႁဵၼ်းယဝ်ႉ” ၊ ၼႂ်းၵႃႈ တူၼ်ႈထႅဝ်လိၵ်ႈၼၼ်ႉ ပေႃးႁႃ root word ၼႆႉ တေလႆႈ ၶေႃႈၵႂၢမ်းသၢမ်တူဝ် ဢၼ်ပဵၼ် “လုၵ်ႈႁဵၼ်း”၊ “ၵႂႃႇ” လႄႈ “ႁူင်းႁဵၼ်း” ၼၼ်ႉယဝ်ႉ။

(3) Part of Speech Tagging

ပဵၼ်ၵၢၼ် ဢၼ်ဢဝ် တွၼ်ႈၵႂၢမ်း ၵိုၵ်းၸပ်းပၼ်တင်း ၶေႃႈၵႂၢမ်းၼၼ်ႉယဝ်ႉ။

ပိူင်ယၢင်ႇ:I live in Lashio ၼႆႉ I-Prဝnoun, live-Verb, in-Proposition, Lashio-Noun ၼႆသေ ႁဵတ်း tag ပၼ်ၵႂႃႇ ၶေႃႈၵႂၢမ်း ၵမ်းဢၼ်ဢၼ်ယဝ်ႉ။