自然語(yǔ)言處理知識(shí)太龐大了,網(wǎng)上也都是一些零零散散的知識(shí),比如單獨(dú)講某些模型,也沒(méi)有來(lái)龍去脈,學(xué)習(xí)起來(lái)較為困難,于是我自己總結(jié)了一份知識(shí)體系結(jié)構(gòu),不足之處,歡迎指正。內(nèi)容來(lái)源主要參考黃志洪老師的自然語(yǔ)言處理課程。主要參考書(shū)為宗成慶老師的《統(tǒng)計(jì)自然語(yǔ)言處理》,雖然很多內(nèi)容寫(xiě)的不清楚,但好像中文NLP書(shū)籍就這一本全一些,如果想看好的英文資料,可以到我的GitHub上下載:
http://github.com/lovesoft5/ml
下面直接開(kāi)始正文:
一、自然語(yǔ)言處理概述
1)自然語(yǔ)言處理:利用計(jì)算機(jī)為工具,對(duì)書(shū)面實(shí)行或者口頭形式進(jìn)行各種各樣的處理和加工的技術(shù),是研究人與人交際中以及人與計(jì)算機(jī)交際中的演員問(wèn)題的一門(mén)學(xué)科,是人工智能的主要內(nèi)容。
2)自然語(yǔ)言處理是研究語(yǔ)言能力和語(yǔ)言應(yīng)用的模型,建立計(jì)算機(jī)(算法)框架來(lái)實(shí)現(xiàn)這樣的語(yǔ)言模型,并完善、評(píng)測(cè)、最終用于設(shè)計(jì)各種實(shí)用系統(tǒng)。
3)研究問(wèn)題(主要):
信息檢索
機(jī)器翻譯
文檔分類(lèi)
問(wèn)答系統(tǒng)
信息過(guò)濾
自動(dòng)文摘
信息抽取
文本挖掘
輿情分析
機(jī)器寫(xiě)作
語(yǔ)音識(shí)別
研究模式:自然語(yǔ)言場(chǎng)景問(wèn)題,數(shù)學(xué)算法,算法如何應(yīng)用到解決這些問(wèn)題,預(yù)料訓(xùn)練,相關(guān)實(shí)際應(yīng)用
自然語(yǔ)言的困難:
場(chǎng)景的困難:語(yǔ)言的多樣性、多變性、歧義性
學(xué)習(xí)的困難:艱難的數(shù)學(xué)模型(hmm,crf,EM,深度學(xué)習(xí)等)
語(yǔ)料的困難:什么的語(yǔ)料?語(yǔ)料的作用?如何獲取語(yǔ)料?
二、形式語(yǔ)言與自動(dòng)機(jī)
語(yǔ)言:按照一定規(guī)律構(gòu)成的句子或者字符串的有限或者無(wú)限的集合。
描述語(yǔ)言的三種途徑:
窮舉法
文法(產(chǎn)生式系統(tǒng))描述
自動(dòng)機(jī)
自然語(yǔ)言不是人為設(shè)計(jì)而是自然進(jìn)化的,形式語(yǔ)言比如:運(yùn)算符號(hào)、化學(xué)分子式、編程語(yǔ)言
形式語(yǔ)言理論朱啊喲研究的是內(nèi)部結(jié)構(gòu)模式這類(lèi)語(yǔ)言的純粹的語(yǔ)法領(lǐng)域,從語(yǔ)言學(xué)而來(lái),作為一種理解自然語(yǔ)言的句法規(guī)律,在計(jì)算機(jī)科學(xué)中,形式語(yǔ)言通常作為定義編程和語(yǔ)法結(jié)構(gòu)的基礎(chǔ)
形式語(yǔ)言與自動(dòng)機(jī)基礎(chǔ)知識(shí):
集合論
圖論
自動(dòng)機(jī)的應(yīng)用:
1,單詞自動(dòng)查錯(cuò)糾正
2,詞性消歧(什么是詞性?什么的詞性標(biāo)注?為什么需要標(biāo)注?如何標(biāo)注?)
形式語(yǔ)言的缺陷:
1、對(duì)于像漢語(yǔ),英語(yǔ)這樣的大型自然語(yǔ)言系統(tǒng),難以構(gòu)造精確的文法
2、不符合人類(lèi)學(xué)習(xí)語(yǔ)言的習(xí)慣
3、有些句子語(yǔ)法正確,但在語(yǔ)義上卻不可能,形式語(yǔ)言無(wú)法排出這些句子
4、解決方向:基于大量語(yǔ)料,采用統(tǒng)計(jì)學(xué)手段建立模型
三、語(yǔ)言模型
1)語(yǔ)言模型(重要):通過(guò)語(yǔ)料計(jì)算某個(gè)句子出現(xiàn)的概率(概率表示),常用的有2-元模型,3-元模型
2)語(yǔ)言模型應(yīng)用:
語(yǔ)音識(shí)別歧義消除例如,給定拼音串:ta shi yan yan jiu saun fa de
可能的漢字串:踏實(shí)煙酒算法的 他是研究酸法的 他是研究算法的,顯然,最后一句才符合。
3)語(yǔ)言模型的啟示:
1、開(kāi)啟自然語(yǔ)言處理的統(tǒng)計(jì)方法
2、統(tǒng)計(jì)方法的一般步驟:
收集大量語(yǔ)料
對(duì)語(yǔ)料進(jìn)行統(tǒng)計(jì)分析,得出知識(shí)
針對(duì)場(chǎng)景建立算法模型
解釋和應(yīng)用結(jié)果
4) 語(yǔ)言模型性能評(píng)價(jià),包括評(píng)價(jià)目標(biāo),評(píng)價(jià)的難點(diǎn),常用指標(biāo)(交叉熵,困惑度)
5)數(shù)據(jù)平滑:
數(shù)據(jù)平滑的概念,為什么需要平滑
平滑的方法,加一法,加法平滑法,古德-圖靈法,J-M法,Katz平滑法等
6)語(yǔ)言模型的缺陷:
語(yǔ)料來(lái)自不同的領(lǐng)域,而語(yǔ)言模型對(duì)文本類(lèi)型、主題等十分敏感
n與相鄰的n-1個(gè)詞相關(guān),假設(shè)不是很成立。
四、概率圖模型,生成模型與判別模型,貝葉斯網(wǎng)絡(luò),馬爾科夫鏈與隱馬爾科夫模型(HMM)
1)概率圖模型概述(什么的概率圖模型,參考清華大學(xué)教材《概率圖模型》)
2)馬爾科夫過(guò)程(定義,理解)
3)隱馬爾科夫過(guò)程(定義,理解)
HMM的三個(gè)基本問(wèn)題(定義,解法,應(yīng)用)
注:第一個(gè)問(wèn)題,涉及最大似然估計(jì)法,第二個(gè)問(wèn)題涉及EM算法,第三個(gè)問(wèn)題涉及維特比算法,內(nèi)容很多,要重點(diǎn)理解,(參考書(shū)李航《統(tǒng)計(jì)學(xué)習(xí)方法》,網(wǎng)上博客,筆者github)
五、馬爾科夫網(wǎng),最大熵模型,條件隨機(jī)場(chǎng)(CRF)
1)HMM的三個(gè)基本問(wèn)題的參數(shù)估計(jì)與計(jì)算
2)什么是熵
3)EM算法(應(yīng)用十分廣泛,好好理解)
4)HMM的應(yīng)用
5)層次化馬爾科夫模型與馬爾科夫網(wǎng)絡(luò)
提出原因,HMM存在兩個(gè)問(wèn)題
6)最大熵馬爾科夫模型
優(yōu)點(diǎn):與HMM相比,允許使用特征刻畫(huà)觀(guān)察序列,訓(xùn)練高效
缺點(diǎn): 存在標(biāo)記偏置問(wèn)題
7)條件隨機(jī)場(chǎng)及其應(yīng)用(概念,模型過(guò)程,與HMM關(guān)系)
參數(shù)估計(jì)方法(GIS算法,改進(jìn)IIS算法)
CRF基本問(wèn)題:特征選取(特征模板)、概率計(jì)算、參數(shù)訓(xùn)練、解碼(維特比)
應(yīng)用場(chǎng)景:
詞性標(biāo)注類(lèi)問(wèn)題(現(xiàn)在一般用RNN+CRF)
中文分詞(發(fā)展過(guò)程,經(jīng)典算法,了解開(kāi)源工具jieba分詞)
中文人名,地名識(shí)別
8) CRF++
六、命名實(shí)體 識(shí)別,詞性標(biāo)注,內(nèi)容挖掘、語(yǔ)義分析與篇章分析(大量用到前面的算法)
1)命名實(shí)體識(shí)別問(wèn)題
相關(guān)概率,定義
相關(guān)任務(wù)類(lèi)型
方法(基于規(guī)程->基于大規(guī)模語(yǔ)料庫(kù))
2)未登錄詞的解決方法(搜索引擎,基于語(yǔ)料)
3)CRF解決命名實(shí)體識(shí)別(NER)流程總結(jié):
訓(xùn)練階段:確定特征模板,不同場(chǎng)景(人名,地名等)所使用的特征模板不同,對(duì)現(xiàn)有語(yǔ)料進(jìn)行分詞,在分詞結(jié) 果基礎(chǔ)上進(jìn)行詞性標(biāo)注(可能手工),NER對(duì)應(yīng)的標(biāo)注問(wèn)題是基于詞的,然后訓(xùn)練CRF模型,得到對(duì)應(yīng)權(quán)值參數(shù)值
識(shí)別過(guò)程:將待識(shí)別文檔分詞,然后送入CRF模型進(jìn)行識(shí)別計(jì)算(維特比算法),得到標(biāo)注序列,然后根據(jù)標(biāo) 注劃分出命名實(shí)體
4)詞性標(biāo)注(理解含義,意義)及其一致性檢查方法(位置屬性向量,詞性標(biāo)注序列向量,聚類(lèi)或者分類(lèi)算法)
七、句法分析
1)句法分析理解以及意義
1、句法結(jié)構(gòu)分析
完全句法分析
淺層分析(這里有很多方法。。。)
2、 依存關(guān)系分析
2)句法分析方法
1、基于規(guī)則的句法結(jié)構(gòu)分析
2、基于統(tǒng)計(jì)的語(yǔ)法結(jié)構(gòu)分析
八、文本分類(lèi),情感分析
1)文本分類(lèi),文本排重
文本分類(lèi):在預(yù)定義的分類(lèi)體系下,根據(jù)文本的特征,將給定的文本與一個(gè)或者多個(gè)類(lèi)別相關(guān)聯(lián)
典型應(yīng)用:垃圾郵件判定,網(wǎng)頁(yè)自動(dòng)分類(lèi)
2)文本表示,特征選取與權(quán)重計(jì)算,詞向量
文本特征選擇常用方法:
1、基于本文頻率的特征提取法
2、信息增量法
3、X2(卡方)統(tǒng)計(jì)量
4、互信息法
3)分類(lèi)器設(shè)計(jì)
SVM,貝葉斯,決策樹(shù)等
4)分類(lèi)器性能評(píng)測(cè)
1、召回率
2、正確率
3、F1值
5)主題模型(LDA)與PLSA
LDA模型十分強(qiáng)大,基于貝葉斯改進(jìn)了PLSA,可以提取出本章的主題詞和關(guān)鍵詞,建模過(guò)程復(fù)雜,難以理解。
6)情感分析
借助計(jì)算機(jī)幫助用戶(hù)快速獲取,整理和分析相關(guān)評(píng)論信息,對(duì)帶有感情色彩的主觀(guān)文本進(jìn)行分析,處理和歸納例如,評(píng)論自動(dòng)分析,水軍識(shí)別。
某種意義上看,情感分析也是一種特殊的分類(lèi)問(wèn)題
7)應(yīng)用案例
九、信息檢索,搜索引擎及其原理
1)信息檢索起源于圖書(shū)館資料查詢(xún)檢索,引入計(jì)算機(jī)技術(shù)后,從單純的文本查詢(xún)擴(kuò)展到包含圖片,音視頻等多媒體信息檢索,檢索對(duì)象由數(shù)據(jù)庫(kù)擴(kuò)展到互聯(lián)網(wǎng)。
1、點(diǎn)對(duì)點(diǎn)檢索
2、精確匹配模型與相關(guān)匹配模型
3、檢索系統(tǒng)關(guān)鍵技術(shù):標(biāo)引,相關(guān)度計(jì)算
2)常見(jiàn)模型:布爾模型,向量空間模型,概率模型
3)常用技術(shù):倒排索引,隱語(yǔ)義分析(LDA等)
4)評(píng)測(cè)指標(biāo)
十、自動(dòng)文摘與信息抽取,機(jī)器翻譯,問(wèn)答系統(tǒng)
1)統(tǒng)計(jì)機(jī)器翻譯的的思路,過(guò)程,難點(diǎn),以及解決
2)問(wèn)答系統(tǒng)
基本組成:?jiǎn)栴}分析,信息檢索,答案抽取
類(lèi)型:基于問(wèn)題-答案, 基于自由文本
典型的解決思路
3)自動(dòng)文摘的意義,常用方法
4)信息抽取模型(LDA等)
十一、深度學(xué)習(xí)在自然語(yǔ)言中的應(yīng)用
1)單詞表示,比如詞向量的訓(xùn)練(wordvoc)
2)自動(dòng)寫(xiě)文本
寫(xiě)新聞等
3)機(jī)器翻譯
4)基于CNN、RNN的文本分類(lèi)
5)深度學(xué)習(xí)與CRF結(jié)合用于詞性標(biāo)注
...............
-
人工智能
+關(guān)注
關(guān)注
1791文章
47183瀏覽量
238248 -
自然語(yǔ)言處理
+關(guān)注
關(guān)注
1文章
618瀏覽量
13552 -
nlp
+關(guān)注
關(guān)注
1文章
488瀏覽量
22033
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論