RM新时代网站-首页

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線(xiàn)課程
  • 觀(guān)看技術(shù)視頻
  • 寫(xiě)文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

自然語(yǔ)言處理(NLP)知識(shí)結(jié)構(gòu)總結(jié)

人工智能精選 ? 2018-08-29 09:58 ? 次閱讀

自然語(yǔ)言處理知識(shí)太龐大了,網(wǎng)上也都是一些零零散散的知識(shí),比如單獨(dú)講某些模型,也沒(méi)有來(lái)龍去脈,學(xué)習(xí)起來(lái)較為困難,于是我自己總結(jié)了一份知識(shí)體系結(jié)構(gòu),不足之處,歡迎指正。內(nèi)容來(lái)源主要參考黃志洪老師的自然語(yǔ)言處理課程。主要參考書(shū)為宗成慶老師的《統(tǒng)計(jì)自然語(yǔ)言處理》,雖然很多內(nèi)容寫(xiě)的不清楚,但好像中文NLP書(shū)籍就這一本全一些,如果想看好的英文資料,可以到我的GitHub上下載:

http://github.com/lovesoft5/ml

下面直接開(kāi)始正文:

一、自然語(yǔ)言處理概述

1)自然語(yǔ)言處理:利用計(jì)算機(jī)為工具,對(duì)書(shū)面實(shí)行或者口頭形式進(jìn)行各種各樣的處理和加工的技術(shù),是研究人與人交際中以及人與計(jì)算機(jī)交際中的演員問(wèn)題的一門(mén)學(xué)科,是人工智能的主要內(nèi)容。
2)自然語(yǔ)言處理是研究語(yǔ)言能力和語(yǔ)言應(yīng)用的模型,建立計(jì)算機(jī)(算法)框架來(lái)實(shí)現(xiàn)這樣的語(yǔ)言模型,并完善、評(píng)測(cè)、最終用于設(shè)計(jì)各種實(shí)用系統(tǒng)。
3)研究問(wèn)題(主要):
信息檢索
機(jī)器翻譯
文檔分類(lèi)
問(wèn)答系統(tǒng)
信息過(guò)濾
自動(dòng)文摘
信息抽取
文本挖掘
輿情分析
機(jī)器寫(xiě)作
語(yǔ)音識(shí)別

研究模式:自然語(yǔ)言場(chǎng)景問(wèn)題,數(shù)學(xué)算法,算法如何應(yīng)用到解決這些問(wèn)題,預(yù)料訓(xùn)練,相關(guān)實(shí)際應(yīng)用

自然語(yǔ)言的困難:

場(chǎng)景的困難:語(yǔ)言的多樣性、多變性、歧義性
學(xué)習(xí)的困難:艱難的數(shù)學(xué)模型(hmm,crf,EM,深度學(xué)習(xí)等)
語(yǔ)料的困難:什么的語(yǔ)料?語(yǔ)料的作用?如何獲取語(yǔ)料?

二、形式語(yǔ)言與自動(dòng)機(jī)

語(yǔ)言:按照一定規(guī)律構(gòu)成的句子或者字符串的有限或者無(wú)限的集合。

描述語(yǔ)言的三種途徑:

窮舉法
文法(產(chǎn)生式系統(tǒng))描述
自動(dòng)機(jī)

自然語(yǔ)言不是人為設(shè)計(jì)而是自然進(jìn)化的,形式語(yǔ)言比如:運(yùn)算符號(hào)、化學(xué)分子式、編程語(yǔ)言

形式語(yǔ)言理論朱啊喲研究的是內(nèi)部結(jié)構(gòu)模式這類(lèi)語(yǔ)言的純粹的語(yǔ)法領(lǐng)域,從語(yǔ)言學(xué)而來(lái),作為一種理解自然語(yǔ)言的句法規(guī)律,在計(jì)算機(jī)科學(xué)中,形式語(yǔ)言通常作為定義編程和語(yǔ)法結(jié)構(gòu)的基礎(chǔ)

形式語(yǔ)言與自動(dòng)機(jī)基礎(chǔ)知識(shí):

集合論
圖論
自動(dòng)機(jī)的應(yīng)用:

1,單詞自動(dòng)查錯(cuò)糾正

2,詞性消歧(什么是詞性?什么的詞性標(biāo)注?為什么需要標(biāo)注?如何標(biāo)注?)

形式語(yǔ)言的缺陷:

1、對(duì)于像漢語(yǔ),英語(yǔ)這樣的大型自然語(yǔ)言系統(tǒng),難以構(gòu)造精確的文法

2、不符合人類(lèi)學(xué)習(xí)語(yǔ)言的習(xí)慣

3、有些句子語(yǔ)法正確,但在語(yǔ)義上卻不可能,形式語(yǔ)言無(wú)法排出這些句子

4、解決方向:基于大量語(yǔ)料,采用統(tǒng)計(jì)學(xué)手段建立模型

三、語(yǔ)言模型

1)語(yǔ)言模型(重要):通過(guò)語(yǔ)料計(jì)算某個(gè)句子出現(xiàn)的概率(概率表示),常用的有2-元模型,3-元模型
2)語(yǔ)言模型應(yīng)用:

語(yǔ)音識(shí)別歧義消除例如,給定拼音串:ta shi yan yan jiu saun fa de

可能的漢字串:踏實(shí)煙酒算法的 他是研究酸法的 他是研究算法的,顯然,最后一句才符合。

3)語(yǔ)言模型的啟示:

1、開(kāi)啟自然語(yǔ)言處理的統(tǒng)計(jì)方法

2、統(tǒng)計(jì)方法的一般步驟:

收集大量語(yǔ)料
對(duì)語(yǔ)料進(jìn)行統(tǒng)計(jì)分析,得出知識(shí)
針對(duì)場(chǎng)景建立算法模型
解釋和應(yīng)用結(jié)果

4) 語(yǔ)言模型性能評(píng)價(jià),包括評(píng)價(jià)目標(biāo),評(píng)價(jià)的難點(diǎn),常用指標(biāo)(交叉熵,困惑度)

5)數(shù)據(jù)平滑:

數(shù)據(jù)平滑的概念,為什么需要平滑

平滑的方法,加一法,加法平滑法,古德-圖靈法,J-M法,Katz平滑法

6)語(yǔ)言模型的缺陷:

語(yǔ)料來(lái)自不同的領(lǐng)域,而語(yǔ)言模型對(duì)文本類(lèi)型、主題等十分敏感

n與相鄰的n-1個(gè)詞相關(guān),假設(shè)不是很成立。


四、概率圖模型,生成模型與判別模型,貝葉斯網(wǎng)絡(luò),馬爾科夫鏈與隱馬爾科夫模型(HMM)

1)概率圖模型概述(什么的概率圖模型,參考清華大學(xué)教材《概率圖模型》)

2)馬爾科夫過(guò)程(定義,理解)

3)隱馬爾科夫過(guò)程(定義,理解)

HMM的三個(gè)基本問(wèn)題(定義,解法,應(yīng)用)

注:第一個(gè)問(wèn)題,涉及最大似然估計(jì)法,第二個(gè)問(wèn)題涉及EM算法,第三個(gè)問(wèn)題涉及維特比算法,內(nèi)容很多,要重點(diǎn)理解,(參考書(shū)李航《統(tǒng)計(jì)學(xué)習(xí)方法》,網(wǎng)上博客,筆者github)

五、馬爾科夫網(wǎng),最大熵模型,條件隨機(jī)場(chǎng)(CRF)

1)HMM的三個(gè)基本問(wèn)題的參數(shù)估計(jì)與計(jì)算

2)什么是熵

3)EM算法(應(yīng)用十分廣泛,好好理解)
4)HMM的應(yīng)用
5)層次化馬爾科夫模型與馬爾科夫網(wǎng)絡(luò)

提出原因,HMM存在兩個(gè)問(wèn)題
6)最大熵馬爾科夫模型
優(yōu)點(diǎn):與HMM相比,允許使用特征刻畫(huà)觀(guān)察序列,訓(xùn)練高效
缺點(diǎn): 存在標(biāo)記偏置問(wèn)題

7)條件隨機(jī)場(chǎng)及其應(yīng)用(概念,模型過(guò)程,與HMM關(guān)系)
參數(shù)估計(jì)方法(GIS算法,改進(jìn)IIS算法)

CRF基本問(wèn)題:特征選取(特征模板)、概率計(jì)算、參數(shù)訓(xùn)練、解碼(維特比)

應(yīng)用場(chǎng)景:

詞性標(biāo)注類(lèi)問(wèn)題(現(xiàn)在一般用RNN+CRF)
中文分詞(發(fā)展過(guò)程,經(jīng)典算法,了解開(kāi)源工具jieba分詞)
中文人名,地名識(shí)別

8) CRF++

六、命名實(shí)體 識(shí)別,詞性標(biāo)注,內(nèi)容挖掘、語(yǔ)義分析與篇章分析(大量用到前面的算法)

1)命名實(shí)體識(shí)別問(wèn)題

相關(guān)概率,定義

相關(guān)任務(wù)類(lèi)型

方法(基于規(guī)程->基于大規(guī)模語(yǔ)料庫(kù))

2)未登錄詞的解決方法(搜索引擎,基于語(yǔ)料)

3)CRF解決命名實(shí)體識(shí)別(NER)流程總結(jié):

訓(xùn)練階段:確定特征模板,不同場(chǎng)景(人名,地名等)所使用的特征模板不同,對(duì)現(xiàn)有語(yǔ)料進(jìn)行分詞,在分詞結(jié) 果基礎(chǔ)上進(jìn)行詞性標(biāo)注(可能手工),NER對(duì)應(yīng)的標(biāo)注問(wèn)題是基于詞的,然后訓(xùn)練CRF模型,得到對(duì)應(yīng)權(quán)值參數(shù)值

識(shí)別過(guò)程:將待識(shí)別文檔分詞,然后送入CRF模型進(jìn)行識(shí)別計(jì)算(維特比算法),得到標(biāo)注序列,然后根據(jù)標(biāo) 注劃分出命名實(shí)體

4)詞性標(biāo)注(理解含義,意義)及其一致性檢查方法(位置屬性向量,詞性標(biāo)注序列向量,聚類(lèi)或者分類(lèi)算法)


七、句法分析

1)句法分析理解以及意義

1、句法結(jié)構(gòu)分析
完全句法分析

淺層分析(這里有很多方法。。。)
2、 依存關(guān)系分析

2)句法分析方法

1、基于規(guī)則的句法結(jié)構(gòu)分析
2、基于統(tǒng)計(jì)的語(yǔ)法結(jié)構(gòu)分析

八、文本分類(lèi),情感分析

1)文本分類(lèi),文本排重

文本分類(lèi):在預(yù)定義的分類(lèi)體系下,根據(jù)文本的特征,將給定的文本與一個(gè)或者多個(gè)類(lèi)別相關(guān)聯(lián)

典型應(yīng)用:垃圾郵件判定,網(wǎng)頁(yè)自動(dòng)分類(lèi)

2)文本表示,特征選取與權(quán)重計(jì)算,詞向量

文本特征選擇常用方法:

1、基于本文頻率的特征提取法
2、信息增量法
3、X2(卡方)統(tǒng)計(jì)量
4、互信息法

3)分類(lèi)器設(shè)計(jì)

SVM,貝葉斯,決策樹(shù)等
4)分類(lèi)器性能評(píng)測(cè)

1、召回率
2、正確率
3、F1值

5)主題模型(LDA)與PLSA

LDA模型十分強(qiáng)大,基于貝葉斯改進(jìn)了PLSA,可以提取出本章的主題詞和關(guān)鍵詞,建模過(guò)程復(fù)雜,難以理解。

6)情感分析

借助計(jì)算機(jī)幫助用戶(hù)快速獲取,整理和分析相關(guān)評(píng)論信息,對(duì)帶有感情色彩的主觀(guān)文本進(jìn)行分析,處理和歸納例如,評(píng)論自動(dòng)分析,水軍識(shí)別。

某種意義上看,情感分析也是一種特殊的分類(lèi)問(wèn)題
7)應(yīng)用案例


九、信息檢索,搜索引擎及其原理

1)信息檢索起源于圖書(shū)館資料查詢(xún)檢索,引入計(jì)算機(jī)技術(shù)后,從單純的文本查詢(xún)擴(kuò)展到包含圖片,音視頻等多媒體信息檢索,檢索對(duì)象由數(shù)據(jù)庫(kù)擴(kuò)展到互聯(lián)網(wǎng)。

1、點(diǎn)對(duì)點(diǎn)檢索

2、精確匹配模型與相關(guān)匹配模型

3、檢索系統(tǒng)關(guān)鍵技術(shù):標(biāo)引,相關(guān)度計(jì)算

2)常見(jiàn)模型:布爾模型,向量空間模型,概率模型

3)常用技術(shù):倒排索引,隱語(yǔ)義分析(LDA等)

4)評(píng)測(cè)指標(biāo)

十、自動(dòng)文摘與信息抽取,機(jī)器翻譯,問(wèn)答系統(tǒng)

1)統(tǒng)計(jì)機(jī)器翻譯的的思路,過(guò)程,難點(diǎn),以及解決

2)問(wèn)答系統(tǒng)

基本組成:?jiǎn)栴}分析,信息檢索,答案抽取

類(lèi)型:基于問(wèn)題-答案, 基于自由文本

典型的解決思路

3)自動(dòng)文摘的意義,常用方法

4)信息抽取模型(LDA等)

十一、深度學(xué)習(xí)在自然語(yǔ)言中的應(yīng)用

1)單詞表示,比如詞向量的訓(xùn)練(wordvoc)
2)自動(dòng)寫(xiě)文本
寫(xiě)新聞等
3)機(jī)器翻譯
4)基于CNN、RNN的文本分類(lèi)

5)深度學(xué)習(xí)與CRF結(jié)合用于詞性標(biāo)注

...............
聲明:本文內(nèi)容及配圖由入駐作者撰寫(xiě)或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀(guān)點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • 人工智能
    +關(guān)注

    關(guān)注

    1791

    文章

    47183

    瀏覽量

    238248
  • 自然語(yǔ)言處理
    +關(guān)注

    關(guān)注

    1

    文章

    618

    瀏覽量

    13552
  • nlp
    nlp
    +關(guān)注

    關(guān)注

    1

    文章

    488

    瀏覽量

    22033
收藏 人收藏

    評(píng)論

    相關(guān)推薦

    python自然語(yǔ)言

    最近,python自然語(yǔ)言是越來(lái)越火了,那么什么是自然語(yǔ)言。自然語(yǔ)言(Natural Language )廣納了眾多技術(shù),對(duì)自然或人類(lèi)語(yǔ)言進(jìn)
    發(fā)表于 05-02 13:50

    【推薦體驗(yàn)】騰訊云自然語(yǔ)言處理

    結(jié)構(gòu)化抽取,有效輔助人工,降低人力參與成本。因?yàn)楝F(xiàn)在騰訊云自然語(yǔ)言處理產(chǎn)品公測(cè)免費(fèi),所以我注冊(cè)了騰訊云賬號(hào)去專(zhuān)門(mén)體驗(yàn)了一下,最直觀(guān)的感受就是確實(shí)如產(chǎn)品介紹中說(shuō)的:開(kāi)箱即用的NLP能力,
    發(fā)表于 10-09 15:28

    自然語(yǔ)言處理——總結(jié)、習(xí)題

    自然語(yǔ)言處理——79 總結(jié)、習(xí)題
    發(fā)表于 06-19 11:22

    什么是自然語(yǔ)言處理

    什么是自然語(yǔ)言處理?自然語(yǔ)言處理任務(wù)有哪些?自然語(yǔ)言處理的方法是什么?
    發(fā)表于 09-08 06:51

    淺析自然語(yǔ)言處理知識(shí)體系結(jié)構(gòu)

    自然語(yǔ)言處理知識(shí)太龐大了,網(wǎng)上也都是一些零零散散的知識(shí),比如單獨(dú)講某些模型,也沒(méi)有來(lái)龍去脈,學(xué)習(xí)起來(lái)較為困難,于是總結(jié)了一份
    的頭像 發(fā)表于 08-18 09:57 ?5061次閱讀

    自然語(yǔ)言處理NLP)的學(xué)習(xí)方向

    自然語(yǔ)言處理(Natural Language Processing,NLP)是計(jì)算機(jī)科學(xué)領(lǐng)域與人工智能領(lǐng)域中的一個(gè)重要方向。它研究人與計(jì)算機(jī)之間用自然語(yǔ)言進(jìn)行有效通信的理論和方法。融
    的頭像 發(fā)表于 07-06 16:30 ?1.3w次閱讀

    自然語(yǔ)言處理和人工智能的概念及發(fā)展史 自然語(yǔ)言處理和人工智能的區(qū)別

    自然語(yǔ)言處理(Natural Language Processing, NLP)的定義是通過(guò)電腦軟件程序?qū)崿F(xiàn)人們?nèi)粘?b class='flag-5'>語(yǔ)言的機(jī)器自動(dòng)處理。為了
    發(fā)表于 08-23 18:22 ?961次閱讀

    自然語(yǔ)言處理技術(shù)的原理的應(yīng)用

    自然語(yǔ)言處理(Natural Language Processing, NLP)作為人工智能(AI)領(lǐng)域的一個(gè)重要分支,旨在使計(jì)算機(jī)能夠理解和處理人類(lèi)
    的頭像 發(fā)表于 07-02 12:50 ?515次閱讀

    什么是自然語(yǔ)言處理 (NLP)

    自然語(yǔ)言處理(Natural Language Processing, NLP)是人工智能領(lǐng)域中的一個(gè)重要分支,它專(zhuān)注于構(gòu)建能夠理解和生成人類(lèi)語(yǔ)言的計(jì)算機(jī)系統(tǒng)。
    的頭像 發(fā)表于 07-02 18:16 ?1151次閱讀

    自然語(yǔ)言處理包括哪些內(nèi)容

    自然語(yǔ)言處理(Natural Language Processing,簡(jiǎn)稱(chēng)NLP)是人工智能領(lǐng)域的一個(gè)重要分支,它涉及到計(jì)算機(jī)與人類(lèi)語(yǔ)言之間的交互。
    的頭像 發(fā)表于 07-03 14:15 ?820次閱讀

    nlp自然語(yǔ)言處理的應(yīng)用有哪些

    自然語(yǔ)言處理(Natural Language Processing,簡(jiǎn)稱(chēng)NLP)是人工智能領(lǐng)域的一個(gè)分支,它致力于使計(jì)算機(jī)能夠理解和生成自然語(yǔ)言。隨著技術(shù)的發(fā)展,
    的頭像 發(fā)表于 07-05 09:55 ?2596次閱讀

    nlp自然語(yǔ)言處理框架有哪些

    自然語(yǔ)言處理(Natural Language Processing,簡(jiǎn)稱(chēng)NLP)是計(jì)算機(jī)科學(xué)和人工智能領(lǐng)域的一個(gè)重要分支,它致力于使計(jì)算機(jī)能夠理解和處理人類(lèi)
    的頭像 發(fā)表于 07-09 10:28 ?550次閱讀

    nlp自然語(yǔ)言處理基本概念及關(guān)鍵技術(shù)

    自然語(yǔ)言處理(Natural Language Processing,簡(jiǎn)稱(chēng)NLP)是人工智能領(lǐng)域的一個(gè)重要分支,它致力于使計(jì)算機(jī)能夠理解、解釋和生成人類(lèi)語(yǔ)言
    的頭像 發(fā)表于 07-09 10:32 ?571次閱讀

    ASR與自然語(yǔ)言處理的結(jié)合

    ASR(Automatic Speech Recognition,自動(dòng)語(yǔ)音識(shí)別)與自然語(yǔ)言處理NLP)是人工智能領(lǐng)域的兩個(gè)重要分支,它們?cè)谠S多應(yīng)用中緊密結(jié)合,共同構(gòu)成了自然語(yǔ)言理解和
    的頭像 發(fā)表于 11-18 15:19 ?393次閱讀

    自然語(yǔ)言處理與機(jī)器學(xué)習(xí)的關(guān)系 自然語(yǔ)言處理的基本概念及步驟

    Learning,簡(jiǎn)稱(chēng)ML)是人工智能的一個(gè)核心領(lǐng)域,它使計(jì)算機(jī)能夠從數(shù)據(jù)中學(xué)習(xí)并做出預(yù)測(cè)或決策。自然語(yǔ)言處理與機(jī)器學(xué)習(xí)之間有著密切的關(guān)系,因?yàn)闄C(jī)器學(xué)習(xí)提供了一種強(qiáng)大的工具,用于從大量文本數(shù)據(jù)中提取模式和知識(shí),從而提高
    的頭像 發(fā)表于 12-05 15:21 ?451次閱讀
    RM新时代网站-首页