機(jī)器學(xué)習(xí)(Machine Learning, ML)是一門多領(lǐng)域交叉學(xué)科,涉及概率論、統(tǒng)計學(xué)、凸分析、算法復(fù)雜度理論等多門學(xué)科。專門研究計算機(jī)怎樣模擬或?qū)崿F(xiàn)人類的學(xué)習(xí)行為,以獲取新的知識或技能,重新組織已有的知識結(jié)構(gòu)使之不斷改善自身的性能。
它是人工智能的核心,是使計算機(jī)具有智能的根本途徑,其應(yīng)用遍及人工智能的各個領(lǐng)域,它主要使用歸納、綜合而不是演繹。
機(jī)器學(xué)習(xí)已經(jīng)有了十分廣泛的應(yīng)用,例如:數(shù)據(jù)挖掘、計算機(jī)視覺、自然語言處理、生物特征識別、搜索引擎、醫(yī)學(xué)診斷、DNA序列測序、語音和手寫識別、戰(zhàn)略游戲和機(jī)器人運用。
NLPIR文本搜索與挖掘智能平臺針對互聯(lián)網(wǎng)內(nèi)容處理的需要,融合了自然語言理解、網(wǎng)絡(luò)搜索和文本挖掘的技術(shù),提供了用于技術(shù)二次開發(fā)的基礎(chǔ)工具集。開發(fā)平臺由多個中間件組成,各個中間件API可以無縫地融合到客戶的各類復(fù)雜應(yīng)用系統(tǒng)之中,可兼容Windows,Linux, Android,Maemo5, FreeBSD等不同操作系統(tǒng)平臺,可以供Java,C,C#等各類開發(fā)語言使用。
機(jī)器學(xué)習(xí)從本質(zhì)上來說是一種學(xué)習(xí)結(jié)構(gòu), 整個結(jié)構(gòu)包括環(huán)境、知識庫和執(zhí)行三個部分。 在整個過程中,環(huán)境向系統(tǒng)提供信息,系統(tǒng)利用這些信息修改知識庫,以增進(jìn)系統(tǒng)執(zhí)行部分完成任務(wù)的效能,執(zhí)行部分根據(jù)知識庫完成任務(wù),同時把獲得的信息反饋給學(xué)習(xí)部分,從而繼續(xù)改進(jìn)知識庫。
NLPIR文本搜索與挖掘智能平臺的幾大功能:
1. 全文精準(zhǔn)檢索:支持文本、數(shù)字、日期、字符串等各種數(shù)據(jù)類型,多字段的高效搜索,支持AND/OR/NOT以及NEAR鄰近等查詢語法,支持維語、藏語、蒙語、阿拉伯、韓語等多種少數(shù)民族語言的檢索?梢詿o縫地與現(xiàn)有文本處理系統(tǒng)與數(shù)據(jù)庫系統(tǒng)融合。
2. 新詞發(fā)現(xiàn):從文件集合中挖掘出內(nèi)涵的新詞語列表,可以用于用戶專業(yè)詞典的編撰;還可以進(jìn)一步編輯標(biāo)注,導(dǎo)入分詞詞典中,從而提高分詞系統(tǒng)的準(zhǔn)確度,并適應(yīng)新的語言變化。
3. 分詞標(biāo)注::對原始語料進(jìn)行分詞、自動識別人名地名機(jī)構(gòu)名等未登錄詞、新詞標(biāo)注以及詞性標(biāo)注。并可在分析過程中,導(dǎo)入用戶定義的詞典。
4. 統(tǒng)計分析與術(shù)語翻譯:針對切分標(biāo)注結(jié)果,系統(tǒng)可以自動地進(jìn)行一元詞頻統(tǒng)計、二元詞語轉(zhuǎn)移概率統(tǒng)計(統(tǒng)計兩個詞左右連接的頻次即概率)。針對常用的術(shù)語,會自動給出相應(yīng)的英文解釋。
5. 文本聚類:能夠從大規(guī)模數(shù)據(jù)中自動分析出熱點事件,并提供事件話題的關(guān)鍵特征描述。同時適用于長文本和短信、微博等短文本的熱點分析。
6. 分類過濾:針對事先指定的規(guī)則和示例樣本,系統(tǒng)自動從海量文檔中篩選出符合需求的樣本。
7. 正負(fù)面分析:針對事先指定的分析對象和示例樣本,系統(tǒng)自動從海量文檔中篩選出正負(fù)面的得分和 |
 |
|