大數(shù)據(jù)漢語(yǔ)分詞：靈玖NLPIR數(shù)據(jù)挖掘技術(shù)

時(shí)間：2016-10-12作者：靈玖中科軟件（北京）有限公司瀏覽：140

    數(shù)據(jù)挖掘(Data Mining)，又稱為數(shù)據(jù)庫(kù)中的知識(shí)發(fā)現(xiàn)(Knowledge Discovery in Database, KDD)，就是從大量數(shù)據(jù)中獲取有效的、新穎的、潛在有用的、較終可理解的模式的非平凡過程，簡(jiǎn)單的說，數(shù)據(jù)挖掘就是從大量數(shù)據(jù)中提取或“挖掘”知識(shí)。
NLPIR數(shù)據(jù)挖掘技術(shù)的任務(wù)主要是關(guān)聯(lián)分析、聚類分析、分類、預(yù)測(cè)、時(shí)序模式和偏差分析等。
⑴關(guān)聯(lián)分析(association analysis)
關(guān)聯(lián)規(guī)則挖掘是由rakesh apwal等人首先提出的。兩個(gè)或兩個(gè)以上變量的取值之間存在某種規(guī)律性，就稱為關(guān)聯(lián)。數(shù)據(jù)關(guān)聯(lián)是數(shù)據(jù)庫(kù)中存在的一類重要的、可被發(fā)現(xiàn)的知識(shí)。關(guān)聯(lián)分為簡(jiǎn)單關(guān)聯(lián)、時(shí)序關(guān)聯(lián)和因果關(guān)聯(lián)。關(guān)聯(lián)分析的目的是找出數(shù)據(jù)庫(kù)中隱藏的關(guān)聯(lián)網(wǎng)。一般用支持度和可信度兩個(gè)閥值來度量關(guān)聯(lián)規(guī)則的相關(guān)性，還不斷引入興趣度、相關(guān)性等參數(shù)，使得所挖掘的規(guī)則較符合需求。 
⑵聚類分析(clustering)
聚類是把數(shù)據(jù)按照相似性歸納成若干類別，同一類中的數(shù)據(jù)彼此相似，不同類中的數(shù)據(jù)相異。聚類分析可以建立宏觀的概念，發(fā)現(xiàn)數(shù)據(jù)的分布模式，以及可能的數(shù)據(jù)屬性之間的相互關(guān)系。
⑶分類(classification)
分類就是找出一個(gè)類別的概念描述，它代表了這類數(shù)據(jù)的整體信息，即該類的內(nèi)涵描述，并用這種描述來構(gòu)造模型，一般用規(guī)則或決策樹模式表示。分類是利用訓(xùn)練數(shù)據(jù)集通過一定的算法而求得分類規(guī)則。分類可被用于規(guī)則描述和預(yù)測(cè)。
⑷預(yù)測(cè)(predication)
預(yù)測(cè)是利用歷史數(shù)據(jù)找出變化規(guī)律，建立模型，并由此模型對(duì)未來數(shù)據(jù)的種類及特征進(jìn)行預(yù)測(cè)。預(yù)測(cè)關(guān)心的是精度和不確定性，通常用預(yù)測(cè)方差來度量。
⑸時(shí)序模式(time-series pattern)
時(shí)序模式是指通過時(shí)間序列搜索出的重復(fù)發(fā)生概率較高的模式。與回歸一樣，它也是用己知的數(shù)據(jù)預(yù)測(cè)未來的值，但這些數(shù)據(jù)的區(qū)別是變量所處時(shí)間的不同。
⑹偏差分析(deviation)
在偏差中包括很多有用的知識(shí)，數(shù)據(jù)庫(kù)中的數(shù)據(jù)存在很多異常情況，發(fā)現(xiàn)數(shù)據(jù)庫(kù)中數(shù)據(jù)存在的異常情況是非常重要的。偏差檢驗(yàn)的基本方法就是尋找觀察結(jié)果與參照之間的差別。


靈玖中科軟件（北京）有限公司專注于大數(shù)據(jù)開發(fā),大數(shù)據(jù)搜索與挖掘,大數(shù)據(jù)中文分詞等

• 詞條

  詞條說明

• 靈玖LJParser自然語(yǔ)言語(yǔ)義分析系統(tǒng)

  自然語(yǔ)言理解是語(yǔ)言學(xué)、邏輯學(xué)、生理學(xué)、心理學(xué)、計(jì)算機(jī)科學(xué)和數(shù)學(xué)等相關(guān)學(xué)科發(fā)展和結(jié)合而形成的一門交叉學(xué)科;它能夠理解口頭語(yǔ)言或書面語(yǔ)言。 自然語(yǔ)言處理是計(jì)算機(jī)科學(xué)領(lǐng)域與人工智能領(lǐng)域中的一個(gè)重要方向。它研究能實(shí)現(xiàn)人與計(jì)算機(jī)之間用自然語(yǔ)言進(jìn)行有效通信的各種理論和方法。NLU是自然語(yǔ)言理解(Natural Language Understanding)的縮寫。 隨著計(jì)算機(jī)技術(shù)和人工智能總體技術(shù)的發(fā)展，自然

• 靈玖LJParser挖掘系統(tǒng)挖掘大數(shù)據(jù)信息

  數(shù)據(jù)挖掘是一種決策支持過程，它主要基于人工智能、機(jī)器學(xué)習(xí)、模式識(shí)別、統(tǒng)計(jì)學(xué)、數(shù)據(jù)庫(kù)、可視化技術(shù)等，高度自動(dòng)化地分析企業(yè)的數(shù)據(jù)，做出歸納性的推理，從中挖掘出潛在的模式，幫助決策者調(diào)整市場(chǎng)策略，減少風(fēng)險(xiǎn)，做出正確的決策。 數(shù)據(jù)挖掘是通過分析每個(gè)數(shù)據(jù)，從大量數(shù)據(jù)中尋找其規(guī)律的技術(shù)，主要有數(shù)據(jù)準(zhǔn)備、規(guī)律尋找和規(guī)律表示3個(gè)步驟。數(shù)據(jù)準(zhǔn)備是從相關(guān)的數(shù)據(jù)源中選取所需的數(shù)據(jù)并整合成用于數(shù)據(jù)挖掘的數(shù)據(jù)集;規(guī)律尋找

• 大數(shù)據(jù)文本分析：靈玖自然語(yǔ)言中文語(yǔ)義分詞系統(tǒng)

  自然語(yǔ)言通常是指一種自然地隨文化演化的語(yǔ)言。英語(yǔ)、漢語(yǔ)、日語(yǔ)為自然語(yǔ)言的例子，而世界語(yǔ)則為人造語(yǔ)言，即是一種為某些特定目的而創(chuàng)造的語(yǔ)言。 自然語(yǔ)言具備兩個(gè)屬性：語(yǔ)言屬性與自然屬性?！罢Z(yǔ)言”屬性表現(xiàn)為公認(rèn)的某些約定俗成的內(nèi)在規(guī)律性;“自然”屬性是說并不存在某個(gè)人為制造的、嚴(yán)格的語(yǔ)法規(guī)則體系來約定人們的語(yǔ)言表達(dá)方式，這是和程序設(shè)計(jì)語(yǔ)言大相徑庭的。自然語(yǔ)言需要遵循一定的內(nèi)在規(guī)律，但較大程度上是“存在即

• Nlpir Parser智能平臺(tái)靈玖軟件新推出的文本挖掘系統(tǒng)

  文本挖掘已經(jīng)成為數(shù)據(jù)挖掘中一個(gè)日益流行而重要的研究領(lǐng)域。與一般數(shù)據(jù)挖掘以關(guān)系、事務(wù)和數(shù)據(jù)倉(cāng)庫(kù)中的結(jié)構(gòu)數(shù)據(jù)為研究目標(biāo)所不同的是，文本挖掘所研究的文本數(shù)據(jù)庫(kù), 由來自各種數(shù)據(jù)源的大量文檔組成。這些文檔可能包含標(biāo)題、作者、出版日期、長(zhǎng)度等結(jié)構(gòu)化數(shù)據(jù), 也可能包含摘要和內(nèi)容等非結(jié)構(gòu)化的文本成分，而且這些文檔的內(nèi)容是人類所使用的自然語(yǔ)言，計(jì)算機(jī)很難處理其語(yǔ)義。因此傳統(tǒng)的信息檢索技術(shù)已不適應(yīng)日益增加的大量文