更多精彩內(nèi)容參見(jiàn):https://liuhuapeng.jiangshi.org
數(shù)據(jù)挖掘的技術(shù)有很多種,按照不同的分類有不同的分類法。下面著重討論一下數(shù)據(jù)挖掘中常用的一些技術(shù):統(tǒng)計(jì)技術(shù),關(guān)聯(lián)規(guī)則,基于歷史的分析,遺傳算法,聚集檢測(cè),連接分析,決策樹(shù),神經(jīng)網(wǎng)絡(luò),粗糙集,模糊集,回歸分析,差別分析,概念描述等十三種常用的數(shù)據(jù)挖掘的技術(shù)
1、統(tǒng)計(jì)技術(shù)
數(shù)據(jù)挖掘涉及的科學(xué)領(lǐng)域和技術(shù)很多,如統(tǒng)計(jì)技術(shù)。統(tǒng)計(jì)技術(shù)對(duì)數(shù)據(jù)集進(jìn)行挖掘的主要思想是:統(tǒng)計(jì)的方法對(duì)給定的數(shù)據(jù)集合假設(shè)了一個(gè)分布或者概率模型(例如一個(gè)正態(tài)分布)然后根據(jù)模型采用相應(yīng)的方法來(lái)進(jìn)行挖掘。
2、關(guān)聯(lián)規(guī)則
數(shù)據(jù)關(guān)聯(lián)是數(shù)據(jù)庫(kù)中存在的一類重要的可被發(fā)現(xiàn)的知識(shí)。若兩個(gè)或多個(gè)變量的取值之I司存在某種規(guī)律性,就稱為關(guān)聯(lián)。關(guān)聯(lián)可分為簡(jiǎn)單關(guān)聯(lián)、時(shí)序關(guān)聯(lián)、因果關(guān)聯(lián)。關(guān)聯(lián)分析的目的是找出數(shù)據(jù)庫(kù)中隱藏的關(guān)聯(lián)網(wǎng)。有時(shí)并不知道數(shù)據(jù)庫(kù)中數(shù)據(jù)的關(guān)聯(lián)函數(shù),即使知道也是不確定的,因此關(guān)聯(lián)分析生成的規(guī)則帶有可信度。
3、基于歷史的MBR(Memory-basedReasoning)分析
先根據(jù)經(jīng)驗(yàn)知識(shí)尋找相似的情況,然后將這些情況的信息應(yīng)用于當(dāng)前的例子中。這個(gè)就是MBR(Memory BasedReasoning)的本質(zhì)。MBR首先尋找和新記錄相似的鄰居,然后利用這些鄰居對(duì)新數(shù)據(jù)進(jìn)行分類和估值。使用MBR有三個(gè)主要問(wèn)題,尋找確定的歷史數(shù)據(jù);決定表示歷史數(shù)據(jù)的最有效的方法;決定距離函數(shù)、聯(lián)合函數(shù)和鄰居的數(shù)量。
4、遺傳算法GA(Genetic Algorithms)
基于進(jìn)化理論,并采用遺傳結(jié)合、遺傳變異、以及自然選擇等設(shè)計(jì)方法的優(yōu)化技術(shù)。主要思想是:根據(jù)適者生存的原則,形成由當(dāng)前群體中最適合的規(guī)則組成新的群體,以及這些規(guī)則的后代。典型情況下,規(guī)則的適合度(Fitness)用它對(duì)訓(xùn)練樣本集的分類準(zhǔn)確率評(píng)估。
5、聚集檢測(cè)
將物理或抽象對(duì)象的集合分組成為由類似的對(duì)象組成的多個(gè)類的過(guò)程被稱為聚類。由聚類所生成的簇是一組數(shù)據(jù)對(duì)象的集合,這些對(duì)象與同一個(gè)簇中的對(duì)象彼此相似,與其它簇中的對(duì)象相異。相異度是根據(jù)描述對(duì)象的屬眭值來(lái)計(jì)算的,距離是經(jīng)常采用的度量方式。
6、連接分析
連接分析,Link analysis,它的基本理論是圖論。圖論的思想是尋找一個(gè)可以得出好結(jié)果但不是完美結(jié)果的算法,而不是去尋找完美的解的算法。連接分析就是運(yùn)用了這樣的思想:不完美的結(jié)果如果是可行的,那么這樣的分析就是一個(gè)好的分析。利用連接分析,可以從一些用戶的行為中分析出一些模式;同時(shí)將產(chǎn)生的概念應(yīng)用于更廣的用戶群體中。
7、決策樹(shù)
決策樹(shù)提供了一種展示類似在什么條件下會(huì)得到什么值這類規(guī)則的方法。
8、神經(jīng)網(wǎng)絡(luò)
在結(jié)構(gòu)上,可以把一個(gè)神經(jīng)網(wǎng)絡(luò)劃分為輸入層、輸出層和隱含層。輸入層的每個(gè)節(jié)點(diǎn)對(duì)應(yīng)—個(gè)個(gè)的預(yù)測(cè)變量。輸出層的節(jié)點(diǎn)對(duì)應(yīng)目標(biāo)變量,可有多個(gè)。在輸入層和輸出層之間是隱含層(對(duì)神經(jīng)網(wǎng)絡(luò)使用者來(lái)說(shuō)不可見(jiàn)),隱含層的層數(shù)和每層節(jié)點(diǎn)的個(gè)數(shù)決定了神經(jīng)網(wǎng)絡(luò)的復(fù)雜度。
除了輸入層的節(jié)點(diǎn),神經(jīng)網(wǎng)絡(luò)的每個(gè)節(jié)點(diǎn)都與很多它前面的節(jié)點(diǎn)(稱為此節(jié)點(diǎn)的輸入節(jié)點(diǎn))連接在一起,每個(gè)連接對(duì)應(yīng)一個(gè)權(quán)重Wxy,此節(jié)點(diǎn)的值就是通過(guò)它所有輸入節(jié)點(diǎn)的值與對(duì)應(yīng)連接權(quán)重乘積的和作為—個(gè)函數(shù)的輸入而得到,我們把這個(gè)函數(shù)稱為活動(dòng)函數(shù)或擠壓函數(shù)。
9、粗糙集
粗糙集理論基于給定訓(xùn)練數(shù)據(jù)內(nèi)部的等價(jià)類的建立。形成等價(jià)類的所有數(shù)據(jù)樣本是不加區(qū)分的,即對(duì)于描述數(shù)據(jù)的屬性,這些樣本是等價(jià)的。給定現(xiàn)實(shí)世界數(shù)據(jù),通常有些類不能被可用的屬性區(qū)分。粗糙集就是用來(lái)近似或粗略地定義這種類。
10、模糊集
模糊集理論將模糊邏輯引入數(shù)據(jù)挖掘分類系統(tǒng),允許定義“模糊”域值或邊界。模糊邏輯使用0.0和1.0之間的真值表示一個(gè)特定的值是一個(gè)給定成員的程度,而不是用類或集合的精確截?cái)?。模糊邏輯提供了在高抽象層處理的便利?/span>
11、回歸分析
回歸分析分為線性回歸、多元回歸和非線性同歸。在線性回歸中,數(shù)據(jù)用直線建模,多元回歸是線性回歸的擴(kuò)展,涉及多個(gè)預(yù)測(cè)變量。非線性回歸是在基本線性模型上添加多項(xiàng)式項(xiàng)形成非線性同門(mén)模型。
12、差別分析
差別分析的目的是試圖發(fā)現(xiàn)數(shù)據(jù)中的異常情況,如噪音數(shù)據(jù),欺詐數(shù)據(jù)等異常數(shù)據(jù),從而獲得有用信息。
13、概念描述
概念描述就是對(duì)某類對(duì)象的內(nèi)涵進(jìn)行描述,并概括這類對(duì)象的有關(guān)特征。概念描述分為特征性描述和區(qū)別性描述,前者描述某類對(duì)象的共同特征,后者描述不同類對(duì)象之間的區(qū)別,生成一個(gè)類的特征性描述只涉及該類對(duì)象中所有對(duì)象的共性。
更多精彩內(nèi)容參見(jiàn):https://liuhuapeng.jiangshi.org