- 相關推薦
支持向量機在數(shù)據(jù)挖掘中的應用研究論文
摘 要：支持向量機(Support Vector Machine, SVM)是數(shù)據(jù)挖掘和機器學習中的一個很有效的工具。結合支持向量機在數(shù)據(jù)挖掘和機器學習中的應用, 介紹了支持向量機的基本原理, 發(fā)展方向及其研究熱點。
關鍵詞：支持向量機; 數(shù)據(jù)挖掘; 機器學習オ
1 SVM的提出和基本思想
支持向量機是Vapnik等人提出的，在解決小樣本、非線性及高維模式識別問題中表現(xiàn)出許多特有的優(yōu)勢,已應用于手寫體識別、三維目標識別、人臉識別、文本圖像分類等實際問題中，性能優(yōu)于已有的學習方法，表現(xiàn)出良好的學習能力。它是從線性可分情況下的線性分類面發(fā)展而來的，接著利用核函數(shù)很好的解決了非線性可分情況。
2 支持向量機的幾個發(fā)展
�。�1）模糊支持向量機，引入樣本對類別的隸屬度函數(shù)，這樣每個樣本對于類別的影響是不同的，這種理論的應用提高了SVM的抗噪聲的能力，尤其適合在未能完全揭示輸入樣本特性的情況下。
�。�2）最小二乘支持向量機。這種方法是在1999年提出，經(jīng)過這幾年的發(fā)展，已經(jīng)應用要很多相關的領域。研究的問題已經(jīng)推廣到：對于大規(guī)模數(shù)據(jù)集的處理；處理數(shù)據(jù)的魯棒性；參數(shù)調(diào)節(jié)和選擇問題；訓練和仿真。
（3）加權支持向量機（有偏樣本的加權，有偏風險加權）。
�。�4）主動學習的支持向量機。主動學習在學習過程中可以根據(jù)學習進程，選擇最有利于分類器性能的樣本來進一步訓練分類器，特能有效地減少評價樣本的數(shù)量。
�。�5）粗糙集與支持向量機的結合。首先利用粗糙集理論對數(shù)據(jù)的屬性進行約簡，能在某種程度上減少支持向量機求解計算量。
�。�6）基于決策樹的支持向量機。對于多類問題，采用二岔樹將藥分類的樣本集構造出一系列的兩類問題，每個兩類構造一個SVM。
�。�7）分級聚類的支持向量機。基于分級聚類和決策樹思想構建多類svm，使用分級聚類的方法，可以先把n-1個距離較近的類別結合起來，暫時看作一類，把剩下的一類作為單獨的一類，用svm分類，分類后的下一步不再考慮這單獨的一類，而只研究所合并的n-1類，再依次下去。
�。�8）算法上的提高。Vapnik在1995年提出了一種稱為“chunking”的塊算法，即如果刪除矩陣中對應Lagrange乘數(shù)為0的行和列，將不會影響最終結果。Osuna提出了一種分解算法，應用于人臉識別領域。Joachims在1998年將Osuna提出的分解策略推廣到解決大型SVM學習的算法。Platt于1998年提出了序貫最小優(yōu)化每次的工作集中只有2個樣本。
�。�9）核函數(shù)的構造和參數(shù)的選擇理論研究。基于各個不同的應用領域，可以構造不同的核函數(shù)，能夠或多或少的引入領域知識�，F(xiàn)在核函數(shù)廣泛應用的類型有：多項式逼近、貝葉斯分類器、徑向機函數(shù)、多層感知器。參數(shù)的選擇現(xiàn)在利用交叉驗證的方法來確認。
（10）支持向量機從兩類問題向多類問題的推廣。Weston在1998年提出的多類算法為代表。在經(jīng)典svm理論的基礎上，直接在目標函數(shù)上進行改進，重新構造多值分類模型，建立k分類支持向量機。通過sv方法對新模型的目標函數(shù)進行優(yōu)化，實現(xiàn)多值分類。
一對多（one-against-rest）——Vapnik提出的,k類——k個分類器，第m個分類器將第m類與其余的類分開，也就是說將第m類重新標號為1，其他類標號為-1。完成這個過程需要計算k個二次規(guī)劃，根據(jù)標號將每個樣本分開，最后輸出的是兩類分類器輸出為最大的那一類。不足：容易產(chǎn)生屬于多類別的點（多個1）和沒有被分類的點（標號均為-1）——不對，訓練樣本數(shù)據(jù)大，訓練困難，推廣誤差無界。
層（數(shù)分類方法），是對一對一方法的改進，將k個分類合并為兩個大類，每個大類里面再分成兩個子類，如此下去，直到最基本的k個分類，這樣形成不同的層次，每個層次都用svm來進行分類——1對r-1法，構建k-1個分類器，不存在拒絕分類區(qū)。
3 主要研究熱點
從上面的發(fā)展中，我們可以總結出，目前支持向量機有著幾方面的研究熱點：核函數(shù)的構造和參數(shù)的選擇；支持向量機從兩類問題向多類問題的推廣；更多的應用領域的推廣；與目前其它機器學習方法的融合；與數(shù)據(jù)預處理（樣本的重要度、屬性的重要度、特征選擇等）方法的結合。
參考文獻
�。�1］@張學工.統(tǒng)計學習理論的本質(zhì)［M］.北京：清華大學出版社，2000.
［2］@NelloCristianini,JohnShawe-Taylor.支持向量機導論［M］.北京：電子工業(yè)出版社，2004.
【支持向量機在數(shù)據(jù)挖掘中的應用研究論文】相關文章：
支持向量機在大氣污染預報中的應用研究05-01
支持向量機在害蟲預測預報中的應用05-02
支持向量機在飛機狀態(tài)監(jiān)控中的應用04-27
支持向量機在短期氣候預測中的應用04-30
支持向量機在海洋隨機資料分析中的應用05-02
支持向量機在城市震后火災損失預測中的應用05-02
支持向量機在大慶齊家凹陷測井解釋中的應用04-29
數(shù)據(jù)挖掘論文04-29