在本文中，我將向大家介紹如何使用Apache Spark的spark.ml庫(kù)中的隨機(jī)森林算法來(lái)對(duì)銀行信用貸款的風(fēng)險(xiǎn)做分類(lèi)預(yù)測(cè)。Spark的spark.ml庫(kù)基于DataFrame，它提供了大量的接口，幫助用戶(hù)創(chuàng)建和調(diào)優(yōu)機(jī)器學(xué)習(xí)工作流。結(jié)合dataframe使用spark.ml，能夠?qū)崿F(xiàn)模型的智能優(yōu)化，從而提升模型效果。
　　分類(lèi)算法
　　分類(lèi)算法是一類(lèi)監(jiān)督式機(jī)器學(xué)習(xí)算法，它根據(jù)已知標(biāo)簽的樣本（如已經(jīng)明確交易是否存在欺詐）來(lái)預(yù)測(cè)其它樣本所屬的類(lèi)別（如是否屬于欺詐性的交易）。分類(lèi)問(wèn)題需要一個(gè)已經(jīng)標(biāo)記過(guò)的數(shù)據(jù)集和預(yù)先設(shè)計(jì)好的特征，然后基于這些信息來(lái)學(xué)習(xí)給新樣本打標(biāo)簽。所謂的特征即是一些“是與否”的問(wèn)題。標(biāo)簽就是這些問(wèn)題的答案。在下面這個(gè)例子里，如果某個(gè)動(dòng)物的行走姿態(tài)、游泳姿勢(shì)和叫聲都像鴨子，那么就給它打上“鴨子”的標(biāo)簽。
　　
　　我們來(lái)看一個(gè)銀行信貸的信用風(fēng)險(xiǎn)例子：
　　我們需要預(yù)測(cè)什么？
　　某個(gè)人是否會(huì)按時(shí)還款這就是標(biāo)簽：此人的信用度
　　你用來(lái)預(yù)測(cè)的“是與否”問(wèn)題或者屬性是什么？
　　申請(qǐng)人的基本信息和社會(huì)身份信息：職業(yè)，年齡，存款儲(chǔ)蓄，婚姻狀態(tài)等等……這些就是特征，用來(lái)構(gòu)建一個(gè)分類(lèi)模型，你從中提取出對(duì)分類(lèi)有幫助的特征信息。
　　決策樹(shù)模型
　　決策樹(shù)是一種基于輸入特征來(lái)預(yù)測(cè)類(lèi)別或是標(biāo)簽的分類(lèi)模型。決策樹(shù)的工作原理是這樣的，它在每個(gè)節(jié)點(diǎn)都需要計(jì)算特征在該節(jié)點(diǎn)的表達(dá)式值，然后基于運(yùn)算結(jié)果選擇一個(gè)分支通往下一個(gè)節(jié)點(diǎn)。下圖展示了一種用來(lái)預(yù)測(cè)信用風(fēng)險(xiǎn)的決策樹(shù)模型。每個(gè)決策問(wèn)題就是模型的一個(gè)節(jié)點(diǎn)，“是”或者“否”的答案是通往子節(jié)點(diǎn)的分支。
　　問(wèn)題1：賬戶(hù)余額是否大于200元？
　　否問(wèn)題2：當(dāng)前就職時(shí)間是否超過(guò)1年？
　　否不可信賴(lài)
　　
　　隨機(jī)森林模型
　　融合學(xué)習(xí)算法結(jié)合了多個(gè)機(jī)器學(xué)習(xí)的算法，從而得到了效果更好的模型。隨機(jī)森林是分類(lèi)和回歸問(wèn)題中一類(lèi)常用的融合學(xué)習(xí)方法。此算法基于訓(xùn)練數(shù)據(jù)的不同子集構(gòu)建多棵決策樹(shù)，組合成一個(gè)新的模型。預(yù)測(cè)結(jié)果是所有決策樹(shù)輸出的組合，這樣能夠減少波動(dòng)，并且提高預(yù)測(cè)的準(zhǔn)確度。對(duì)于隨機(jī)森林分類(lèi)模型，每棵樹(shù)的預(yù)測(cè)結(jié)果都視為一張投票。獲得投票數(shù)最多的類(lèi)別就是預(yù)測(cè)的類(lèi)別。