電子發(fā)燒友App
以下是關(guān)于Rahul Agarwal 分享的內(nèi)容，編譯整理如下。
數(shù)據(jù)科學(xué)實(shí)際上是就是研究算法。
我每天都在努力學(xué)習(xí)許多算法，所以我想列出一些最常見和最常用的算法。
本文介紹了在處理數(shù)據(jù)時(shí)可以使用的一些最常見的采樣技術(shù)。
簡單隨機(jī)抽樣
假設(shè)您要選擇一個群體的子集，其中該子集的每個成員被選擇的概率都相等。
下面我們從一個數(shù)據(jù)集中選擇 100 個采樣點(diǎn)。
sample_df = df.sample（100）
分層采樣
假設(shè)我們需要估計(jì)選舉中每個候選人的平均票數(shù)。現(xiàn)假設(shè)該國有 3 個城鎮(zhèn)：
A 鎮(zhèn)有 100 萬工人，
B 鎮(zhèn)有 200 萬工人，以及
C 鎮(zhèn)有 300 萬退休人員。
我們可以選擇在整個人口中隨機(jī)抽取一個 60 大小的樣本，但在這些城鎮(zhèn)中，隨機(jī)樣本可能不太平衡，因此會產(chǎn)生偏差，導(dǎo)致估計(jì)誤差很大。
相反，如果我們選擇從 A、B 和 C 鎮(zhèn)分別抽取 10、20 和 30 個隨機(jī)樣本，那么我們可以在總樣本大小相同的情況下，產(chǎn)生較小的估計(jì)誤差。
使用 python 可以很容易地做到這一點(diǎn)：
from sklearn.model_selection import train_test_splitX_train， X_test， y_train， y_test = train_test_split（X， y， stratify=y， test_size=0.25）
水塘采樣
我喜歡這個問題陳述：
假設(shè)您有一個項(xiàng)目流，它長度較大且未知以至于我們只能迭代一次。
創(chuàng)建一個算法，從這個流中隨機(jī)選擇一個項(xiàng)目，這樣每個項(xiàng)目都有相同的可能被選中。
我們怎么能做到這一點(diǎn)？
假設(shè)我們必須從無限大的流中抽取 5 個對象，且每個元素被選中的概率都相等。
import randomdef generator（max）：
number = 1
while number 《 max：
number += 1
yield number# Create as stream generator
stream = generator（10000）# Doing Reservoir Sampling from the stream
k=5
reservoir = ［］
for i， element in enumerate（stream）：
if i+1《= k：
reservoir.append（element）
else：
probability = k/（i+1）
if random.random（） 《 probability：
# Select item in stream and remove one of the k items already selected
reservoir［random.choice（range（0，k））］ = elementprint（reservoir）
------------------------------------
［1369， 4108， 9986， 828， 5589］
從數(shù)學(xué)上可以證明，在樣本中，流中每個元素被選中的概率相同。這是為什么呢？
當(dāng)涉及到數(shù)學(xué)問題時(shí)，從一個小問題開始思考總是有幫助的。
所以，讓我們考慮一個只有 3 個項(xiàng)目的流，我們必須保留其中 2 個。
當(dāng)我們看到第一個項(xiàng)目，我們把它放在清單上，因?yàn)槲覀兊乃劣锌臻g。在我們看到第二個項(xiàng)目時(shí)，我們把它放在列表中，因?yàn)槲覀兊乃吝€是有空間。
現(xiàn)在我們看到第三個項(xiàng)目。這里是事情開始變得有趣的地方。我們有 2/3 的概率將第三個項(xiàng)目放在清單中，
現(xiàn)在讓我們看看第一個項(xiàng)目被選中的概率：
移除第一個項(xiàng)目的概率是項(xiàng)目 3 被選中的概率乘以項(xiàng)目 1 被隨機(jī)選為水塘中 2 個要素的替代候選的概率。這個概率是：
2/3*1/2 = 1/3
因此，選擇項(xiàng)目 1 的概率為：
1–1/3=2/3
我們可以對第二個項(xiàng)目使用完全相同的參數(shù)，并且可以將其擴(kuò)展到多個項(xiàng)目。
因此，每個項(xiàng)目被選中的概率相同：2/3 或者用一般的公式表示為 K/N
隨機(jī)欠采樣和過采樣
我們經(jīng)常會遇到不平衡的數(shù)據(jù)集。
一種廣泛采用的處理高度不平衡數(shù)據(jù)集的技術(shù)稱為重采樣。它包括從多數(shù)類（欠采樣）中刪除樣本或向少數(shù)類（過采樣）中添加更多示例。
讓我們先創(chuàng)建一些不平衡數(shù)據(jù)示例，
from sklearn.datasets import make_classificationX， y = make_classification（ n_classes=2， class_sep=1.5， weights=［0.9， 0.1］， n_informative=3， n_redundant=1， flip_y=0， n_features=20， n_clusters_per_class=1， n_samples=100， random_state=10）X = pd.DataFrame（X）X［ target ］ = y
我們現(xiàn)在可以使用以下方法進(jìn)行隨機(jī)過采樣和欠采樣：
num_0 = len（X［X［ target ］==0］）num_1 = len（X［X［ target ］==1］）print（num_0，num_1）# random undersampleundersampled_data = pd.concat（［ X［X［ target ］==0］.sample（num_1） ， X［X［ target ］==1］ ］）print（len（undersampled_data））# random oversampleoversampled_data = pd.concat（［ X［X［ target ］==0］ ， X［X［ target ］==1］.sample（num_0， replace=True） ］）print（len（oversampled_data））------------------------------------------------------------OUTPUT:90 1020180
使用 imbalanced-learn 進(jìn)行欠采樣和過采樣
imbalanced-learn（imblearn）是一個用于解決不平衡數(shù)據(jù)集問題的 python 包，它提供了多種方法來進(jìn)行欠采樣和過采樣。
a. 使用 Tomek Links 進(jìn)行欠采樣：
imbalanced-learn 提供的一種方法叫做 Tomek Links。Tomek Links 是鄰近的兩個相反類的例子。
在這個算法中，我們最終從 Tomek Links 中刪除了大多數(shù)元素，這為分類器提供了一個更好的決策邊界。
from imblearn.under_sampling import TomekLinks
tl = TomekLinks（return_indices=True， ratio= majority ）
X_tl， y_tl， id_tl = tl.fit_sample（X， y）
b. 使用 SMOTE 進(jìn)行過采樣：
在 SMOE（Synthetic Minority Oversampling Technique）中，我們在現(xiàn)有元素附近合并少數(shù)類的元素。
from imblearn.over_sampling import SMOTE
smote = SMOTE（ratio= minority ）
X_sm， y_sm = smote.fit_sample（X， y）
imbLearn 包中還有許多其他方法，可以用于欠采樣（Cluster Centroids， NearMiss 等）和過采樣（ADASYN 和 bSMOTE）。
結(jié)論
算法是數(shù)據(jù)科學(xué)的生命線。
抽樣是數(shù)據(jù)科學(xué)中的一個重要課題，但我們實(shí)際上并沒有討論得足夠多。
有時(shí)，一個好的抽樣策略會大大推進(jìn)項(xiàng)目的進(jìn)展。錯誤的抽樣策略可能會給我們帶來錯誤的結(jié)果。因此，在選擇抽樣策略時(shí)應(yīng)該小心。
工商網(wǎng)監(jiān)
評論