什麼是數據泄露

這裏和大家說一個概念：

data leakage（數據泄露）

。這裏數據泄露並不指的是隱私數據的泄露，而是特指機器學習中數據（訓練數據和驗證數據）存在异常情况。

1.什麼是data leakage

Kaggle比賽會有些參賽隊員因為找個某到魔性特征（magic feature）而獲得冠軍，magic feature的存在可能就預示參賽數據存在data leakage。

data leakage的外在錶現： 你訓練的模型的准確率异常的好，例如達到100%。但是實際線上預測的效果卻很差。

所以當你的模型錶現超出你的預期的時候，不要高興的太早，請認真分析下你的數據

。

data leakage的分類：

• 預測data leakage
   

•  
  數據驗證data leakage
  。

2. 預測data leakage

模型預測是構建一個因到果的映射過程，這種leakage一般發生在模型的數據使用了由【果】發生後產生的一些特征，這些特征和【果】有非常强的相關，預測出來的模型就會變成有

【果】到【果】

的映射。例如，我們要預測【是否是糖尿病患者】這個【果】，肥胖程度、體力活動程度、飲食結構、病毒感染等可能都是正常的【因】。但是如果你用了【是否打過胰島素】這個作為【因】，就會出現這種leakage， 因為糖尿病患者確診後都會去打胰島素，存在

倒果為因

的現象。在模型部署的時候你會發現這些特征你根本獲取不到。

3.數據驗證data leakage

這種leakage一般是由於在拆分訓練集和測試（驗證）集存在不當處理導致的

。

例如你在做了預處理操作（如歸一化，缺失值補充等）之後再拆分數據，這個時候訓練集和驗證集就可能存在某種關聯，驗證集一定程度上就缺失完全獨立的假設，訓練出來的模型可能就會在驗證集有很好的分數，但是線上部署則不然。

4.如何避免data leakage

如果你的模型的性能出奇的好，停下來分析下數據看看是不是存在data leakage

• 仔細分析下那些和預測目標强相關的特征

• 盡量保證驗證集和模型訓練的訓練的獨立性，特別是交叉驗證的時候。

參考：https://www.kaggle.com/dansbecker/data-leakage