数据预处理和特征工程的常用功能

来源：DA随想随笔

一、 概述

机器学习最基础的5个流程，分别是数据获取，数据预处理，特征工程，建模、测试和预测，上线与部署。

如果用做菜来对比，数据获取就好比买菜，数据预处理就好比洗菜，特征工程就好比主菜辅料加工准备，建模就好比炒菜，上线部署就好比摆盘上菜。

由此可见，数据预处理和特征工程在整个机器学习应用工作中，占据了极其重要的地位。要是菜没洗干净，食材没加工好，大厨手艺再高也做不出好吃的菜。

数据预处理

数据预处理主要是从数据角度和业务角度两方面入手，从获取的数据中查缺补漏，修正不准确的数据，剔除不适用的数据。

数据预处理的主要目的就是让数据符合模型需求，能正确表达业务意义。

常见的需要处理的问题有：

数据类型问题：数据中有的是文本格式，有的是数值格式，有的同样是时间序列但是格式不同。

数据质量问题：数据存在重复值，异常值，缺失值，数据量纲不统一有的数据取值在（0，1）之间有的取值是百万级的，样本分布存在偏态有某几类样本量极大。

业务表达问题：有些数据从值上看符合一般逻辑，但是落在具体业务场景中，就会存在问题，因此要结合业务意义，剔除不符合要求的样本数据。

特征工程

特征工程主要是对原始数据进行加工、组合、转换、产生新的变量，使其更能代表预测模型的潜在问题。同时还可以通过特征工程，挑选和提取一些更有价值的特征，剔除一些对模型性能影响不大的特征，从而降低模型计算的复杂度。

特征工程的主要目的是降低模型计算成本，提高模型精度。

常见的需要处理的问题有：

相关性分析：特征与特征之间相关性强，说明具有多重共线性，可以将几个特征组合成一个新特征，实现降维；特征与目标之间的相关性强，说明特征对目标的解释性好，是可用的特征，反之，说明特征对目标没什么影响，则可以剔除该特征。

特征构造：基于原始特征，进行组合，转换，加工，生成新的特征，使得其更具有对目标的解释性。

特征降维：讲一些解释性弱的特征，业务意义不强的特征剔除，降低模型运算复杂度，提高性能。

二、 常用功能

接下来以python为例，介绍在数据预处理和特征工程过程中常用的一些方法。

# 导入数据，这里以python自带的鸢尾花数据为例
from sklearn import datasets
import pandas as pd  
import numpy as np
# 加载数据集
data = datasets.load_iris()
X = data.data   # 特征值
y = data.target   # 目标值
data_iris=pd.DataFrame(X)
data_iris['target']=pd.DataFrame(y)
data_iris=data_iris.rename(columns={0:'F1',1:'F2',2:'F3',3:'F4','target':'target'})
data_iris.head()

数据预处理

重复值处理

# 重复值删除
data_iris = data_iris.drop_duplicates()

缺失值处理

# 缺失值处理
## 查看缺失值
data_iris.isnull().sum()
## 缺失值删除
### 删除含有缺失值的行  
data_iris = data_iris.dropna()  


### 删除含有缺失值的列  
data_iris = data_iris.dropna(axis=1)


##缺失值填补
### 用指定数值填充缺失值 ，如0
data_iris = data_iris.fillna(0)
### 用均值、中位数、众数填补
data_iris = data_iris.fillna(data_iris.mean())

异常值处理

# 异常值识别
## 分位数识别异常值，将上下四分位数之外的都定义为异常值


from scipy import stats  


### 计算IQR  
Q1 = data_iris.quantile(0.25)  
Q3 = data_iris.quantile(0.75)  
IQR = Q3 - Q1  


### 找出异常值  
lower_bound = Q1 - 1.5 * IQR  
upper_bound = Q3 + 1.5 * IQR  
outliers = data_iris[(data_iris < lower_bound) | (data_iris > upper_bound)]


## 标准差识别异常值，在几个标准差之外的数据定义为异常值 
z_scores = (data_iris - data_iris.mean()) / data_iris.std()  
outliers_z = z_scores[abs(z_scores) > 3]


# 异常值处理
# 异常值处理方式很多，如直接删除或用均值替代等，其与缺失值处理方式基本一致，就不再额外赘述。

分类变量编码

让不可计算的分类变量转化为可计算的数值或者矩阵

# label编码,将分类变量转化成数值形式
from sklearn.preprocessing import LabelEncoder
data_iris.iloc[:,-1] = LabelEncoder().fit_transform(data_iris.iloc[:,-1])
# onehot编码，创建虚拟变量，将分类变量转化成01矩阵
from sklearn.preprocessing import OneHotEncoder
X = data_iris.iloc[:,1:-1]
enc = OneHotEncoder(categories='auto').fit(X)
result = enc.transform(X).toarray()

连续变量编码

将连续变量离散化，使得其可以根据有区分效果。

# 二值化，大于阈值记为1，小于阈值记为0
from sklearn.preprocessing import Binarizer
X = data_iris.iloc[:,0].values.reshape(-1,1)               #类为特征专用，所以不能使用一维数组
transformer = Binarizer(threshold=30).fit_transform(X)
#transformer
# 分箱
from sklearn.preprocessing import KBinsDiscretizer
X = data_iris.iloc[:,0].values.reshape(-1,1) 
# n_bins设置要分几箱,默认为5;encode设置编码方式，默认onehot;
# strategy设置分箱方法，默认为quantile等位分箱（每箱样本数量相同），uniform等宽分箱，每个箱的上下限差值相同，kmeans聚类分箱
est = KBinsDiscretizer(n_bins=3, encode='ordinal', strategy='uniform')
est.fit_transform(X)
#查看转换后分的箱：变成了一列中的三箱
set(est.fit_transform(X).ravel())
est = KBinsDiscretizer(n_bins=3, encode='onehot', strategy='uniform')#查看转换后分的箱：变成了哑变量
est.fit_transform(X).toarray()

标准化

消除变量的量纲，使得特征变量的值都收敛于同一个范围。

# maxmin标准化
from sklearn.preprocessing import MinMaxScaler
#实现归一化
scaler = MinMaxScaler()                             
scaler = scaler.fit(data_iris)                           
result = scaler.transform(data_iris)                     


# z标准化
from sklearn.preprocessing import StandardScaler
scaler = StandardScaler()                           
scaler = scaler.fit(data_iris) 
result = scaler.transform(data_iris)

特征工程

业务理解

通过数据预处理，数据逻辑上的错误基本已经消除。但这是否就代表着可以建模了呢？当然不是，这里还需要对特征进行处理。

如果说数据预处理是对行数据进行操作，那么特征工程主要是对列进行操作。

而这其中，最重要的一步，是对特征的业务理解。如，某一个数据集有几列分别为地区，天气，降水量，空气湿度，用户年龄。

如果现在是要对天气情况进行分析，那么很明显，用户年龄这个特征字段对这个目标是没有用处的。因此从业务理解的角度考虑，首先就可以剔除一些没有错，但没有用的特征变量。

特征选择-过滤法

# 方差过滤
## 如果一个特征的方差很小，说明数据都集中于一个范围中，没有什么差异性，甚至都是相同的值，该特征用处就不大
from sklearn.feature_selection import VarianceThreshold
#获取删除不合格特征之后的新特征矩阵
X = VairanceThreshold().fit_transform(data_iris) 
# 相关性过滤
## 如果特征与标签之间没有相关性，则可以剔除该特征，如果特征与特征之间相关性很强，则可以将特征组合，实现降维
## 这里以卡方过滤为例，常见的还有F检验，互信息等
from sklearn.ensemble import RandomForestClassifier as RFC
from sklearn.model_selection import cross_val_score
from sklearn.feature_selection import SelectKBest
from sklearn.feature_selection import chi2
# k表示需要保留的特征个数
X_kafang = SelectKBest(chi2, k=3).fit_transform(data_iris.iloc[:,:-1], data_iris['target'])
## 至于k怎么取值，一方面是可以根据业务实际需要取，也可以通过学习曲线取学习曲线中最高点对应的k值
%matplotlib inline
import matplotlib.pyplot as plt
score = []
for i in range(3,0,-1):
    X_fschi = SelectKBest(chi2, k=i).fit_transform(data_iris.iloc[:,:-1], data_iris['target'])
    once = cross_val_score(RFC(n_estimators=10,random_state=0),X_fschi,data_iris['target'],cv=5).mean()
    score.append(once)
plt.plot(range(3,0,-1),score)
plt.show()

特征选择-嵌入法

将特征嵌入模型，让算法同时进行特征选择和模型训练，然后输出特征的权重参数值，通过排序选择有用的特征，这里没有一个统一的标准去判断权重参数达到什么标准可以剔除。且不同算法对参数读取的函数也略有不同，因此对本方法就不具体举例了。

特征选择-包装法

通过引入一个函数，来帮助算法在模型训练时自主选择特征，不需要人工判断参数值。该方法相对复杂，本文也不做举例。

三、 总结

本文简单介绍了数据分析过程中，数据预处理和特征工程的相关基础内容，并进行了一些举例。但其实这两部分内容远不是这么简单，在实际操作中，所遇到的问题更加复杂，且可应用的方法也非常多，本文所介绍的都是最基础的方法，便于理解其用途。

可以说数据分析结果好不好，很大程度取决于数据预处理和特征工程做的好不好。本文相对粗浅，感兴趣的朋友，可以再深入研究。

审核编辑：汤梓红