机器学习(二) —— 机器学习基础

大家可以关注知乎或微信公众号的share16，我们也会同步更新此文章。

一、补充知识

1.1 xgboost

   xgboost和LightGBM等，是目前数据挖掘中最常用的预测算法。xgboost是GBDT(梯度提升树)算法的工程实现，其逻辑是：首先训练一颗树，然后计算出每个样本的误差(也叫梯度)，通过去拟合误差训练下一颗树，一直拟合直到训练结果符合要求。

import xgboost as xgb 
# from xgboost.sklearn import XGBClassifier
xgb.XGBClassifier()
# objective="binary:logistic" 目标函数,代表是二分类,损失函数是logistic

1.2 LightGBM

   LightGBM可以说是xgboost上的延续，在xgboost上做了一些优化，从应用层面上来说最直接的两点就是：①速度变快了很多；②可以支持类别型特征(在xgb中是不可以的，需要one-hot)。

import lightgbm as gbm
gbm.LGBMClassifier()

1.3 BP神经网络

   BP神经网络是一种按照误差逆向传播算法训练的多层前馈神经网络，是应用最广泛的神经网络模型之一，也是目前深度学习的理论基础。目前深度学习网络的参数优化是基于BP和梯度回归的。BP神经网络分为前向网络和后向网络，前向网络是计算目标值，后向网络用于梯度计算。

from sklearn.neural_network import MLPClassifier
BP = MLPClassifier()

谢谢大家