Machine learning (formula derivation and code implementation)--sklearn machine learning library

一.scikit-learn概述

1.sklearn模型

  sklearn全称是scikit-learn,它是一个基于PythonThe machine them library,主要建立在NumPy、Pandas、SciPy和MatplotlibSuch as libraries,Basically covers the common classification、回归、聚类、降维、Model selection and pretreatment module.

2.sklearn源码

下图是sklearn在GitHub上的源代码,Programming language mainly include：91.4%的Python,6.5%的Cython,1.3%的C++和0.8%的Other.如下所示：

二.模型选择和预处理

1.模型选择
解析：网格搜索,交叉验证
2.预处理
解析：评估指标,数据预处理

三.有监督学习模型

  Supervised model can be divided into emergent model and the discriminant model,Common emergent model include simple bayesian、HMMAnd implied dirichlet distribution(LDA),Other basic are discriminant model. 1.线性模型
解析：线性回归,对数几率回归,LASSO回归,Ridge回归,线性判别分析(LDA)
2.近邻
3.决策树 解析：ID3,C4.5,CART
4.神经网络
解析：感知机,神经网络
5.支持向量机
解析：线性可分,近似线性可分,线性不可分
6.集成模型
(1)Boosting
解析：AdaBoost,GBDT,XGBoost,LightGBM,CatBoost
(2)Bagging
解析：随机森林

四.无监督学习模型

1.聚类
解析：均值聚类,层次聚类,谱聚类
2.降维
解析：主成分分析(PCA),奇异值分解(SVD)

五.概率模型

1.最大信息熵模型
2.Bayesian probability model
解析：朴素贝叶斯,贝叶斯网络
3.期望最大化(EM)算法
4.概率图模型
解析：隐马尔科夫模型(HMM),条件随机场(CRF)
5.马尔可夫链蒙特卡洛(MCMC)

参考文献：
[1]scikit-learn：https://scikit-learn.org/stable/
[2]scikit-learn(sklearn)官方文档中文版：https://sklearn.apachecn.org/#/?id=scikit-learn-sklearn-官方文档中文版
[3]scikit-learn安装：https://scikit-learn.org/stable/install.html
[4]scikit-learn用户指南：https://scikit-learn.org/stable/user_guide.html
[5]scikit-learn API参考：https://scikit-learn.org/stable/modules/classes.html
[6]scikit-learn例子：https://scikit-learn.org/stable/auto_examples/index.html
[7]scikit-learn博客：https://blog.scikit-learn.org/
[8]scikit-learn教程：https://scikit-learn.org/stable/tutorial/index.html
[9]scikit-learn FAQ：https://scikit-learn.org/stable/faq.html
[10]scikit-learn GitHub：https://github.com/scikit-learn/scikit-learn
[11]scikit-learnDifferent versions of the document：https://scikit-learn.org/dev/versions.html
[12]scikit-learn wiki：https://github.com/scikit-learn/scikit-learn/wiki
[13]scikit-learn版本更新日志：https://scikit-learn.org/stable/whats_new/v1.1.html
[14]scikit-learn开发指南：https://scikit-learn.org/dev/developers/index.html
[15]scikit-learn相关类库：https://scikit-learn.org/stable/related_projects.html
[16]Hugging Face：https://huggingface.co/
[17]《机器学习：公式推导与代码实现》