当前位置:网站首页>评估方法的优缺点
评估方法的优缺点
2022-07-06 09:11:00 【一曲无痕奈何】
1、过拟合:当学习器把训练样本学的太好,很可能把已经训练的样本特点当做了所有潜在样本都会有的一般性质,这样就会导致泛华能力下降(泛化能力指学习的模型应用在未知的样本中的能力)。
2、欠拟合:指学习能力低下,认为很一般的特点都是所有的特点。
评估方法:
- 留出法:若训练集包含绝大多数样本,则训练出的样本可能就接近想要的训练模型,但是由于测试集较小,评估结果可能就不够准确,基本划分的数据集的模式:2:1,4:1前面分别用做训练,后面的用作测试。
- 交叉验证法:等分,分层采样,取均值,缺陷则是:在数据集较大开销太大,花费时间较多。
- 自助法:循环从整体数据中取放进样例中,又放回的抽取,最终初始数据有0.368的样本未出现,用于测试。自助法能从初始数据集中出现的样本用于测试,这样的测试也称为包外估计。优点:自助法在数据集较小,难以有效划分训练\测试集时候很有用,能从初始数据集中产生多个不同的训练集,缺点:但是改变了数据集分布,这会引入估计偏差。
但是在初始数据量足够时候,留出法和交叉验证法更常用。
调参与最终参数模型:
调参的一般准则:对每个参数选定一个范围和一个变化的步长,这是这是在计算开销与性能的折中方案。
性能度量:衡量模型泛华能力的度量,性能不仅取决于算法和数据,还决定任务需求。
回归任务最常用的性能度量:均方误差。
查全率 (TP/(TP+FN))、查准率(TP/(TP+FP)):TP真正例 FP假正例 TN真反例 FN假反例。
F1是基于查全率与查准率的调和平均定义的:2*TP/(样例总数+TP-TN)
ROC:受试工作特征。 横轴TPR(真正例)=TP/(TP+FN),纵轴FPR(假正例):FP/(TN+FP)。
规范化:将不同变化范围的值映射到相同固定范围内,常见的是[0,1],也称归一化。
偏差:期望输出与真实标记的差别,刻画学习算法本身的拟合能力。
泛化误差可分解为偏差、方差(度量了同样大小训练集的变动所导致的学习性能的变化吗,刻画了数据扰动所造成的影响)、与噪声(表达了在当前任务上任何学习算法所能达到的期望泛化误差的下界)之和。
边栏推荐
- MySQL combat optimization expert 10 production experience: how to deploy visual reporting system for database monitoring system?
- Southwest University: Hu hang - Analysis on learning behavior and learning effect
- 华南技术栈CNN+Bilstm+Attention
- Several silly built-in functions about relative path / absolute path operation in CAPL script
- Ueeditor internationalization configuration, supporting Chinese and English switching
- A necessary soft skill for Software Test Engineers: structured thinking
- 112 pages of mathematical knowledge sorting! Machine learning - a review of fundamentals of mathematics pptx
- 高并发系统的限流方案研究,其实限流实现也不复杂
- text 文本数据增强方法 data argumentation
- Control the operation of the test module through the panel in canoe (primary)
猜你喜欢
The 32-year-old fitness coach turned to a programmer and got an offer of 760000 a year. The experience of this older coder caused heated discussion
MySQL實戰優化高手04 借著更新語句在InnoDB存儲引擎中的執行流程,聊聊binlog是什麼?
在CANoe中通過Panel面板控制Test Module 運行(初級)
The replay block of canoe still needs to be combined with CAPL script to make it clear
MySQL Real Time Optimization Master 04 discute de ce qu'est binlog en mettant à jour le processus d'exécution des déclarations dans le moteur de stockage InnoDB.
颜值爆表,推荐两款JSON可视化工具,配合Swagger使用真香
CAPL script printing functions write, writeex, writelineex, writetolog, writetologex, writedbglevel do you really know which one to use under what circumstances?
Redis集群方案应该怎么做?都有哪些方案?
[after reading the series of must know] one of how to realize app automation without programming (preparation)
Some thoughts on the study of 51 single chip microcomputer
随机推荐
CAPL script printing functions write, writeex, writelineex, writetolog, writetologex, writedbglevel do you really know which one to use under what circumstances?
Upload vulnerability
Installation de la pagode et déploiement du projet flask
Not registered via @enableconfigurationproperties, marked (@configurationproperties use)
AI的路线和资源
华南技术栈CNN+Bilstm+Attention
15 medical registration system_ [appointment registration]
Pointer learning
简单解决phpjm加密问题 免费phpjm解密工具
Tianmu MVC audit I
[flask] crud addition and query operation of data
MySQL底层的逻辑架构
MySQL實戰優化高手08 生產經驗:在數據庫的壓測過程中,如何360度無死角觀察機器性能?
C杂讲 动态链表操作 再讲
MySQL实战优化高手06 生产经验:互联网公司的生产环境数据库是如何进行性能测试的?
MySQL ERROR 1040: Too many connections
Solve the problem of remote connection to MySQL under Linux in Windows
Typescript入门教程(B站黑马程序员)
Contest3145 - the 37th game of 2021 freshman individual training match_ C: Tour guide
Flash operation and maintenance script (running for a long time)