当前位置:网站首页>MIT博士论文 | 优化理论与机器学习实践
MIT博士论文 | 优化理论与机器学习实践
2022-06-30 22:21:00 【智源社区】
机器学习是一种从数据中提取预测模型,从而能够将预测泛化到未观察数据的技术。根据已知数据集选择良好模型的过程需要进行优化。具体地说,优化过程在约束集中生成一个变量来最小化目标。这个过程包含了包括神经网络训练在内的许多机器学习管道,这将是我们在本文中进行理论分析的主要试验场。在各种优化算法中,梯度方法因其高维可扩展性和反向传播的自然局限性而成为深度学习中的主导算法。然而,尽管基于梯度的算法很受欢迎,但我们从理论的角度对机器学习环境中的这种算法的理解似乎还远远不够。一方面,在现有的理论框架内,大多数上下界是封闭的,理论问题似乎得到了解决。另一方面,理论分析很难产生比实践者发现的经验更快的算法。本文回顾了梯度法的理论分析,指出了理论与实践的差异。然后,我们解释了为什么会发生不匹配,并通过发展由经验观察驱动的理论分析,提出了一些初始解决方案。
边栏推荐
- What are database OLAP and OLTP? Same and different? Applicable scenarios
- Summary of interesting websites
- Cas classique multithreadé
- 【Android,Kotlin,TFLite】移动设备集成深度学习轻模型TFlite(图像分类篇)
- Discuz forum speed up to delete XXX under data/log PHP file
- 【Android,Kotlin,TFLite】移动设备集成深度学习轻模型TFlite(物体检测篇)
- 云游戏| 云计算推动游戏行业进入“新纪元”
- Develop technology - get time 10 minutes ago
- Where can I find the computer version of wechat files
- 基于kubernetes平台微服务的部署
猜你喜欢
[450. delete nodes in binary search tree]
dba
Anfulai embedded weekly report no. 270: June 13, 2022 to June 19, 2022
Zhoushaojian, rare
Win11如何优化服务?Win11优化服务的方法
Redis的事务和锁机制
实现多方数据安全共享,解决普惠金融信息不对称难题
The Sandbox 正在 Polygon 网络上进行部署
部门新来了个阿里25K出来的,让我见识到了什么是天花板
Based on the open source stream batch integrated data synchronization engine Chunjun data restore DDL parsing module actual combat sharing
随机推荐
I want to know who I need to know to open a stock account? In addition, is it safe to open a mobile account?
部门新来了个阿里25K出来的,让我见识到了什么是天花板
Neo4j load CSV configuration and use
【Android,Kotlin,TFLite】移动设备集成深度学习轻模型TFlite(物体检测篇)
牛逼|珍藏多年的工具让我实现了带薪摸鱼自由
AtCoder Beginner Contest 255
Using Obsidian with Hugo, markdown's local editing software is seamlessly connected with online
软件确认测试的内容和流程有哪些?确认测试报告需要多少钱?
【MySQL入门】第一话 · 初入“数据库”大陆
对于产业互联网的粗浅认识,最终将产业互联网的发展带入到了消费互联网的怪圈之中
云游戏| 云计算推动游戏行业进入“新纪元”
2022-06-30:以下golang代码输出什么?A:0;B:2;C:运行错误。 package main import “fmt“ func main() { ints := make
On several key issues of digital transformation
公有云市场迈入深水区,冷静的亚马逊云还坐得住吗?
latex左侧大括号 latex中大括号多行公式
Coredns modifying upstream
软件测试报告包含哪些内容?如何获取高质量软件测试报告?
AtCoder Beginner Contest 255
Web APIs comprehensive case -tab column switching - dark horse programmer
A new one from Ali 25K came to the Department, which showed me what the ceiling is