当前位置:网站首页>推荐系统:实时性【特征实时性:客户端实时特征(秒级,实时)、流处理平台(分钟级,近实时)、分布式批处理平台(小时/天级,非实时)】【模型实时性:在线学习、增量更新、全量更新】
推荐系统:实时性【特征实时性:客户端实时特征(秒级,实时)、流处理平台(分钟级,近实时)、分布式批处理平台(小时/天级,非实时)】【模型实时性:在线学习、增量更新、全量更新】
2022-07-30 19:44:00 【u013250861】
模型的实时性与模型的训练方式紧密相关,模型的实时性由弱到强的训练方式分别是全量更新,增量更新和在线学习。

推荐系统的实时性,包括
- 特征实时性:更快捕获/更新用户特征
- 模型实时性:更快发现数据趋势



一、特征实时性(实时性由强到弱)

1、客户端实时特征(秒级,实时)
发生在客户端session,实时计算用户特征,可达秒级
2、流处理平台(分钟级,近实时)
典型的流处理平台像Flink、Spark Streaming,均具备处理某个时间窗口内的数据流的能力,能够统计用户点击行为等特征,并写入Redis,可达分钟级。
3、分布式批处理平台(小时/天级,非实时)
分布式批处理平台(spark, hadoop等)一般处理全量的数据,这个过程中,可能需要准备好并且join多张表,耗费几个小时到天不等。计算得到的特征一般有两个用途:1. 模型训练和离线评估 2. 特征保存到特征数据库,供模型在线推理
二、模型实时性(实时性由强到弱)
1、在线学习(FTRL)
获得一个样本的同时,更新模型。经典的方案:FTRL。
绝大多数产品对“在线学习”都没有需求;
一般用于电商做“大促”的时候;“大促”的时候用户的喜欢很可能与平时有很大的区别,而且实时变化;
2、增量更新
将新加入的样本喂给模型,进行训练,往往无法找到全局最优点,所以通常的做法是 n轮增量更新+1轮全量更新

3、全量更新
在某个时间段,使用落盘的全量样本对模型进行训练。最常用的模型训练方式
4、局部更新
将模型分为两部分,以较快频率更新需要快速迭代的部分,反之则以较慢频率更新。常见的方案为:预训练Embedding+神经网络,其中,预训练Embedding部分无需快速迭代,而上层神经网络部分更新需要较高的实时性。
边栏推荐
- Correct pose of Vulkan open feature
- 055 c# print
- Interviewer Ali: Describe to me the phenomenon of cache breakdown, and talk about your solution?
- MindSpore:对image作normalize的目的是什么?
- MySQL sub-database sub-table
- MySQL数据库主从配置
- Mapped Statements collection does not contain value for的解决方法
- MindSpore:数据处理问题
- Listen to the boot broadcast
- mysql慢查询优化
猜你喜欢

VS Code connects to SQL Server

MySQL数据库之JDBC编程

Mac安装PHP开发环境

MySQL六脉神剑,SQL通关大总结

MySQL slow query optimization

Is the iPhone really thirteen incense?The two generations of products are completely compared, perhaps the previous generation is more worth buying

MindSpore:对image作normalize的目的是什么?

ELK log analysis system

【MindSpore1.2.0-rc1产品】num_workers问题

【无标题】多集嵌套集合使不再有MultipleBagFetchException
随机推荐
【无标题】多集嵌套集合使不再有MultipleBagFetchException
MySQL分组后取最大一条数据【最优解】
mysql慢查询优化
PHP低代码开发引擎—表单设计
MySQL夺命10问,你能坚持到第几问?
Linux下最新版MySQL 8.0的下载与安装(详细步骤)
【Node实现数据加密】
MySQL eight-part text recitation version
Snowflake vs. Redshift的2022战报:两个数据平台谁更适合你?
MindSpore:Cifar10Dataset‘s num_workers=8, this value is not within the required range of [1, cpu_thr
Typora设置标题自动标号
Correct pose of Vulkan open feature
Database Tuning - Database Tuning
“数字化重构系统,搞定 CEO 是第一步”
MySQL数据库之JDBC编程
阿里面试官:给我描述一下缓存击穿的现象,并说说你的解决思路?
musicApp 的.eslintrc.js
Zabbix 5.0 监控教程(一)
MySQL database master-slave configuration
How to copy table structure and table data in MySQL