AI 文摘

最新综述大模型时代下的推荐系统总结





作者: 机器学习与推荐算法 来源: 机器学习与推荐算法

嘿,记得给“机器学习与推荐算法”添加****星标

TLDR: 本文综述了最近使用大语言模型技术来增强推荐系统的相关工作,主要是将当前工作分为预训练(Pre-training)、微调(Fine-tuning)和提示(Promoting)的角度来进行介绍。

论文:arxiv.org/abs/2307.02046

随着电子商务和网络应用的繁荣发展,推荐系统已经成为我们日常生活中的重要组成部分。虽然深度神经网络在增强推荐系统方面取得了显著进展,通过建模用户-物品交互和融入文本信息等手段,但这些基于深度神经网络的方法仍然面临一些挑战,比如难以有效理解用户的兴趣、捕捉文本信息、不能很好地适应各种未见的推荐场景以及推理能力等。

最近大语言模型,如ChatGPT和GPT4,由于在语言理解和生成方面具有出色的能力,以及令人印象深刻的泛化和推理能力,已经彻底改变了自然语言处理和人工智能领域。因此,最近的研究尝试利用大语言模型的强大能力来增强推荐系统,并且已经在推荐系统多个子任务上进行了初步尝试,比如Top K推荐、评分预测、对话推荐以及解释生成等。

大语言模型在电影推荐场景中各种推荐任务示例

鉴于推荐系统这一研究方向的快速发展,迫切需要对现有的大模型增强的推荐系统进行系统概述,以便为相关领域的研究人员和从业者提供深入的了解。因此,在本文中从预训练、微调和提示等各个方面对大模型增强的推荐系统进行了全面综述。下表展示了每种分类下具体的推荐任务和骨干模型以及对应的参考文献。

具体来说,首先介绍了利用大模型(作为特征编码器)来学习用户和物品表示的代表性的方法,主要分为了ID表示和文本增强的表示方法。

然后,从预训练、微调和提示三个范式来回顾大语言模型在增强推荐系统方面的最新技术。

预训练范式:

两种主流的语言模型预训练方法:Masked Language Model和Next Token Prediction大模型增强的推荐系统中的预训练方法

微调范式:

两种主流的语言模型微调方法:全量模型微调和参数高效的微调方法大模型增强的推荐系统中的微调方法

提示范式:

三种主流的语言模型提示方法:In-context learning、Prompt tuning和Instruction tuning

最后,综述讨论了这个新兴领域的未来发展方向,比如大模型中的幻觉缓解技术、可信大模型推荐系统、特定垂直领域的大模型应用于推荐等。

更多技术细节请阅读原始论文。

####欢迎****干货投稿 \ 论文宣传 \ 合作交流

推荐阅读

论文周报 | 推荐系统领域最新研究进展

TOIS特刊征稿 | 主题: Pre-trained Models for Search and Recommendation

ICDM2023@Workshop征稿 | 面向推荐系统的神经网络算法及理论

由于公众号试行乱序推送,您可能不再准时收到机器学习与推荐算法的推送。为了第一时间收到本号的干货内容, 请将本号设为星标,以及常点文末右下角的“在看”。

喜欢的话点个在看吧👇

更多AI工具,参考Github-AiBard123国内AiBard123

可关注我们的公众号:每天AI新工具