年底因为工作任务，调研了几篇推荐系统 （ Recommender System ，以下简称RS） 的论文；我写硕论时还不流行深度学习（Deep Learning，以下简称DL），转眼间DL已经成为显学，近年发表的推荐算法也都是基于DL的研究，我也已经应用在业界的项目中，并获得了一些进展，但对DL应用在RS的普遍成效，我也是相当好奇。
趁着还记得调研的内容，在此以ACM RecSys 2019最佳论文「Are We Really Making Much Progress? A Worrying Analysis of Recent Neural Recommendation Approaches」为基础，跟大家分享一些心得：
读后总结：
- DL应用在电脑视觉CV和自然语言处理NLP领域相当成功，但在其他方面不如预期。
- 2015到2018年RecSys, WWW, KDD, SIGIR顶级会议共有18篇DL论文与top-n推荐有关，可重现的实验有7篇，比例约39%；也就是61%的实验无法重现。
- 通常做为baseline的方法有非个性化TopPopular、协同过滤CF的ItemKNN、UserKNN、P3alpha、RP3beta，混合的ItemKNN CF + CB，以及机器学习ML的SLIM。
- 论文作者重现这7个实验，验证其进展是否真实，发现DL方法，效果并没有上述经典的启发式方法好，在7篇论文中只有1篇优于上述baseline方法，但只是在部分情况下超越。
- 论文作者认为导致此结果的原因，是这7篇论文挑选了较差的baseline方法和参数、所选择的测试数据epoch次数不同，甚至有实验进程不同导致评估错误。
个人心得：
- 为了验证这几年的进展，论文作者使用公开数据集作为可重现条件之一，从18篇论文中挑选了7篇重现实验，但目前的公开数据集有数据量不够大，矩阵比较不稀疏，以及特征少等特色；此种数据集并非DL的强项。
- 公开数据集大多出于学术界，其大小与特征丰富程度远低于业界的系统；所以论文作者的结论，以及DL在商用数据集的表现，还有待进一步的验证。
参考数据：
https://dl.acm.org/authorize?N684126
https://arxiv.org/pdf/1907.06902.pdf
