【NLP+图神经网络+推荐领域】2024年最新综述性文章推荐(1)

机器翻译的最新进展可以关注下谷歌AI和谷歌翻译2020的总结 ：

阅读地址：

https://ai.googleblog.com/2020/06/recent-advances-in-google-translate.html

阅读地址：

https://ai.googleblog.com/2021/01/google-research-looking-back-at-2020.html#Translation

涉及多语种、低资源和测评多个领域的研究进展，以及Facebook FAIR的NMT进展

阅读地址：

https://arxiv.org/abs/2010.11125

机器翻译的测评。

阅读地址：

http://www.statmt.org/wmt20/

每年国内外知名科研机构和工业界都有团队参加，贡献的技术报告也可以了解到当前实用的提升翻译性能的机器翻译技术。

Philipp Koehn 17年写的这篇，里面提到的挑战是NMT领域未来重点关注的方向。

阅读地址：

https://www.aclweb.org/anthology/W17-3204.pdf

▐  对话领域

对话领域可以重点关注下谷歌去年的工作，简单粗暴的大模型和大数据直接碾压了之前SOTA的结果。

阅读地址：

https://arxiv.org/abs/2001.09977

谷歌的 Meena 和 Facebook 的Blender 很好地诠释了深度学习在NLP领域的一个发展方向：简单粗暴+大力出奇迹。

阅读地址：

https://ai.googleblog.com/2020/01/towards-conversational-agent-that-can.html

**Q：**图神经网络，有哪些值得推荐的综述性文章

=============================

---

豆苗：

图神经网络和卷积神经网络有着一脉相承的理论基础，建议可以此先了解卷积神经网络的一些基础理论知识。这个可以直接看吴恩达老师《卷积神经网络》的第一周课程。

至于图神经网络，它是2017年才逐渐火起来的，相应的系统性的资料较少。这里给题主列出一些我自己在学习时使用到的书籍、视频等资料。

《深入浅出图神经网络》，这本书是从原理、算法、实现、应用4个维度详细讲解图神经网络的，整体排版很舒服，对于想快速上手的小伙伴较为友好。

阅读地址：

https://www.zhihu.com/topic/21216055/hot

目前有的两大类较火的GNN方向，一个是谱域的卷积的代表GCN，背后有很深的理论支撑，可以关注问题【如何理解 Graph Convolutional Network（GCN）】（https://www.zhihu.com/question/54504471） ，下面有很多大神的精彩回答。

另一个是空域卷积的代表GraphSAGE和GATs。可以搭配b站上【2020 图神经网络在线研讨】（https://www.bilibili.com/video/BV1hC4y1a7To）视频一起食用，视频中有唐杰老师、石川老师、沈华伟老师以及宋国杰老师四位领域大牛介绍图神经网络，有基础有前沿，适合快速掌握领域科研趋势。

在有了上面知识后，可以尝试去看论文，进一步深入探究。这里给出清华大学在GitHub上的一个必读论文的汇总——

阅读地址：

https://github.com/thunlp/GNNPapers

最后在实现方面，目前已经有很多公司针对图数据的训练推出了图神经网络的框架。这里主要列出三个学术界常用框架，供题主根据实际任务快速实现自己图神经网络。

Deep Graph Library（DGL）：由New York University（NYU）和Amazon Web Services（AWS）联合推出，支持PyTorch、MXNet和TensorFlow作为其后端。

github：github.com/dmlc/dgl

帮助文档：docs.dgl.ai/

PyTorch Geometric（PyG）：由德国多特蒙德工业大学推出，对PyTorch用户来说是极为友好。

github：github.com/rusty1s/pyto

帮助文档：pytorch-geometric.readthedocs.io

tf_geometric：GNN的TensoFlow版本，适合tf用户。

github：github.com/CrawlScript/

帮助文档：tf-geometric.readthedocs.io

一家之言，欢迎补充与交流。

===

**Q：**推荐领域，有哪些值得推荐的综述性文章

============================

---

萌胖：

推荐领域覆盖的应用场景较多，工业界的推荐系统架构介绍首推谷歌2016年的论文：Deep Neural Networks for YouTube Recommendations

阅读地址：

https://static.googleusercontent.com/media/research.google.com/zh-CN//pubs/archive/45530.pdf

这是一篇很接地气的文章，以youtube为例，介绍了深度学习在推荐系统中的应用。

此外从应用的角度，有一些综述的论文值得一读：

【经典的协同过滤推荐综述】阅读地址：

https://downloads.hindawi.com/archive/2009/421425.pdf

【深度学习推荐综述】阅读地址：

https://arxiv.org/abs/1707.07435

【图推荐网络综述】阅读地址：

https://arxiv.org/abs/2003.00911

现在召回主要在graph embedding的方向在做一些探索，这里也推荐一些经典的图神经网络相关论文：

【Deep Learning on Graphs综述】阅读地址：

https://arxiv.org/abs/1812.04202

【DeepWalk】阅读地址:

https://dl.acm.org/doi/abs/10.1145/2623330.2623732

【Node2vec】阅读地址:

https://arxiv.org/abs/1607.00653

【GraphSage】阅读地址:

https://papers.nips.cc/paper/2017/file/5dd9db5e033da9c6fb5ba83c7a7ebea9-Paper.pdf

【GAT】阅读地址：

https://arxiv.org/pdf/1710.10903

排序模型方面的文章相对更多一些，这里也推荐几篇相对经典的文章：

【wdl】阅读地址：

https://arxiv.org/pdf/1606.07792.pdf

【deepFM】阅读地址:

http://www.ijcai.org/proceedings/2017/0239.pdf

【DCN】阅读地址:

https://arxiv.org/abs/1708.05123

【DIN】阅读地址:

https://arxiv.org/pdf/1706.06978.pdf

【DIEN】阅读地址:

https://arxiv.org/pdf/1809.03672.pdf

【多目标MMOE】阅读地址：

https://www.kdd.org/kdd2018/accepted-papers/view/modeling-task-relationships-in-multi-task-learning-with-multi-gate-mixture-

???橙子说

大家还有什么话题想要了解，欢迎评论区留言，我们下期见～

✿  拓展阅读

作者|松岭、豆苗、萌胖

**编辑|**橙子君
**出品|**阿里巴巴新零售淘系技术

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Java工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Java开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Java开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！

如果你觉得这些内容对你有帮助，可以扫码获取！！（备注Java获取）

分享

首先分享一份学习大纲，内容较多，涵盖了互联网行业所有的流行以及核心技术，以截图形式分享：

（亿级流量性能调优实战+一线大厂分布式实战+架构师筑基必备技能+设计思想开源框架解读+性能直线提升架构技术+高效存储让项目性能起飞+分布式扩展到微服务架构…实在是太多了）

其次分享一些技术知识，以截图形式分享一部分：

Tomcat架构解析：

算法训练+高分宝典：

Spring Cloud+Docker微服务实战：

最后分享一波面试资料：

切莫死记硬背，小心面试官直接让你出门右拐

1000道互联网Java面试题：

Java高级架构面试知识整理：

《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！
其次分享一些技术知识，以截图形式分享一部分：*

Tomcat架构解析：

[外链图片转存中…(img-g6JZUFmt-1713402404082)]

算法训练+高分宝典：

[外链图片转存中…(img-a9AQskic-1713402404082)]

Spring Cloud+Docker微服务实战：

[外链图片转存中…(img-f9o73qpP-1713402404082)]

最后分享一波面试资料：

切莫死记硬背，小心面试官直接让你出门右拐

1000道互联网Java面试题：

[外链图片转存中…(img-rWigIfy9-1713402404082)]

Java高级架构面试知识整理：

[外链图片转存中…(img-ZzSyFwra-1713402404083)]

《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！