GDC视界 | 跟着网易游戏行业大咖，来一探游戏界的“新”与“奇”！

随着 GDC 2024 大会的圆满落幕，网易数智游戏行业部 CTO 陶建容也完成了他的游戏行业探索之旅。在这次旅程中，他与全球的游戏开发者们面对面交流，共探讨行业未来，也用文字记录下了每一天的点滴，通过镜头捕捉了无数精彩瞬间，从 GDC 大会的热闹展区，到会场热烈的圆桌讨论，每一张照片和每一段视频都充满游戏世界的“新”与“奇”。

昨天，小智也去采访了陶建容老师，接收到了来自旧金山游戏盛会的第一手资讯动态。GDC 的“新”与“奇”拓宽了小智的视野，相信也会为在座的各位游戏人带来宝贵的灵感和动力，激励我们继续在游戏领域持续探索和创新！

（图示：GDC 2024 现场）

01

与开发者们，畅聊游戏 AI 变革

在 GDC 2024 机器学习峰会上，陶建容带来《为“街球全明星”训练高拟人和高强度的篮球 AI 智能体》的精彩演讲，首次公开了网易数智与上海瑞酷数码科技合作开发的篮球 AI 智能体，揭秘其设计、训练和部署的全过程。从项目背景到游戏玩家回放数据，再到模型训练以及如何将 AI 智能体成功部署到游戏中，该分享涵盖从理论到应用实践的各个方面，深入剖析篮球 AI 智能体在提升玩家游戏体验方面起到的关键性作用，并从中分析展示行为克隆技术在 AI 智能体开发和训练中的核心地位与显著效果。

此外，在机器学习峰会圆桌会议上，也有不少干货内容等你来发现，以下摘取了部分圆桌回忆录来跟大家做分享：

Question 1：

A cool ML tech you discovered / looked into recently:

Recently, I've been fascinated by the advancements in AI agent technology. One particularly noteworthy breakthrough is the emergence of large language models(LLM), which has the potential to challenge traditional approaches such as reinforcement learning and imitation learning for developing AI bots. LLM models are not only capable of engaging in conversation but also generating complex decision-making. For example, LLM can play games like chess, poker, and even real-time strategy games like StarCraft. This development represents an exciting leap forward in the capabilities of AI bots and has the potential to revolutionize a wide range of applications, from gaming to customer service.

游戏开发者：聊一聊你最近发现/研究的一项很酷的ML技术，比如引起你注意的新算法、框架或应用程序等等？

陶建容：最近，我被 AI agent 技术的进步所吸引。一个特别值得注意的突破是大语言模型的出现，它有可能挑战传统的方法，如开发 AI 机器人的强化学习和模仿学习。大语言模型不仅能够参与对话，还能生成复杂的决策。例如，大语言模型可以玩国际象棋、扑克、狼人杀等游戏， 甚至可以玩《星际争霸》等即时战略游戏。这一发展代表了 AI 机器人领域的一个令人兴奋的飞跃，并有可能彻底改变从游戏到客户服务的广泛应用。

Question 2：

Something super cool one of your team members came up with and you were impressed:

So, this year we've been working on developing AI companions for SLG games using large language models. These AI companions are powered by large language models and can autonomously handle internal affairs, military strategies, alliance conflicts, and even social interactions within the game. What's really cool is that these AI companions can deeply analyze player data and intervene with appropriate actions at the right moments. It's like having these language models play alongside real human players, enhancing their gaming experience. It's been a super fun and exciting project to be a part of.

游戏开发者：最近团队有什么让你印象深刻的项目？

陶建容：今年我们一直致力于使用大语言模型为 SLG 游戏开发 AI 陪玩。这些 AI 陪玩由大语言模型驱动，可以自主处理内政养成、军事战略、联盟冲突，甚至是游戏中的社交互动。真正酷的是，这些 AI 陪玩可以深入分析玩家数据， 并在适当的时候采取适当的干预行动。这就像让这些语言模型和真正的人类玩家一起玩，增强他们的游戏体验。这是一个超级有趣和令人兴奋的项目。

Question 3：

The future of Machine Learning in Video Games:

I think the future of machine learning in video games is super exciting. Right now, most of the AI work in games is more like the cherry on top rather than something groundbreaking. But I'm really hoping to see more games where AI is at the core of the experience. Like, not just game AI, but AI game, you know? Imagine a game where the AI is so advanced and dynamic that it feels like you're playing against real human players and everything derived from AI. That's the kind of stuff I'm looking forward to in the future.

游戏开发者：你认为机器学习在电子游戏中的未来是什么样的？

陶建容：我认为机器学习在电子游戏领域的未来是超级令人兴奋的。现在，游戏中的大多数 AI 工作更像是锦上添花，而不是雪中送炭的东西。但我真的希望看到更多将 AI 作为核心玩法的游戏。不只是游戏 AI，而是 AI 游戏。想象一款 AI 如此先进和动态的游戏，让你感觉你是在与真正的人类玩家和所有源自AI的东西交互。这才是我对未来的期待。

Question 4：

Machine Learning for various aspects of game development:

Our team is currently involved in various aspects of game development using machine learning.

For character behavior, we're using reinforcement learning, imitation learning, and even large language models to create AI bots and intelligent agents. These agents are also used to test and opt the balance of in-game systems.In terms of natural language processing, we're using large language models to develop intelligent NPCs and companion AI agents.

When it comes to graphics and imaging, we're training multimodal large models to enable image generation and improvements.In the realm of data science, we're leveraging massive player data for anti-cheat measures, player behavior prediction, attribution analysis, recommendations, and matchmaking optimization.

And in the virtual character domain, we're working on 3D character generation, voice synthesis, and voice-driven facial and body animations.It's all about pushing the boundaries of what's possible with machine learning in game development.

游戏开发者：机器学习用于游戏开发的哪些方面？

陶建容：我们的团队目前正在使用机器学习参与游戏开发的各个方面：

对于角色行为，我们正在使用强化学习，模仿学习， 甚至大语言模型来创建 AI 机器人和 AI 智能体。这些智能体也被用来测试和调优游戏内系统的平衡；在自然语言处理方面，我们正在使用大语言模型来开发智能 NPC 和陪玩 AI ；在图形和图像方面，我们正在训练多模态大模型，以实现图像的自动生成和改进；在数据科学领域，我们正在利用海量玩家数据进行反作弊措施、玩家行为预测、归因分析、推荐和匹配机制优化；而在虚拟角色领域，我们正在研究 3D 角色生成、语音合成以及语音驱动的面部和身体动画。

这一切都是为了在游戏开发中突破机器学习的极限。

Question 5：

Video Game ML pain points and challenges:

Let me give you a couple of examples.

One pain point we've encountered is in anti-cheat measures. The models we use are often like black boxes, and when it comes to dealing with suspicious accounts, we need clear evidence. This means we've had to put a lot of effort into researching model interpretability. You can learn more about our work in this area in my talk on the FUMO engine at GDC 2021.

Another challenge we've faced is in training AI bots. It's tricky to train them to be both high-performance and human-like. In the training phase, we've had to tackle challenges like making the bots act more human-like including cooperation, following the rules, and being controlled, developing bots of varying difficulty, and ensuring they have good generalization abilities. Then, when it comes to deploying the bots, we've had to figure out how to get them to work on mobile devices, go through complex testing processes, and decide on the best delivery strategy. If you're interested in learning more about potential solutions, feel free to come to my talk tomorrow morning: "Training Human-like and High-performance Basketball AI Bot for 'Streetball Allstar'".

游戏开发者：电子游戏 ML 的痛点和当前面临的挑战是什么？

陶建容：举几个例子：

我们遇到的一个痛点是反作弊。我们使用的模型往往像黑箱一样，在处理可疑账户时，我们需要明确的证据。这意味着我们不得不投入大量的精力来研究模型的可解释性。

我们面临的另一个挑战是训练 AI 机器人。要把它们训练得既强又像人类，这是一件棘手的事情。在训练阶段，我们必须解决一些挑战，比如让机器人的行为更像人类，包括合作、遵守规则、被控制、开发不同难度的机器人，并确保它们具有良好的泛化能力。然后，在部署机器人时， 我们必须弄清楚如何让它们在移动设备上工作， 经历复杂的测试过程，并决定最佳的投放策略。

Question 6：

Using bespoke ML AI models vs. ML AI middleware products:

With bespoke ML AI models, the advantage is that they can be tailored specifically to the needs of your game. You have the freedom to design models that fit your game mechanics and unique gameplay elements. However, the downside is that building custom models can be time-consuming and resource-intensive. Plus, maintaining and updating these models as your game evolves can also be a challenge.

On the other hand, using off-the-shelf middleware products can save time and effort. These products often come with pre-built models and tools that are ready to use, which can be a huge advantage, especially for smaller development teams with limited resources. However, the drawback is that these products may not always perfectly fit the specific requirements of your game. You might have to compromise on certain features or spend time customizing the middleware to meet your needs.

Ultimately, the choice between bespoke models and middleware products depends on the specific needs and constraints of your game development process. It's a trade-off between customization and convenience.

游戏开发者：在电子游戏开发的背景下，使用定制的 ML AI 模型与 ML AI 中间件产品有什么不同？

陶建容：当谈到在电子游戏开发中使用定制的机器学习模型和现成的中间件产品时， 有很多事情需要考虑。使用定制 ML AI 模型的优势在于，它们可以根据你的游戏需求进行定制。你可以自由地设计适合你的游戏机制和独特玩法元素的模型。然而，缺点是，构建自定义模型可能会耗费大量时间和资源。 此外，随着游戏的发展， 维护和更新这些模型也可能是一项挑战。

另一方面，使用现成的中间件产品可以节省时间和精力。这些产品通常带有预先构建的模型和可以随时使用的工具，这可能是一个巨大的优势， 特别是对于资源有限的小型开发团队来说。然而，缺点是这些产品可能并不总是完全符合你的游戏的特定要求。你可能不得不在某些功能上做出妥协，或者花时间定制中间件来满足你的需求。

最终， 在定制模型和中间件产品之间的选择取决于你的游戏开发过程的具体需求和限制。这是定制化和便利性之间的权衡。

Question 7：

Managing client expectations and satisfaction in ML AI projects:

Given that my game AI business primarily caters to small and medium-sized companies in the Chinese gaming market, managing client expectations and satisfaction becomes even more crucial.

One challenge is aligning their understanding of AI capabilities with what's realistically achievable. Communication is key here. It's important to be transparent about what AI can and can't be done.

In order to ensure consistency in the project's direction, it's important for both parties to establish shared KPIs (key performance indicators). This ensures that the investment and efforts remain aligned towards common goals.
Additionally, setting clear project acceptance criteria is crucial. Establishing acceptance standards at different stages of the project enables both parties to regularly review and align on project deliverables. This approach ensures that any issues or discrepancies can be addressed in a timely manner, ultimately contributing to client satisfaction and project success.

游戏开发者：在 ML - AI 项目中，如何管理客户期望和满意度？

陶建容：我负责的游戏 AI 业务主要面向中国游戏市场的中小型公司， 管理客户期望和满意度十分重要。其中一个挑战是将他们对 AI 能力的理解与实际可实现的能力相结合。 沟通是这里的关键。对于 AI  能做什么不能做什么， 保持信息透明是很重要！

为了确保项目方向的一致性，双方建立共享的 kpi(关键绩效指标)是很重要的，这确保了投入和努力始终朝着共同的目标保持一致。

此外，制定明确的项目验收标准至关重要。在项目的不同阶段建立验收标准，使双方能够定期审查和协调项目可交付成果。这种方法确保任何问题或差异都能及时得到解决，最终有助于客户满意度和项目成功。

Question 8：

Great books or websites you would recommend for attendees to follow:

There's this awesome book called "The Book of Why" by Judea Pearl that I'd totally recommend. It's not your typical machine learning or AI book, but it really dives deep into the importance of causality in data science and how it's essential for developing AI models that truly understand the world. It's been a game-changer for me in terms of how I approach and think about machine learning. Plus, the writing style is super engaging and easy to follow, which is always a plus! So yeah, definitely worth checking out.

游戏开发者：你有没有推荐的书籍或网站？尤其是关于机器学习和 AI 领域学习的

陶建容：我比较推荐《The Book of Why》。

朱迪亚·珀尔(Judea Pearl)写的《为什么之书》(The book of Why)这本书我非常推荐。它不是典型的机器学习或 AI 书籍，但它确实深入探讨了数据科学中因果关系的重要性，就如何处理和思考机器学习而言，这本书改变了我的游戏规则。另外，它的写作风格超级吸引人，易于理解，这是一个加分项，绝对值得一看。

大家可以戳我立即查看游戏全周期解决方案！

02

游戏界的“新”

1. "独立游戏：创意与体验的新兴魅力"

在 GDC 会展现场，各式各样的独立游戏吸引了来往游客的大量驻足，陶建容本人也参与其中体验了这些游戏。在与游戏团队的交流中，他发现这些团队虽规模较小，但他们对游戏的热情和创新精神令人印象深刻。尽管在整体品质和内容上可能还无法与大型游戏公司的作品相媲美，独立游戏凭借其创新的游戏玩法和独树一帜的风格，成功赢得玩家的青睐，他们对游戏的热爱和对创意的追求也显而易见。

随着 AI 技术的更迭发展，尤其是生成式人工智能在文案创作、美术设计、语音合成、编程等领域的兴起，我们有理由相信，它将为独立游戏开发者提供更多可能性，助力他们将充满想法与创意的游戏作品呈现给世界，推动更多优秀的独立游戏产品在竞争激烈的市场中脱颖而出，为玩家带来更加丰富多彩的游戏体验。

2. "怀旧风潮：复古游戏的不朽魅力"

展区内，复古游戏以其独特的魅力，唤起了我们童年时代沉浸在游戏世界中的那份纯真与激情。在 GDC 大会的现场，陶建容见证了一群人围绕着复古游戏机，仿佛回到了那个大家聚在一起玩游戏的美好时光，共同体验那份久违的欢乐。游戏的历史深远而丰富，其形态随着时间的流逝而不断演变，但每一代人都有属于自己的游戏记忆。这些复古游戏不仅仅是娱乐的方式，它们也是连接过去与现在，个人与集体记忆的桥梁，让我们在快节奏的现代生活中，依然能够找到那份简单而纯粹的快乐。

游戏行业的创新正不断突破传统的交互界限，开辟全新的游戏体验。从游戏玩法的革新到游戏交互形式的多样化，我们正在见证一场游戏设计的革命。会展上，创新游戏不再局限于手机、PC 等传统平台，也不再依赖键盘、鼠标或手柄这些常规控制设备。可以看到的是，如今，游戏设计正变得无处不在，无时不在，正融入我们的日常生活，通过更加自然和直观的交互方式，如肢体控制、语音指令、传感技术，甚至是脑机接口技术等，为玩家带来前所未有的沉浸感和参与感。创新游戏不仅拓展了游戏玩法，也为用户带来了更加沉浸式的互动体验，这也预示着游戏化设计将在未来发挥更加重要的作用。

此外，展会上动作捕捉与 3D 角色驱动游戏成功地吸引了一大批开发者的目光，该类游戏通过高精度的动作捕捉，开发者能够将现实世界的动作无缝转化为游戏中的动态表现，为角色赋予更加自然流畅的动作和表情。这种技术的应用让玩家仿佛置身于一个栩栩如生的游戏世界中，极大地提升了游戏的真实感，享受深度沉浸式的游戏体验。

未来，新兴技术将继续推动游戏设计的发展，使游戏角色和故事叙述更加丰富多元。玩家与游戏角色的互动将变得更加直观和情感化，动作捕捉和 3D 角色驱动技术预示着一个更加动态和互动的游戏时代的来临，为玩家带来前所未有的游戏体验！

正如 GDC 会上所见，全球游戏产业正迎来前所未有的多元化发展。从独立游戏的兴起到复古游戏的复兴，从创新的交互形式到突破性的玩法设计，这些趋势不仅为游戏开发者提供了广阔的创作空间，也为玩家带来了丰富多样的体验。这些变化意味着开发者需要不断探索新的技术和创意，以满足玩家日益增长的需求。

持续的创新是推动游戏产业发展的核心动力，它激发了行业的活力，促进了技术的迭代和内容的丰富。同时，对游戏历史的尊重则确保了文化的传承和经验的积累，使新一代的游戏作品能够站在巨人的肩膀上，创造出更多经典。创新与历史的结合，不仅塑造了游戏产业的过去和现在，也将共同决定其未来的方向和形态。在未来，小智相信，游戏世界将更加丰富多彩！

03

游戏界的“奇”

近些年， AI 浪潮风开始席卷各行各业！例如，美国旧金山的街头，Waymo 的自动驾驶车辆已自如地穿梭在城市中，人形机器人（具身智能）通过模仿人类的行为和交互方式，也成为 GDC 的一道风景线；结合 AI 技术，VR 游戏将实现更加智能和互动的游戏体验.... AI 技术的进步正在不断拓展我们的认知边界，为各行各业带来革命性的变革，游戏人也看到了未来游戏更多的可能性。我们有理由相信，一个更加智能和互联的未来正向我们走来。

近些年，网易数智始终站在技术革新的前沿，致力于将未来游戏的无限潜力转化为现实，为此我们自主研发了游戏 AI 竞技机器人、AI 反外挂等围绕游戏 AI 的全套解决方案。去年 8 月份，网易数智与 Speech Graphics 正式达成合作，助力 Speech Graphics 语音驱动面部表情生成的技术在中国的推广，共同探索游戏 AI 在各个领域的可能性。

（图示：Speech Graphics 动画生成效果）

不需要摄像头，不需要面部捕捉的任何设备，不需要专业的录音室，甚至不需要后期，只通过一台电脑和一支麦克风，在 50 毫秒的延迟内，Speech Graphics 的产品帮助角色捕捉了声音的内容、情绪以及一切细小的变化，并快速做出反应，生成表情。这就是国际最前沿的语音驱动面部动画生成技术！

在 GDC会展上，陶建容与这位老朋友展开了深入交流。发现，如今，他们的技术不仅实现了对角色面部表情和口型的精准控制，甚至在模拟呼吸动作驱动方面也取得了突破性进展。此外，与去年在国内展示的成果相比，其肢体驱动效果有了显著提升。Speech Graphics 的工具管线在易用性方面也得到了极大的增强，使开发者能够更加便捷地将这些高级功能融入游戏设计中，为游戏角色的创造和表现提供了更多可能性。

（图示：与 Daniel 的合照）

将 AI 技术更深入地融入游戏开发的每一环节，推动游戏产业的创新和发展，小智相信，通过持续的合作和技术创新，我们能够一起开启游戏领域的新篇章，为全球玩家带来不一样的互动娱乐体验。

会后，陶建容与英伟达、Ubisoft、米哈游、funplus、鹰角等游戏和 AI 领域的领军企业进行深入交流后发现，除了业界巨头之外，众多中小型游戏开发商也在积极投身于 AI 技术的研究和应用。他们不仅在探索 AI 技术在提高效率和降低成本方面的潜力，还在尝试将 AI 作为游戏设计的核心元素，来创造全新的游戏体验和互动方式，尤其是在 AIGC 和智能 NPC 的应用上，业界表现出了浓厚的兴趣和高度的关注。

戳我查看更多游戏全生命周期解决方案内容！

然而，尽管 AI 在游戏行业的应用前景广阔，但目前该领域的专业人才相对稀缺。这要求行业不仅要加大对 AI 技术研究的投入，还需要培养和吸引更多具备相关技能的人才，以支持游戏产业的持续创新和发展。随着 AI 技术的不断进步和行业对人才需求的增加，小智可以预见未来游戏行业的 AI 应用将更加地广泛和深入！

内容创作不易，点赞、收藏关注小智哇，更多精彩内容等你看~