【杭州】混合AI大模型开发者工作坊精彩回顾

阅读原文

2024年3月16日下午，由Linux基金会指导，阿里云、英特尔、EMQ、ModelScope社区、通义千问、EdgeX Foundry、OpenYurt、宁波工业互联研究院、随幻智能、亿琪软件、云深处科技、InnoSpace等联合举办的混合AI大模型开发者工作坊·AI云边端协同最佳实践，在杭州阿里巴巴西溪园区顺利举办，吸引了众多AI从业者、开发者及学者专家的热情参与。

大会深度探讨了如何借助开源技术及创新平台，优化大模型在云计算、边缘计算及终端设备之间的协同运行，实现AI技术更高效、便捷的应用与推广。

会上，EdgeX Foundry主席James Butcher和Linux基金会亚太区副总裁杨轩，分别进行了开幕致辞。

EdgeX Foundry主席 James Butcher

James Butcher强调实现混合AI需具备几个关键要素：一套丰富的免费开源工具、一个强大的企业及产品生态系统支持、边缘计算和云计算的紧密协同工作以及开发者和数据科学家组成的社区共同推进这一目标。从EdgeX平台的角度出发，它能收集不同边缘传感器的数据并整合多源数据，其开放性允许用户便捷地接入自定义服务，尤其是AI相关服务，并且该平台成熟稳定，即将推出的版本将以中国城市命名，彰显对中国庞大社区用户的重视。最后，他鼓励与会者尝试使用EdgeX，并期待他们在活动中有所收获，共同探索混合AI的未来。

Linux基金会亚太区副总裁 杨轩

而杨轩提到，2024年将是AI大模型快速发展的一年，它们将深度融入各个工业流程并带来变革。当前开源社区中的多个基金会正积极开展AI云端集成的相关研究，涉及大模型与边缘计算的最佳融合方式、软硬件研发、智能框架构建以及生成式人工智能参考架构等方面。同时，他还指出了边缘计算在提高效率、减少延迟及保障隐私安全等方面的显著优势，呼吁大家积极参与开源基金会的工作，关注边缘计算及人工智能协同发展的项目。

阿里云资深技术专家、开源办公室负责人王晶昱先生

紧接着，阿里云资深技术专家、开源办公室负责人王晶昱先生，作为东道主发表了欢迎致辞。开源大模型将成为主流，阿里云与EdgeX、英特尔OpenVINO™️等项目探索云边端协同实践，积极开展相关工作，对于AI云边端协同如何解锁混合AI大模型带来的新机遇，他表示充满期待，也希望今天的活动能为参会者带来收获。

在嘉宾分享环节，来自魔搭社区的高级技术运营专家成晨分享道，魔搭社区在2022年率先提出MaaS模型服务理念，并在AIGC快速发展背景下成立，旨在简化模型应用流程。社区携手英特尔等伙伴，通过OpenVINO™️等技术加强模型部署与推理性能，并促进预训练模型成为AI开发新范式。

社区构建了涵盖多种场景和领域的生态系统，包含多个知名开源模型，如通义千问、GLM等，并围绕多语言、行业特定任务及垂直领域持续丰富模型库与数据集。尤其强调了与英特尔合作在CPU上加速模型推理的成效。通过这些举措，魔搭社区极大地推动了前沿AI技术在更广泛范围内的落地应用。

阿里巴巴通义千问开源大模型负责人林俊旸在分享中介绍了阿里巴巴通义千问团队研发的Qwen系列模型，该模型旨在打造一个多模态、多任务统一的通用模型。目前，通义千问已成功将音频与语言模型相结合，不仅能进行实时语音识别和翻译，还能理解和分析音乐，并具备创作音乐评论和依据声音创作诗歌等创造性功能。此外，模型也在不断探索与其他模态如视频的融合，并计划在未来进一步提升和发展。在技术层面，团队关注模型的可扩展性和开源工作，确保模型可在英特尔OpenVINO平台上顺畅运行，并透露正在积极研发更大规模的模型版本，以期在更多应用场景中展现卓越性能。

生成式AI和大型预训练模型市场增长迅速，已成为日常工作中不可或缺的辅助工具。英特尔AI软件布道师武卓着重介绍了英特尔OpenVINO对于此类模型推理优化与加速部署的最新进展。在全球范围内，预计到2032年生成式AI市场规模将达到可观水平。目前，生成式AI模型已在游戏设计、室内设计、时尚电商等多个行业中广泛应用，面对模型体积庞大等挑战，OpenVINO致力于解决模型部署难题，尤其是在视觉AI以及大语言模型推理优化方面，为开发者提供高效解决方案，以应对模型应用中的痛点问题，从而推动AI技术在各领域的深度渗透和广泛使用。

在OpenYurt助力云边端一体化协同部分，阿里云技术专家何淋波阐述了OpenYurt项目的背景，它源于阿里巴巴内部多部门业务场景的需求，特别是IoT、CDN和物流等领域对于云边端一体化平台的需求日益凸显。OpenYurt旨在提供一个适应云边端协同场景的基础设施管理平台，以满足分布式计算需求。此外，他还分享了OpenYurt的架构特点以及用户案例，并展望了社区未来发展规划，表示将继续完善OpenYurt并在相关领域深化应用。

宁波工业互联网研究院机器人事业部副总监刘洋对大模型时代下工业智能的挑战与应用进行了剖析，强调了人工智能在工业领域的应用价值，特别是在工业4.0背景下，重点探讨了如何将AI技术有效应用于工厂生产和智能升级。他指出了AI技术从单一任务向多模态、多任务综合应用的发展趋势，并提到了团队正致力于打造全面覆盖云边端的AI PAC解决方案，以解决不同场景下的数据连通与算法应用问题，不断推动AI在生产制造领域的深入应用和创新。

随之，美的集团系统架构师陈松在分享中介绍了美的在工业智能化转型方面的实践，特别聚焦于EdgeX在软通行业的应用案例。美的在智能制造领域拥有五大事业部，其中智能家居部门运用先进技术提升小家电产品的智能化程度，而其他部门也逐渐融入AI技术。陈松提到，美的希望通过引入EdgeX技术实现生产线的智能化升级，提高生产效率与产品质量，并强调了跨部门合作和整体解决方案的重要性，以迎接工业4.0时代的挑战。

上海亿琪软件有限公司CEO褚建琪在活动中讨论了EdgeX和OpenVINO在工业软件开发中的结合应用，团队正积极推动开源项目EdgeX在暖通行业的落地实践，致力于打造一款既能应对复杂工业场景又能实现云端协同的解决方案，通过集成OpenVINO的model Server拓展模块，可以有效地将EdgeX项目与多种硬件设备连接起来，增强模型在云边端环境中的数据传输和实时决策能力。此合作旨在解决工业自动化中数据通信和模型部署的关键问题，赋能企业实现更为高效智能的生产流程。

阿里云技术专家唐炳昌联合浙江大学研究生王楦烨对基于OpenYurt、EdgeX和OpenVINO的智能边缘解决方案也进行了详细的介绍，唐炳昌首先介绍了通义千问模型系列在阿里云上的构建和部署情况，展示了其在工业和其他领域的广泛应用。王楦烨则聚焦于边缘计算领域，探讨了如何利用OpenVINO工具套件运行通义千问模型，实现从云到边缘设备的数据高效流转和模型推理加速，从而推动AI在实际业务中的快速落地和执行。两位演讲者共同强调了跨云边端协同在AI解决方案中的关键作用，并讨论了未来将进一步拓宽AI在不同技术和行业场景中的应用边界。

紧接着，EMQ研发工程师高松在分享中介绍了开源项目eKuiper，该项目专注于为边缘端提供流处理计算引擎解决方案。他指出相较于传统的Apache Flink和Spark等流处理技术，eKuiper更适用于边缘计算环境，并列举了其在推理优化和加速部署方面的优势。高松强调了eKuiper在简化模型部署、节省计算资源和提升实时响应速度等方面的改进，并透露了与英特尔在初期阶段针对OpenVINO项目合作的情况，展示了双方共同努力推动边缘AI技术进步的实际行动。

活动最后，EdgeX Foundry布道师、LFAPAC开源布道师张晶对本次活动进行了总结，强调了开源作为全球化合作的重要形式，为企业和个人提供了低成本、高效的协作渠道。参与者通过参与开源项目、贡献代码，可提升自我价值，在找工作时尤其具有优势，甚至成为当下中国逆袭职业道路的有效途径。在开源世界中，个人的实际贡献远重于学历背景。

此外，还提及了技术发展的新趋势——边缘计算与AI的结合以及它们对通信、云端及边缘行业的影响。随着5G和5.5G技术的演进，带宽大幅提升，而边缘计算结合AI能有效利用更大带宽，解决了单纯上传基础数据无法填满高速网络的问题。同时，分享中还提到了微服务的概念及其在边缘计算中的应用，表明在未来发展中，采用微服务架构将是一个重要趋势。

除了多维度、多角色的方案分享外，本次活动还邀请到了宁波工业互联网研究院、魔搭社区、研扬科技、随幻科技、仪酷智能、铂盛科技、亿琪软件、云深处、Qwen等众多机构的解决方案进行了现场demo展示。

本次活动不仅是对现有AI技术研发与应用的一次有力推动，更是对未来发展趋势的深度洞察与前瞻布局，为实践“人工智能+”行动计划，推动新质生产力发展，带来了新的突破。