为啥AI难落地？_ai项目为什么难验收

总在说AI落地难，那为啥难落地？

以最典型的智慧城市业务来说，就是接入网络摄像头，然后识别里面的人，判断是不是抽烟/打架/闯红灯/不带安全帽等。

首先是连接网络摄像机，GB28181/ONVIF接入相机，然后拉RTSP流，再解H265，做好这些最基本的功能就已经很麻烦了。但是网络摄像头厂家很多，有海康、大华、宇视、华为等等等，厂家随便往里面加点私货，搞一点什么私有协议和字段，那工作量直接翻几倍。如果要算法效果实时大屏幕播放，那还要视频编码H264推RTMP，然后转HLS/FLV流什么的，更是复杂。再遇到项目奇葩网络和防火墙、交换机丢包等问题，视频流如何打洞都成问题。总之有的搞了。

接着是开发对应的系统框架，如何配置和调度算法，比如某个路口的摄像头白天只识别行人闯红灯，晚上只识别大货车闯禁行区；如何存储必要数据，识别到的关键帧图像怎么存储，关键视频怎么存储；业务数据库怎么做，需要持久化哪些字段，怎么设计数据库表，优化查询插入等；如何展示算法效果，WEB界面怎么写，UI设计怎么搞，前后的交互写websocket/http等。又有的搞了。

然后才是训练各种深度学习模型，什么行人检测、人脸关键点检测、人脸识别、车牌检测、车牌识别模型。总之客户要什么功能就要做什么模型，比如识别外卖小哥不带头盔，那就要采集、标记、清洗外卖小哥的数据，再训练对应的外卖小哥不带头盔检测识别模型。一个两个需求还好，多了只是收集数据就难死人。又有的搞了。

之后是部署各种深度学习模型。模型如何适配nvidia/昇腾/寒武纪/Rockchip等硬件？有不支持的算子怎么办，硬等厂商支持？还是自己写硬件对应的算子，cuda/cann/neon/opencl这些异构框架全手写玩得转么？如何提高推理速度，是否需要fp16/int8推理，是否要做量化？量化精度不够如何解决？又有的搞了。

另外软硬件如何与现场情况结合？比如某市ZF要做全市上百路摄像头行人闯红灯专项识别，那是全市所有视频集中接入机房，使用显卡集中处理？集中在一起网络带宽够吗？还是是使用低成本的盒子，把盒子部署在摄像头附近？然后这些盒子如何远程管理和升级？而且不同的方式反过来又会影响软件的的设计。所以继续搞吧。

最后一步供应链。当你什么都做好了，nvidia说我的jetson盒子没货了，又或者huawei的智能相机没货了，那你是不是要换底层算力的芯片？又或者摄像头厂家说，我的A系列集团统一要求涨价，你要不要换B系列。去找合作的服务器厂商，现在x86芯片机器没货，只有arm芯片的机器了，是换合作厂商还是换芯片架构？然后底层设备一换全部都换，软件也要重新做。可别说控制供应链，有多大的能力能控制nvidia/intel/huawei/海康这些巨头？

项目验收后大概率还要陪着甲方玩，今天算法没结果，明天大屏幕看不到视频流了，后天要给界面加个按钮，大后天机器ping不通了。或者是领导一拍脑袋直接换硬件架构，NV显卡换国产NPU芯片，更是无穷无尽的事情，运维成本居高不下。

单独一个智慧城市方向，实际落地需要网络流媒体、视频编解码、前端、UI、后台开发、炼丹、算法部署、异构开发、运维等等的配合。如果要做手机影像AI就要折腾安卓、机器人和自动驾驶又要折腾ROS、工业互联网AI要折腾RTOS/Qt，这些方向都是完全不同的技术栈，又要招聘很多对应的人来专门做。团队管理，研发管理，投入产出比，利润成本管理，又成了很大的问题。

就单从技术角度来说，整个AI应用模型训练其实只是工程化的一个很小的部分。项目中人脸检测模型是mtcnn/retinaface，还是最新的scrfd，算法是不是sota，出自哪一年的cvpr，是哪位老师提出来的，其实没人关心。更重要的软硬一体的解决方案，以及对应的方案成本控制。

作为对照组，反过来看nvidia。硬件方面，有对应的推理卡P4/T4系列大卡，还有jetson系列低功耗盒子。软件方面，视频编解码有nvcuvid，模型加速有tensorrt，推理服务有triton，业务逻辑有deepstream。算法方面，有预训练好的各种cv和bert模型，还各种针对cuda优化好的算法库。甚至所有的东西打包好docker，镜像拉下来就能傻瓜式运行。反正想要的老黄都有，全套软件+硬件+算法+部署解决方案奉上，但是人家又只卖设备不做集成。

和老黄对比一下，这就是为啥AI独角兽公司落地这么吃力。

https://www.zhihu.com/question/266047224/answer/2832701558