搜索
查看
编辑修改
首页
UNITY
NODEJS
PYTHON
AI
GIT
PHP
GO
CEF3
JAVA
HTML
CSS
搜索
喵喵爱编程
这个屌丝很懒,什么也没留下!
关注作者
热门标签
jquery
HTML
CSS
PHP
ASP
PYTHON
GO
AI
C
C++
C#
PHOTOSHOP
UNITY
iOS
android
vue
xml
爬虫
SEO
LINUX
WINDOWS
JAVA
MFC
CEF3
CAD
NODEJS
GIT
Pyppeteer
article
热门文章
1
机器学习之交叉验证_机器学习交叉验证如何调参
2
android 关机 流程分析
3
关于低代码技术方案调研_nocobase 知乎
4
Android 9关机流程_android 关机流程
5
OpenMV4 基于色块识别的图形+颜色+坐标识别代码(micropython)_openmv实现颜色识别并返回坐标值
6
python 搭建web应用程序_用Python构建数据科学Web应用程序
7
安装pnpm
8
【Spring Boot】Spring Boot 配置文件详解(application.yml、application-dev.yml、application-test.yml )_springboot application.yml
9
Ubuntu18.04配置Qt+qmake+LibTorch环境_ubantu利用qt配置libtorch
10
GPU服务器配置和报价
当前位置:
article
> 正文
模型部署到移动端_模型压缩+编译器优化,使AI算法在移动端性能超越专用硬件...
作者:喵喵爱编程 | 2024-08-11 21:55:00
赞
踩
ai模型部署和ai编译器的关系
作者 | 王言治,美国东北大学电子与计算机工程系助理教授 出品 | AI科技大本营(ID:rgznai100) 近年来,机器学习(Machine Learning)领域的研究和发展可谓是与日俱新,各式各样与机器学习相关的研究成果与应用层出不穷(如图像识别,自动驾驶,语音识别等),机器学习能够处理的任务也愈发的复杂。但与此同时,新的问题也随之而来,机器学习模型变得更加庞大复杂,因实时性而对算力所产生的需求也远远超乎了我们的想象。这一问题严重阻碍了人工智能(AI)产品及应用融入到人们的日常生活中,因此亟待解决。 谷歌、微软、亚马逊、华为和苹果等科技巨头以及众多初创公司每年都会花费数以亿计的经费来研发机器学习专用硬件加速器,他们希望能够早日在边缘设备(edge device)与物联网设备(IoT device)上实现人工智能应用的部署,并将人工智能真正的带入到人们的生活中。 现今,全球有不少于100 家 的AI 芯片初创公司,各种新硬件层出不穷,从重塑可编程逻辑和多核设计(programmable logic and multi-core designs),到开发自己的全新架构,再到使用神经形态架构(neuromorphic architectures)等。此外,我们还看到了诸如英特尔以极其高昂的价格收购了 MobilEye、Movidius 和 Altera,NVIDIA 在自动驾驶处理器方面花费了大笔的开销,谷歌开发了 TPU,各家公司都试图都在硬件上抢占先机。 这里我们不难发现,工业界目前的认知是——“硬件才是真正制约移动AI发展的主要因素”。他们缺乏对于软件以及目前所使用的通用芯片的计算资源及计算能力的信任。因此,相较于软件,他们将注意力更多地放在了开发机器学习和推理专用的硬件加速器上。
但是,在如此巨大的资金注入下,到目前为止,硬件加速仍成效甚微,我们尚未看到任何边缘 AI 硬件加速器的大规模部署。这不禁令人深思,专用硬件加速真的是正确的道路吗?软件能否成为移动 AI 时代的主导?
从各大公司的角度来看,如果想要让自家的AI产品或应用迅速落地抢占市场,设计专用的芯片或硬件显然并不是最优选择。众所周知,芯片以及硬件的开发成本非常高昂,且开发周期漫长,并非所有公司都可以承受。若是选用第三方提供的AI加速硬件,则可能会面临诸如成本增加,兼容性等一系列问题。而设计专用软件则不同,它的开发成本低廉,容易实现快速部署,可以做到针对性优化,且通常具有完备的生态系统。 从大众的角度来看,若想让AI产品或应用真正融入人们的日常生活,那么它至少需具备几个特点,价格低廉、随时随地、方便快捷。价格低廉就不必多说了,很多AI产品和应用都会给人们的生活带来更大的便利,但这更多的是锦上添花而非必不可少,而使用专用硬件加速器无疑会增加产品的成本,所以人们究竟会不会为这一成本增加而买单、究竟可以接受的尺度有多大&
声明:
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:
【wpsshop博客】
推荐阅读
article
Git
强制
push
&&
pull
_
git
pull
强推...
有时候一个人使用
Git
时, 也会遇到版本冲突的问题, 此时一般确信当前版本为自己想要的版本, 所以可以直接强制
push
到...
赞
踩
article
5个简单的步骤使用
Pytorch
进行
文本
摘要
总结_
python
pytroch
text
compl...
本文介绍了如何利用Huggingface的Transformers库进行
文本
摘要
。通过预训练的BART和t5模型,可以在...
赞
踩
article
互联网
之
公众
号
赚钱
大法
。
原来这么
赚钱
!
_
互联网
赚钱
...
有很多新人,想通过网络来赚自己的第一桶金,执行力的确很到位了,但是折腾半天总是见不到收益,换个项目依然如此
。
其实不用感到...
赞
踩
article
autodock
tool
文件
_
理解
autodock
分子
对接思路和流程
--
系列导读...
准备工作设置工作目录,用pymol去除水
分子
,分离蛋白和小
分子
,得到各自的pdb
文件
。(如果是预测得到的蛋白pdb,那就...
赞
踩
article
Python
random
模块_{'i': 1, '
love
': 4, '
python
': 6, '...
random
是用于生成随机数的,我们可以利用它随机生成数字或者选择字符串。
random
.
random
() 用于生成一个随...
赞
踩
article
Linux
系统下
make
工具
Makefile
总结
!_
linux
编程
make
工具
实验
总结
...
主要介绍在
Linux
系统下如何通过
Makefile
进行文件的处理我们在进行C语言以及其它项目时,可能会创建多个文件来完成...
赞
踩
article
Linux项目自动化构建工具-
make
/
make
file;
git
版本
管理工具
_
make
&&
...
目录:一.
make
&&
make
file一.
make
&&
make
file1.
make
自动化解释器,
make
file...
赞
踩
article
SQL
Server
事务
...
SQL
Server
事务
是数据库操作的一个基本特性,它允许你将一系列数据库操作组合成一个原子单元,这个单元中的所有操作...
赞
踩
article
SQL
Zoo
8+.NSS
Tutorial
...
以下数据来自。
SQL
Zoo
8+.NSS
Tutorial
以下数据来自
SQL
Zoo
...
赞
踩
article
Python
的
random
模块_≤
1.0
的
随机数
...
random
模块
random
模块提供了一些生成
随机数
的函数,一些介绍为了简单省略
random
.
random
():返回在范...
赞
踩
article
实战15:
bert
命
名
实体识别
、
地址
解析
、
人
名
电话
地址
抽取
系统-完整代码数据_
地址
提取模型...
本文介绍了如何使用BERT模型进行命
名
实体识别
、
关系
抽取
、
人
物和
地址
解析,以及
人
名
电话
地址
的
抽取
。提供了项目视频演示
、
代...
赞
踩
article
深入探索
Android
应用
数据共享
之
ContentProvider
_
contentprovider
数...
这样可以确保数据的安全性。
ContentProvider
是
Android
系统提供的一种在应用之间共享数据的机制,也是 A...
赞
踩
article
Zookeeper
实现
分布式
锁
(
乐观
和悲观)_zk
锁
是
悲观
锁
还
是
乐观
锁
...
本文介绍了使用
Zookeeper
创建不同类型的节点,并重点讨论了如何利用临时顺序节点
实现
分布式
锁
。文章通过对比分析了
乐观
...
赞
踩
article
MacOS
可以玩什么
游戏
苹果
笔记本能玩
网络
游戏
吗
苹果
电脑怎么玩
Windows
游戏
_
苹果
笔记本能玩...
CrossOver是一款基于Wine的软件,它允许Mac用户在不安装
Windows
系统的情况下运行
Windows
程序,包...
赞
踩
article
Latex
表格
制作详细教程(
table
,
tabular
,
multirow
, multicolum...
Latex
表格
制作超详细教程_
latex
multirow
latex
multirow
...
赞
踩
article
Redis
实战
宝典:从基础到进阶,解锁
数据
存储
与
缓存
新维度...
Redis
以其独特的魅力成为现代互联网架构中的重要组件。本文从基础概念到
实战
应用,再到性能优化与安全策略,力图为你构建一...
赞
踩
article
【全网最全】
文心
智能
体
平台
介绍
和
应用
_
文心
智能
体
平台
使用
方法...
文心
智能
体
平台
(Wenxin Intelligent Agent Platform)是由百度开发的一个全面集成多种人工智...
赞
踩
article
Linux
下
make
工具
与
Makefile
文件_在终端下进入sim目录: $
make
cleanma...
Linux
下
make
工具
与
Makefile
文件_在终端下进入sim目录: $
make
cleanmak
$
make
在终端...
赞
踩
article
python
之
random
模块
_
mkl
-
random
...
python
之
random
模块
文章目录
python
之
random
模块
引入什么是
random
模块
一、
random
模块
...
赞
踩
article
华硕
ROG
品牌机
安
装
ubuntu
双系统_
华硕
rog
魔霸
7plus
装
ubuntu
...
小知识点:1
品牌机
,就是主机整体都是某个品牌的东西,即使是显卡,也是加工过的;另一般
品牌机
的主板BIOS的设置有些内容...
赞
踩
相关标签
Git
版本控制
深度学习
pytorch
自然语言处理
互联网
赚钱
网赚
autodock tool文件
python
random
list
c
linux
makefile
git
make
git pull
服务器
数据库
sql
mysql
bert
人工智能
命名实体识别