赞
踩
导读:近几年随着深度学习算法的发展,出现了许多深度学习框架。这些框架各有所长,各具特色。常用的开源框架有TensorFlow、Keras、Caffe、PyTorch、Theano、CNTK、MXNet、PaddlePaddle、Deeplearning4j、ONNX等。
作者:谢佳标
来源:大数据DT(ID:hzdashuju)
下面开始对各框架进行概述,让读者对各个框架有个简单的认知,具体的安装及使用方法不在本文赘述。
谷歌的TensorFlow
可以说是当今最受欢迎的开源深度学习框架,可用于各类深度学习相关的任务中。TensorFlow = Tensor + Flow
,Tensor
就是张量,代表N
维数组;Flow
即流,代表基于数据流图的计算。
TensorFlow
是目前深度学习的主流框架,其主要特性如下所述。TensorFlow
支持Python
、JavaScript
、C ++
、Java
、Go
、C
#、Julia
和R
等多种编程语言。TensorFlow
不仅拥有强大的计算集群,还可以在iOS
和Android
等移动平台上运行模型。TensorFlow
编程入门难度较大。初学者需要仔细考虑神经网络的架构,正确评估输入和输出数据的维度和数量。TensorFlow
使用静态计算图进行操作。也就是说,我们需要先定义图形,然后运行计算,如果我们需要对架构进行更改,则需要重新训练模型。选择这样的方法是为了提高效率,但是许多现代神经网络工具已经能够在学习过程中改进,并且不会显著降低学习速度。在这方面,TensorFlow
的主要竞争对手是PyTorch
。
▲ 图2.1.1 TensorFlow
RStudio
提供了R
与TensorFlow
的API
接口,RStudio
官网及GitHub
上也提供了TensorFlow
扩展包的学习资料。
Keras是一个对小白用户非常友好且简单的深度学习框架。如果想快速入门深度学习, Keras将是不错的选择。
Keras是TensorFlow高级集成API,可以非常方便地和TensorFlow进行融合。Keras在高层可以调用TensorFlow、CNTK、Theano,还有更多优秀的库也在被陆续支持中。Keras的特点是能够快速搭建模型,是高效地进行科学研究的关键。
Keras的基本特性如下:
▲ 图2.2.1 Keras
RStudio提供了R与Keras的API接口,RStudio的官网及GitHub上也提供了Keras扩展包的学习资料。
Caffe是由AI科学家贾扬清在加州大学伯克利分校读博期间主导开发的,是以C++/CUDA代码为主的早期深度学习框架之一,比TensorFlow、MXNet、PyTorch等都要早。Caffe需要进行编译安装,支持命令行、Python和Matlab接口,单机多卡、多机多卡等都可以很方便使用。
Caffe的基本特性如下。
▲ 图2.3.1 Caffe
同时,Caffe的缺点也比较明显,主要包括如下几点。
虽然Caffe已经提供了Matlab和Python接口,但目前不支持R语言。caffeR为Caffe提供了一系列封装功能,允许用户在R语言上运行Caffe,包括数据预处理和网络设置,以及监控和评估训练过程。该包还没有CRAN版本,感兴趣的读者可以在GitHub找到caffeR包的安装及使用的相关内容。
yTorch是Facebook团队于2017年1月发布的一个深度学习框架,虽然晚于TensorFlow、Keras等框架,但自发布之日起,其受到的关注度就在不断上升,目前在GitHub上的热度已经超过Theano、Caffe、MXNet等框架。
PyTroch主要提供以下两种核心功能:
▲ 图2.4.1 Pytorch
PyTorch的主要优点如下。
Theano诞生于2008年,由蒙特利尔大学的LISA实验室开发并维护,是一个高性能的符号计算及深度学习框架。它完全基于Python,专门用于对数学表达式的定义、求值与优化。得益于对GU的透明使用,Theano尤其适用于包含高维度数组的数学表达式,并且计算效率比较高。
▲ 图2.5.1 Theano
因Theano出现的时间较早,后来涌现出一批基于Theano的深度学习库,并完成了对Theano的上层封装以及功能扩展。在这些派生库中,比较著名的就是本书要学习的Keras。Keras将一些基本的组件封装成模块,使得用户在编写、调试以及阅读网络代码时更加清晰。
▲ 图2.6.1 CNTK
CNTK(Microsoft Cognitive Toolkit)是微软开源的深度学习工具包,它通过有向图将神经网络描述为一系列计算步骤。在有向图中,叶节点表示输入值或网络参数,其他节点表示其输入上的矩阵运算。
CNTK允许用户非常轻松地实现和组合流行的模型,包括前馈神经网络(DNN)、卷积神经网络(CNN)和循环神经网络(RNN、LSTM)。与目前大部分框架一样,CNTK实现了自动求导,利用随机梯度下降方法进行优化。
CNTK的基本特性如下。
微软开发的CNTK-R包提供了R与CNTK的API接口。感兴趣的读者可以通过以下网址进行学习。
▲ 图2.7.1 MXNet
MXNet框架允许混合符号和命令式编程,以最大限度地提高效率和生产力。MXNet的核心是一个动态依赖调度程序,可以动态地自动并行化符号和命令操作。其图形优化层使符号执行更快,内存效率更高。
MXNet的基本特性如下。
▲ 图2.8.1 ONNX
ONNX(Open Neural Network eXchange,开放神经网络交换)项目由微软、亚马逊、Facebook和IBM等公司共同开发,旨在寻找呈现开放格式的深度学习模型。ONNX简化了在人工智能不同工作方式之间传递模型的过程,具有各种深度学习框架的优点。
ONNX的基本特性如下。
onnx-r包提供了R与ONNX的API接口。感兴趣的读者可以通过以下网址进行学习。
● 相关图表链接:
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。