赞
踩
首先声明,这篇文章不是广告,只是觉得这个方法还不错,分享一下!
我们做生物信息的,经常会需要下载一些数据库,基本上来自国外的,由于海底光缆是稀缺资源,再加上现在美国铁了心要与我们切割,国外网站的网速就慢的可怜了,有钱的单位或许可以找运营商拉一条专线,而我们可能只有自己想想办法了。
就拿宏基因组分析所需的数据库来说吧,单单物种的分类注释,基本上是要把世界上已经测序和研究的所有细菌、病毒的序列都下载下来,大小可想而知了,至少几十个G的数据是有的。如果构建一个宏基因组的分析数据库,可能仅数据库下载就是一个相当浪费时间的大工程,大概从国外下载好了邮寄硬盘也能到了,当然,这个有点不现实。
这里,我觉得各家云服务商应该有好办法,毕竟它们肯定有专线来保证各个运营区域的数据传输速度。这里,我选择了腾讯云,因为之前一直用的这个,习惯了。新建用户,充值的步骤就省略了。
我的逻辑是这样的,画个图吧,清楚点!
这样就利用了云服务器提供商的高速互联网络实现了数据库的快速下载。具体步骤如下:
这个很简单,主要注意选择按量付费,不要选择预付费,这样的产品最低配的只要1毛钱左右一个小时,我们足够用了。
因为流量是按量计费的,所以带宽可以拉到最大,不多花钱,还能节约时间,一举两得。1块1小时,贵点,没办法,需要数据嘛。
图上的价格是以前截取的,没用重新截图。
至此,服务器购买完成,可以进行数据下载了。
一般wget或者axel下载了,外网环境wget基本就够了,十M每秒的下载速度应该能轻松达到。
比如我这里下载个miniKraken的数据库,大约5G多,下载是个小问题。
首先选择登陆-标准方式-立即登陆,输入用户名和密码就可以了。
wget ftp://ftp.ccb.jhu.edu/pub/data/kraken2_dbs/old/minikraken2_v1_8GB_201904.tgz
大约10分钟下载完成,国内是10K的速度,两者相差了100倍以上。。。
更多-制作镜像,起个名字就可以了。
选择左侧-镜像选项,然后选择更多-跨地域复制,复制到一个国大陆的服务区域(最好离你最近的区域,按说更快,虽然国内速度应该差不多),然后使按照第一步在这个区域再建一个云服务器就可以了。然后,使用filezilla下载下来就好了。
另外,发现用QQ离线传数据也比较快,能达到几M每秒,如果服务器装个windows server+QQ应该就可以免费使用腾讯的CDN下载数据了,能省下流量费,云服务器从网络下载数据不收费的,传输到本地收费。改天可以试下。
今天测试下QQ离线传输,先开通按量计费的服务器,1核2G ,Windows Server 2012 R2 数据中心版 64位中文版(这个相当于win8,应该就)够用了,约3毛1小时,数据是1元/G,但是内网传输和从外网下载到服务器应该不收费的。看看QQ离线传输收费情况。
发现文件大于4G没法发送,所以考虑压缩,压缩考验CPU,所以多核心有优势,可以衡量下时间和成本,看配置几核心合适。
再试试QQ邮箱大附件传输咋样,好吧单个文件不能超过3G。那就分卷压缩下,真是不容易呀!
qq离线传输速度在1-2M/s左右,我觉得这个速度也可以勉强接受了。但是每天有流量限制,普通用户每天2G流量,会员每天6G-2T流量不等,看来还得开个会员,也无可厚非,使用服务,就付费,相比流量费还是相对划算的。
其他的方法:
1、试试开迅雷会员有没有速度,小窍门,先试用会员有没有速度,如果试用都没有速度,也就不必开了。其他多线程下载工具也可以测试,motrix这种。
2、试试百度云离线下载有没有速度,或许速度很快。
3、如果下载的文件很多,可以考虑开个包月的VPS,宽带包月的话会相对实惠,要找一个带宽所需时间与成本的平衡。
好了,就到这里了,你有没有更好的数据下载方式,欢迎分享。
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。