技巧 | 30Mb/s-高速-生信大数据-跨地域-传输

写在前面

最近需要紧急跑一批数据,然而手上的计算资源着实有限。唯一想得到的解决办法就是蹭一下老铁的数据平台(PB级存储)。于是问题出现了,手上接近 1T 的数据,如何快速传输到距离太远的省份?

面临的问题场景

更复杂的是,问题不仅仅是简单的数据传输:

  1. 数据在学校的服务器上,学校服务器中间有堡垒机,直接从学校服务器 scp 则需要在远程服务器上挂代理....问题出现了,Linux 下挂学校的代理,似乎不可行。

  2. 老铁的数据平台,访问也需要挂 VPN,于是直接 scp 可行性似乎不高。

  3. 测试了从本地直接上传到老铁的服务器,速度不到 2Mb/s。

想来想起,想起了奶牛快传

使用奶牛快传命令行版本

下载奶牛快传

https://github.com/Mikubill/cowtransfer-uploader/releases
wget https://github.com/Mikubill/cowtransfer-uploader/releases/download/v0.4.17/cowtransfer-uploader_0.4.17_linux_amd64.tar.gztar -zxvf cowtransfer-uploader_0.4.17_linux_amd64.tar.gz

从本地服务器上传数据到奶牛快传

cowtransfer-uploader 108.log

注意到,数据上传时,可以拿到文件对应的链接,如

登录远程服务器,下载数据

cowtransfer-uploader https://cowtransfer.com/s/b9488e43a3bb40

上传时速度不会太快,但是下载时速度则超快....

屡试不爽....(于是我又买了奶牛快传的会员)
注意到,如果是高校师生,奶牛快传似乎也有教育版优惠,当然我等不及了....感兴趣的朋友可以看看。

写在最后

Emmm,目前来说,我买过的正版软件不多,还有印象的包括:

  1. install4j,为了方便 TBtools 用户安装,这个花了我 1.5w RMB(两三年前买的吧,自己买单)

  2. 滴答清单,用了下确实好用,这个教育版优惠,印象是 99 块钱,还是很便宜

  3. 奶牛快传,事实上,这应该是赵飞推荐过的,或许还提过之前的优惠,最近要涨价云云,当然,我就一直停留在看看。这次先买了一个月,好像是 39块钱?按年付费更便宜。如果有时间,或许我确实会折腾一下教育版优惠,毕竟....

(0)

相关推荐

  • 奶牛快传,取代你的scp和ftp

    咱们搞生物信息学数据分析的小伙伴通常是接触过服务器,但是呢,很少是物理空间的接触,我们的测序数据上传到服务器通常是使用ftp软件,比如工具FileZilla 和winscp这样的,或者使用scp命令. ...

  • 基带传输和宽带传输的区别!!

    基带传输的定义 在数据通信中,表示计算机二进制的比特序列的数字数据信号是典型的矩形脉冲信号; 矩形脉冲信号的固有频带称做基本频带,简称为基带,矩形脉冲信号就叫做基带信号; 在数字通信信道上,直接传送基 ...

  • 大于2G的文件如何免费使用奶牛快传

    他们依然采用传统的本地上传方式,比如FileZilla(三大平台),taransmit(MacOS)等软件(这两个软件很常用,Transmit我之前在局域网的服务器中使用很方便,网速很快,但是在服务器 ...

  • 有问有答:为什么千兆网络跑不到125MB/s?

    相信很多人在公司或者家里早就用上了千兆局域网,按照我们老生常谈的公式,从Mbps换算成MB/s要除以8,这样算出来,千兆网路的理论传输速度上限应该是125MB/s才对,但在实际应用场景中,我们从来就没 ...

  • 荣耀水晶真的有技巧?概率论所包含的大数据,你真的把握不住

    问大家一个问题,王者荣耀中最贵的道具是什么? 肯定所有的玩家都会说荣耀水晶,因为其他的礼包.皮肤.道具等,都是明码标价,就像是最贵的皮肤传说皮肤,也会有一个固定的级别,但是荣耀水晶却不同,这个道具需要 ...

  • 生信技巧第5课-生信人必须安装的软件

    长期更新列表: 视频讲解-R爬取生信软件列表到思维导图 生信技巧第3课-请你务必学好R语言 broad官网出品的 必须神器 IGV 资料大全,含视频 不知不觉就第5讲了,本次视频没有干货,只是为了保证 ...

  • 生信小技巧第09课-生信基础资料大全

    长期更新列表: 视频讲解-R爬取生信软件列表到思维导图 生信技巧第3课-请你务必学好R语言 broad官网出品的 必须神器 IGV 资料大全,含视频 生信技巧第5课-生信人必须安装的软件 生信技巧第0 ...

  • 我的志愿我做主,考生切不可盲信“大数据”计算出来的“录取率”

    [家教智慧 第495期] 我的志愿我做主 考生切不可盲信"大数据"计算出来的"录取率" 随着高考成绩发布日期的临近,各种志愿填报咨询机构火爆起来.不少机构推出了 ...

  • 你也能轻松学会的2020年纯生信大热门!

    2020年非肿瘤的免疫浸润肯定是一个大热门!还没有做的小伙伴就参考着这篇文章可以开始设计自己的课题了. Elucidating the molecular pathways and immune sy ...

  • 杨凯生:大数据到底是属于谁的?所有权应该归谁?

    中国银保监会国际咨询委员会委员.中国工商银行原行长杨凯生出席了峰会并发表演讲.杨凯生表示,数字化发展给传统的政治经济学带来了一个需要回答的问题.即在互联网.大数据.云计算.人工智能等一系列新技术快速发 ...

  • 生信小技巧第07课-从ncbi等数据库网站下载大批量原始测序数据

    长期更新列表: 视频讲解-R爬取生信软件列表到思维导图 生信技巧第3课-请你务必学好R语言 broad官网出品的 必须神器 IGV 资料大全,含视频 生信技巧第5课-生信人必须安装的软件 不知不觉就第 ...

  • 生信小技巧第8课,加上 TCGA的28篇教程- 批量下载TCGA所有数据

    长期更新列表: 视频讲解-R爬取生信软件列表到思维导图 生信技巧第3课-请你务必学好R语言 broad官网出品的 必须神器 IGV 资料大全,含视频 生信技巧第5课-生信人必须安装的软件 好神奇啊,两 ...

  • 【生信笔记】高速下载测序数据:Aspera的安装与使用

    当我们需要一些NGS数据时,一般会去NCBI或者EBI的数据库中下载.但是当我们用wget下载时,时常会出现断开连接或者网络下载速度缓慢,对于几十G或者上百G的数据,下载无计可施,这是则可以使用Asp ...