PyTorch深度学习技术生态

磐创AI

512篇原创内容
公众号

  磐创AI分享  

转自 | 机器学习实验室

作者 | louwill

来源 | Machine Learning Lab

随着近几年的大力发展,PyTorch逐渐成为主流的深度学习框架。相应的PyTorch技术生态也逐渐丰富和完善。本文重点回顾和盘点PyTorch的技术生态,包含大量的工具库,遍布AI各个领域和方向。

Pytorch Lightning

Pytorch Lightning是一款基于Pytorch的轻量级高级计算框架,相较于Pytorch而言最大特征是简洁易用,相当于Pytorch版本的Keras框架。
地址:https://www.pytorchlightning.ai/

Libtorch

Libtorch可以看作是C++版本的PyTorch,在Python环境下对训练好的模型进行转换之后,我们需要C++环境下的PyTorch来读取模型并进行编译部署。这种C++环境下的PyTorch就是libtorch。
地址:https://pytorch.org/cppdocs/

Detectron2

Detectron2是Facebook AI (FAIR) 发布的下一代目标检测算法框架。Detectron2是对Detectron项目的重构,也是maskrcnn-benchmark的替代框架。
地址:https://github.com/facebookresearch/detectron2

Transformers

Transformers是一款基于PyTorch的自然语言处理SOTA模型库。Transformers提供了数千种经过预训练的模型,能够处理各种NLP问题,例如文本分类、信息提取、问答系统,文本摘要,机器翻译和文本生成等。
地址:https://github.com/huggingface/transformers

ONNX runtime

ONNX Runtime是一种跨平台深度学习训练和推理机加速器,与深度学习框架,可以兼容TensorFlow、Keras和PyTorch等多种深度学习框架。ONNX (Open Neural Network Exchange) 是一种用于表示深度学习模型的开放格式,ONNX定义了一组通用的运算符、机器学习和深度学习模型的构建块以及一种通用的文件格式,使AI开发人员可以将模型与各种框架、工具和编译器一起使用。
地址:https://github.com/microsoft/onnxruntime

PyTorch Geometric

PyTorch Geometric (PyG) 是一款基于PyTorch的图神经网络深度学习扩展库。PyG对已发表或者常用的图神经网络和数据集都进行了集成,因而是当前最流行和广泛使用的GNN库。
地址:https://github.com/rusty1s/pytorch_geometric

PyTorch3D

PyTorch3D是一款基于PyTorch将深度学习与3D进行结合的研究框架。3D数据比2D图像更为复杂,在处理诸如Mesh R-CNN和C3DPO之类的项目时,需要用3D数据进行表示,在批处理和速度方面的诸多挑战。 PyTorch3D开发出许多用于3D深度学习的有用的运算符和抽象,并希望与社区共享以推动这一领域的新颖研究。
地址:https://pytorch3d.org/

Ray

Ray为构建分布式机器学习应用提供简单和通用式的API。Ray打包了Tune、RLlib、RaySGD和Ray Serve等多款机器学习库。
地址:https://github.com/ray-project/ray

skorch

从名称就可以看出来,skorch是一款综合scikit-learn和PyTorch的机器学习库,可以实现scikit-learn和PyTorch高效兼容。
地址:https://github.com/skorch-dev/skorch

PySyft

PySyft是用于安全和私有深度学习的Python库。PySyft使用联合学习,差分隐私和加密计算(例如PyTorch和TensorFlow等主要深度学习框架中的多方计算 (MPC) 和同态加密 (HE) 将模型训练中的私人数据进行解耦。
地址:https://github.com/OpenMined/PySyft

Pyro

Pyro是一款基于PyTorch作为后端的通用概率编程语言 (PPL)。
地址:http://pyro.ai/

fastai

fastai使用当前深度学习最佳实践简化了神经网络的训练过程,并且在速度和精度上都非常可观。fastai作为一款深度学习库,可为从业人员提供高级组件,这些组件可以快速轻松地提供标准深度学习领域中的最新结果,并为研究人员提供可以混合和匹配以构建的低级组件新方法。
地址:https://docs.fast.ai/

Horovod

Horovod可以为PyTorch提供分布式深度学习训练框架。Horovod最初由Uber开发,旨在使分布式深度学习变得快速且易于使用,使模型训练时间从几天和几周缩短到数小时和数分钟。使用Horovod可以将现有的训练脚本规模进行扩大,使其仅用几行Python代码就可以在数百个GPU上运行。
地址:http://horovod.ai/

AllenNLP

AllenNLP几乎可以针对几乎所有NLP问题设计深度学习模型,并且可以轻松地在云端或笔记本电脑上运行。
地址:https://allennlp.org/

Albumentations

Albumentations是一款用于计算机视觉图像增强的高级库。基于Albumentations的图像增强效果入下图所示。
地址:https://github.com/albumentations-team/albumentations

DeepSpeed

DeepSpeed是一个深度学习优化库,它使分布式训练变得容易和高效。
地址:https://www.deepspeed.ai/

Flair

Flair是一款非常容易上手的PyTorch NLP SOTA框架。
地址:https://github.com/flairNLP/flair

ParlAI

ParlAI是一款跨多个任务共享,训练和评估对话模型的一体化的机器学习平台。
地址:https://parl.ai/

PyTorch Metric Learning

PyTorch Metric Learning能够让你以最轻松的方式在你的机器学习代码中融入深度度量学习,并且容易模块化、高度的灵活性和可拓展性。PML 9大模块如下图所示。
地址:https://kevinmusgrave.github.io/pytorch-metric-learning/

BoTorch

BoTorch是一个基于PyTorch的高效贝叶斯优化框架。
地址:https://botorch.org/
随着PyTorch逐渐流行以及越来越多的开发者加入,基于PyTorch的深度学习技术生态也逐渐丰富和完善。本文限于篇幅,就仅罗列部分具有代表性和流行性的技术框架。
(0)

相关推荐

  • PyTorch版《动手学深度学习》PDF 版开源了

    内容简介 一位北大的老哥把他翻译成了 Pytorch 版 https://github.com/ShusenTang/Dive-into-DL-PyTorch 源项目由于写的是 markdown ,我 ...

  • 精品收藏:GitHub人工智能AI开源项目

    精品收藏:GitHub人工智能AI开源项目 绝对精品!!!花了点时间,鄙人把这几年收藏的开源精品项目,整理一下,方面以后查找.其中涵盖了姿态检测,图像分割,图像分类,美学评价.人脸识别.多尺度训练,移 ...

  • 【移动端DL框架】当前主流的移动端深度学习框架一览

    在这个专栏中,我们会介绍与移动端的模型训练和部署有关的框架的使用. 作者&编辑 | 言有三 深度学习模型要落地,比如要部署到手机等移动端平台,之前给大家介绍的用于训练的框架就不能直接使用了,我 ...

  • 【杂谈】当前模型量化有哪些可用的开源工具?

    模型量化属于模型优化中的重要技术之一,是非常有效地提升模型推理速度的技术方案,那么当前有哪些可用的模型量化工具呢? 作者&编辑 | 言有三 1 Tensorflow Lite TensorFl ...

  • 【完结】给新手的12大深度学习开源框架快速入门项目

    这是一篇总结文,给大家来捋清楚12大深度学习开源框架的快速入门,这是有三AI的GitHub项目,欢迎大家star/fork. https://github.com/longpeng2008/yousa ...

  • 步步为营!高手教你如何有效使用深度学习解决实际问题

    来自法国 Capgemini Invent 公司的高级数据科学家 Ahmed BESBES 三个月前参加了一个其公司内部的比赛:使用机器学习方法帮助海洋科学家更好的识别鲸鱼,根据鲸尾页突的外观作为主要 ...

  • 【github干货】主流深度学习开源框架从入门到熟练

    言有三 毕业于中国科学院,计算机视觉方向从业者,有三AI学院等创始人 作者 | 言有三 编辑 | 言有三 今天送上有三AI学院第一个github项目 01 项目背景 目前深度学习框架呈百家争鸣之态势, ...

  • 基于人工神经网络的深度学习技术

    人工智能领域的基础技术仍然一直行驶在快车道上,实际用例也如雨后春笋一般涌现,不仅对全球经济产生了巨大影响,也渗透到了人们日常生活的各个方面.那么基于人工神经网络的深度学习技术有哪些形式? 基于人工神经 ...

  • 2020年深度学习技术发展综述

    来源:无人系统技术 作者:王亚珅 摘要:对深度学习领域的研究进行综合评述,并对其进一步发展方向进行分析.首先分析围绕注意力机制的深度学习技术最新研究成果,以及在自然语言处理领域取得突破性进展的巨型预训 ...

  • 任天堂为《超级马里奥3D合集》使用深度学习技术!新垣结衣出演最新《动森》CM公开!

    传言:PS3/PSP/PSV商店或于近期关闭 据知情人士透露,PS3/PSP/PSV商店或于近期关闭,其中,PSP和PS3商店将于7月2日关闭,PSV商店将于8月27日关闭,届时玩家将无法通过商店购买 ...

  • 图像处理中的深度学习技术

    深度学习算法现在是图像处理软件库的组成部分.在他们的帮助下,可以学习和训练复杂的功能;但他们的应用也不是万能的. "机器学习"和"深度学习"有什么区别? 在机器 ...

  • 将深度学习技术应用于基于情境感知的情绪识别

    更多技术干货第一时间送达 延世大学和洛桑联邦理工学院(EPFL)的研究团队最近开发了一种新的技术,可以通过分析图像中的人脸和上下文特征来识别情绪.他们在arXiv上预先发表的一篇论文中介绍并概述了他们 ...

  • 基于TensorFlow的分布式深度学习技术

    随着各大企业和研究机构在TensorFlow上训练越来越多的机器学习模型,项目的数据和计算能力需求正在急剧增加.在大部分情况下,模型是可以在单个或多 GPU 平台的服务器上运行的,但随着数据集的增大和 ...

  • 智能ai深度学习技术

    As physicians, nurses, dentists, or any healthcare expert, we all have experienced the earshot of fl ...

  • PyTorch深度学习模型训练加速指南2021

    作者:LORENZ KUHN 编译:ronghuaiyang 导读 简要介绍在PyTorch中加速深度学习模型训练的一些最小改动.影响最大的方法.我既喜欢效率又喜欢ML,所以我想我也可以把它写下来. ...

  • 高性能计算和深度学习技术趋势

    进行深度学习的训练向来不被认为是CPU的强项,但是以CPU研发见长的英特尔并不甘心屈服于这个定位,在过去的几年里,英特尔及其合作伙伴一直在探索用CPU来进行快速有效的深度学习开发的方法.代号KNL的X ...