2021年我对数据和分析领域的预测
原文发表与2021年1月3日，原作者：tomaztsql in R bloggers。
2021年我对数据和分析领域的预测
My predictions for 2021 – Data and analytics
写在前面
2020年对我们的生活产生了巨大影响，并推动了许多变化。由于去年是发生重大变化的一年（我们已经准备好或没有准备，但必须接受它们），所以这些肯定会对2021年给我们带来的影响。
正文
我列出了2021年我进行预测的几个方面表，这些领域的数据和分析可能会进一步发展。为了更加清晰描述，我将一些相关领域进行了分组，主要涉及：
数据工程
数据分析
机器学习
云技术
语言和角色
数据管理
数据工程
Data Engineering数据工程将持续发展，并将在2021年更加的繁荣。数据整合将使它的重要性不断扩大，将在很大程度上取决于任一个ML项目的成功。新的ETL工具浪潮将会产生，使数据转换，转换和数据可用性变得更容易，更快和更可靠。虽然数据工程取决于基础架构，但它们可能会成为数据流程，数据工具链和ETL的会有一下更多的参入工具：dbt，Panoply，Airflow，Matillion，Dataform和Alteryx。所有这些都是与供应商无关的知识，有些还非常适合连接不同的工具，平台，操作系统，还有一些也是用于数据分析的出色工具。通过开发快速驱动程序，API将带来它的独特性，并且将不同数据库之间的连接来。
随着数据工程团队，任务和操作的扩展，人们将对数据策略变得更加关注；这个术语将越来越被使用。它广泛用于描述强大的数据管理领域，确定优先次序，使数据与具有关键组织优先级的数据分析活动保持一致。目标是：概念和标准，协作，利用，提高的准确性，访问和共享。由于数据增长以及与数据团队保持一致以实现组织目标，这将在许多组织中得到驱动，尤其是在欧洲。
数据分析The data analysis
由于工作领域的变化，我们在2020年已得到一定程度的重塑，客户体验以及日常生活更快数字化。由于大流行的原因，网络安全和追踪的需要，图形分析将获得进一步的发展。实时仪表板和数据可视化将在信息领域为消费者提供正确且无争议的信息中进一步发挥作用，并且由于每个人的日常生活发生变化，数据分析故事的讲述将进一步普及。所有这些都将有助于理解正在发生的事情的基础，制定基本的业务决策以及理解更改发生原因的基本概念。数据分析的许多方面将在大流行和相关事件的急剧变化和影响中发挥关键作用。因此，我们还可以预期更多的记录将会产生，持续很长一段时期并且展开更多的机遇。
机器学习Machine Learning
机器学习将继续在中型到大型组公司中发展。并且在小型公司中将继续持续下降。数据科学家将继续热衷于获得有意义的训练数据集。他们将使用他们的ML算法来了解基于云的服务或SaaS应用程序的预测，随着时间的变化以及结果。提供更多的计算能力也将给数据科学家带来更大的压力，以捕获和获得单一变化。封闭环境将进一步推动数据科学之间的扩展。Databricks平台将越来越受欢迎，并会帮助大型企业中的DataOps生态系统，使数据对数据科学更具可操作性。CI / CD和MLOps将继续蓬勃发展，并将在2021年获得更大的吸引力。自然语言处理将在2021年实现进一步的增长，主要是将许多日常操作过程数字化并存储许多对话。机器学习将进一步商品化，许多云服务和云平台都提供了现成的ML。
云技术cloud technology
云技术将有多个倡导新标准的参与者。Snowflake将成为数据仓库领域的前三名，将数据仓库的新概念带到云中。从存储中解耦计算，使其可跨平台和跨语言使用，在任何地方提取任何类型的数据，将为大型组织带来更紧密的云并用于日常使用。由于工作场所的变化以及我们的工作方式，云将在2021年得到更广泛的使用，，许多规模较小的初创企业将会蓬勃发展。在云存储和服务的帮助下，大型公司的工作现场录音将推动这一方向的需求。对于涉及物联网的公司或采用物联网的组织，雾计算（就边缘计算而言）将成为年度流行语。一切作为代码的事物将在2021年彻底改变“作为代码”的概念，使其成为DevOps团队的重要组成部分
语言和角色 languages and roles
语言和角色也将在2021年发生变化。新的数据角色，例如：云数据准备，分析工程师，数据受托人，数据湖工程师以及作为数据运营工程师的网格化角色将在大型组织中进一步出现。数据团队将开始使他们的方法与核心软件开发保持一致，以更好地理解数据，并为其他面向数据的团队提供更好的数据服务。在2019、2020年出现的许多角色将进一步稳定并持续增长。R和Python以及Scala，Julia将继续保留并在数据科学领域占据更重要的位置。但是，理解SQL，JavaScript，Bash / PowerShell，Java，C++的重要性将变得更大。
当我们与Presto等人讨论数据科学和基础结构时，Spark将成为2021年的关键语言。在2021年投资Spark将获得回报。
数据管理Data management
数据管理将在2021年成为更大的关注点。随着数据团队，数据技术人员和数据工作人员的激增，对目录，定义和业务规则的需求将成为数据信任的基石。拥有可信的数据将加快许多以后的数据获取，准备或数据分析过程，从而使数据更加敏捷，并可以根据业务需求进行操作。治理几乎将是智能数据清理中的关键因素，比ETL /数据链/数据处理操作更重要，制定并帮助建立更强大的数据管理愿景，并创造很大的商业事件。
根际互作生物学研究室 简介
根际互作生物学研究室是沈其荣教授土壤微生物与有机肥团队下的一个关注于根际互作的研究小组。本小组由袁军副教授带领，主要关注：1.植物和微生物互作在抗病过程中的作用；2 环境微生物大数据整合研究；3 环境代谢组及其与微生物过程研究体系开发和应用。团队在过去三年中在 isme J， Microbiome， PCE，SBB，Horticulture Research等期刊上发表了多篇文章。欢迎关注 微生信生物 公众号对本研究小组进行了解。