工业大数据应用的最大挑战——如何改善工业数据的集成
ETL，是英文 Extract-Transform-Load 的缩写，用来描述将数据从来源端经过提取(extract)、转换(transform)、加载(load)至目的端的过程。提取、转换、加载软件（ETL软件），也就是常说的数据处理软件，可以帮助改善运营技术（OT）应用程序的数据收集。面对海量数据，制造企业需要解决数据集成的主要挑战。
大多数人都熟悉工业 4.0、智能制造和工业物联网（IIoT），这些术语的兴起反映出运营技术（OT）的巨大变化，其中涉及到了大量的基础技术，包括云、大数据、智能传感器、单板固态计算机、无线网络、分析软件、应用程序开发平台和移动设备等。
虽然其中一些技术不是最新技术，但是由于最近成本的下降和易用性的提高，增加了其使用率。这些技术与诸如控制系统和制造执行系统 （MES）之类的传统OT技术相结合，通过提供更多数据以及利用该数据的工具，帮助改制造企业的运营和业务功能。
许多类似的技术，最初都是为信息技术（IT） 部门开发的，旨在与其它业务领域进行交互。鉴于海量的制造数据和改进运营的需求，IT正在评估和采用这些工具的可能性。希望利用工业数据的运营团队，在数据集成方面面临着挑战，这增加了部署此类系统所需的工作量。IT 行业通过创建提取、转换、加载（ETL）软件来解决这些数据集成难题，将业务系统集成到分析系统中。
ETL可以从其它系统和数据库（如客户关系管理（CRM）和企业资源计划（ERP）系统中提取数据，并将数据合并到数据存储中，然后通过清理、调整和规范化数据进行转换。
为什么之前很少使用 ETL 解决方案来处理工业数据？原因是工厂中来自控制系统的工业数据，与来自业务系统的交易数据所面临的挑战不一样。对于制造企业而言，了解ETL解决方案中的每个细节，以最大限度地发挥潜在数据优势至关重要。
运营数据并没有全部存储在数据库中以待提取使用。它可以从工厂中的可编程逻辑控制器、机器控制器、监控和数据采集（SCADA）系统和时间序列数据库中实时获得。运营数据必须从数百个设备和系统中收集数据，而不是从少数大型数据库中提取数据。
交易处理系统可以存储每笔交易的完整记录，但是在工厂中，并不是所有的过程数据都被保存为“交易”。大规模的离散制造商，无法存储离线的每个组件的完整数据集。
运营数据的转换
对运营数据的转换，比IT数据转换需要考虑更多的因素。
运营数据存储通常定期进行。存储的数据可以是实际值，例如生产数量，也可以是根据原始数据获得的统计数据，例如每秒检查但每小时记录一次的平均、最小和最大温度值。PLC数据点通常具有一个地址或名称以及一个值。数据点仅提供以过程或控件为中心的数据视图。没有描述、度量单位、操作范围或其它描述性信息。
由于工业数据主要用于控制环境之外的机器维护、过程优化、质量和可追溯性，因此带来了一定的挑战性。在这种情况下，必须对数据进行分析和调整，以对机器进行维护，对过程进行流程优化，对产品进行质量和追溯。所需的数据必须相关联，有时必须转换为可用格式。
典型的工厂所拥有的机器具有不同的数据。对于分析，必须对数据点进行标准化、规范化，并且在某些情况下使用部件指标来进行计算。分析数据通常不如控制数据那么关键。企业使用低成本传感器收集数据以进行非关键分析。传感器可能会发生故障或漂移。带有外部数据验证的冗余传感器，可以帮助实现良好的数据存储。
工业数据的提取和转换，必须在接近生产机器处完成。这样数据就可以被就地边缘分析所使用，并发送到就地数据中心或云端。采用边缘计算还是云计算主要取决于哪个效率更高。制造企业必须简化数据集成，以实现工业 4.0、智能制造和IIoT的预期价值。
关键概念 ：
■ ETL解决方案可以收集数据并将其存储以供进一步分析使用。
■ 获取和转换OT数据与IT数据面临不同的挑战。
■ ETL可以改善OT数据，但是必须简化该过程以获取更多数据价值。
思考一下 ：
在 您 的 工 厂 中， 哪些应用程序将从 ETL解决方案中受益最多？为什么？你知道ETL软件有哪些吗？欢迎留言。
本文来自于《控制工程中文版》（CONTROL ENGINEERING China ）2019年11-12月刊《技术进展》栏目，原标题为：改善工业数据的集成