浅析数据挖掘技术的基本步骤

无论是做事情，想要提升效率，一方面需要搞清楚事情本身相关信息，另一方面需要搞清楚事情的基本流程或者步骤，同样的数据挖掘也是同样的道理。那么数据挖掘技术的基本步骤是怎么样的呢？

数据挖掘技术的基本步骤

1、建立适用于实际问题需要的,具有问题所在领域特点的数据仓库。它的作用是将一个数据库系统从以存储数据为主要目的转变为以分析利用数据为主要目的。虽然现有的数据库可以方便地存储海量数据,同时也发展出了一定的技术,例如在线分析处理,供用户进行查询,但它不支持对查询结果进行分析归纳的能力,仍然依赖于人工对查询结果进行分析、处理和建模,仍然依赖于手工方法来用新的数据测试所建模型。

2、从数据仓库所存储的数据中选取一个合适的数据集,以作为数据挖掘算法的原始输入。这牵涉到对于数据的统一性、时变性、数据采集方法、采样数据充分与否、数据维数等方面的考虑。

3、数据预处理。包括对噪声的消除,对缺损数据的补齐方式,对数据做适当的标准化处理。

4、数据的降维与变换。对于维数很高的数据,寻找出最能够反映其特征的那几维分量,将高维数的数据空间转换为易解决的低维数的数据空间来处理。

5、确定数据挖掘的任务。根据实际需要,决定数据挖掘的目标是建立预测性模型、聚类、数据摘要或是突变和偏差检测中的哪一类。

6、决定数据挖掘的具体算法。决定何种方法可以适用于处理当前的数据类型。这种选择具体算法模型和参数的过程是整个数据挖掘过程中十分关键的一步。

7、进行数据挖掘的具体处理。依据最终目的的不同,选择使用分类算法或者是决策树算法、回归算法、聚类算法或者是建立相关性模型的相应算法,以得出有用的结论。

8、对数据挖掘得出的结果进行检验。主要基于以下几个方面:

a. 利用结论对其它来源的信息做校核;

b. 利用图表等直观的可视化手段辅助分析,决定所得结论的有用程度;

c. 由用户自行决定所得出结论的有用程度。

9、将所得结论应用于实际。要求对数据挖掘到的结果进行校验,解决其与原本所认同的概念、看法之间的矛盾。

数据挖掘技术大致可分为 9个基本步骤,但各个步骤之间不是相互独立的,而是密切相关的,一个步骤的改变不仅会牵涉到随后诸步骤的相应变动,而且还会导致先前各步骤的变更。