数据库是支持知识发现的基础工程。为了获得有用的高信息量的知识，理想的情况是原始数据是没有噪声的正确数据。数据是数据库的基本单位。要建立高质量的数据库，必须对原始数据进行预处理。

也称为数据优化(EVDO)。

(资料图)

一、基本介绍

网络数据处理是网络信息计量学的重要组成部分，也是网络、新闻媒体和信息管理关注的热点研究领域之一。一个具有科学价值的数据库应该能够实现基于数据库的数据挖掘和科学研究。

数据库是支持知识发现的基础工程。为了获得有用的高信息量的知识，理想的情况是原始数据是没有噪声的正确数据。

数据是数据库的基本单位。要建立高质量的数据库，必须对原始数据进行预处理，这就是数据优化。

二、优化模型

数据分析优化模型

对数据进行分析和重组，可以大大减少数据转换过程中的查询次数，也可以最大程度地提高缓存命中率。首先，我们决定哪些领域需要转换。如果只有一个字段需要转换，

然后按照相关字段重新排列数据即可。这组数据的字段转换关系可以完全添加到缓存中。并且可以保证这个组的数据处理完后，其他组不会使用这个缓存中的数据。也就是说，在从高速缓存中移除该字段之后，

你不会再加入缓存了。如果有多个字段，则需要通过抽样测试分析字段之间的相关性，并按照相关性的顺序重新组织数据。

程序员只需要在提取数据时声明要转换的字段和相关字段。并将其保存在配置文件中。转换场是非常容易识别的，但是关联场除了一些常识性的，比如一个部门的人重合度很高之外，是可以立刻识别的。

一个品牌的车重合度很高。但是有很多用户认不出来。框架提供了一种相关抽样测试数据的学习方法，提取三个不相关的数据子集，分别测试相关命中率，取平均命中率。最高的是最相关的领域。

应该首先从语法和语义上分析用户编写的SQL语句。首先分析这个SQL有哪些字段。优化配置文件，找出需要转换的字段和相关字段，判断是在SQL中添加分组条件还是分组加排序条件。

第二步是查看SQL是否会执行全扫描。如果它将导致完全扫描转换为根据索引的扫描。最后根据以上两个方面进行SQL重写，生成符合要求的SQI，使取到的数据变得有规律，并在下一步进行数据转换。

缓存命中率大大提高。

1.文件的分析过程

在这部分中，如果数据源是一个文本文件，比如一个EXCEL表，根据文本类型调用文本文件的一些操作函数，按照配置文件的规则将EXCEL按照一定的列进行排序，形成有规律的数据。然后引入系统。

方法类似于SQL。

2.数据重组

从数据分析模型中，我们知道哪些属性需要重组，以及重组后的属性的优先级。如果数据源是一个文件，我们需要对文件进行排序。如果数据源是数据库，那么我们需要根据属性优先级重写查询SQL。

SQL优化模型

主要是在转换数据的时候，需要根据从目标数据库查询的数据来转换一些属性。为了缩短缓存替换的时间，需要对查询SQL进行优化。在预处理SQL语句之后，SQL语句被分成片段。

找到片段的各个部分，拆分片段的主要部分，根据规则优化SQL语句，将整个SQL语句还原成六个部分。

1.1的预处理。SQL语句

在分析SQL语句之前，有必要对其进行预处理，这样可以减轻后期编程的负担。预处理的主要工作是标准化SQL，以便后续处理。标准化就是去掉空格，统一成小写格式，把多行变成一行。

2.将SQL语句分成片段

经过预处理后，SQL语句就变成了我们想要的格式。接下来，根据一些限定符将字符串分成几个部分。

3.找到碎片中的零件

使用表示片段的正则表达式，在找到片段后，很容易将片段开始标记、片段主体和片段结束标记从片段中分离出来。

4.对主体进行更深层次的分析。

5.把碎片还原到主体上

前四部分结束后，我们已经分析完了SQL，但我们的最终目的是还原SQL，我们的目标是整合前四部分分析的记录。

6.优化SQL语句

缓存优化模型

与之前系统初始化时的初始缓存不同，这个缓存是业务缓存，是不断变化的。需要在数据提取阶段进行初始化，随着数据类别的变化，缓存内容也要不断更换。

如果有多个属性需要转换。具有高优先级的属性所使用的高速缓存不需要被替换。需要替换具有较低优先级的缓存内容。因为替换的内容更切题。也就是说使用的概率差不多，所以最近没用过的往往最容易被用上。

所以使用LRU 置换算法。

三、优化流程

主要流程分三个方面，分别是数据采集、数据分析和数据处理。下面将分别介缁这三个步骤所要完成的主要功能。

1数据采集

软件测试方案生成子系统根据不同的测试部门和不同的测试项目的具体要求确定相应的数据采集范围，以实时数据和历史数据作为基础采集系统运行当中需要的数据。

2数据分析

对于实时数据，系统将根据输入的文件或者命令，将其按照给定的设计要求保存到对应的数据变量和数组中，供测试管理人员生成新方案使用。

对于历史数据，系统需根据不同的数据表内容，分析其中的有用信息，并对其进行深入的分析。

3数据处理

每次系统运行开始时，对系统中的各种数据进行总结与整理，将其按照系统要去放入对应的变量或者数据表当中，以供下一步工作使用。

四、批量处理框架

研究背景

在计算机领域里，很多系统的开发和使用都离不开准确的数据。而这些数据很多时候都是由别的系统或资源产生和提供的。数据在不同的系统之间虽然内含一致，但表现形势不同。

因此我们往往需要将数据从一个系统导入另一个系统中，而大部分数据需要经过处理后再导入。而这个过程会出现三个问题。

第一个问题是处理速度。如果数据量比较大，或者涉及数据库表非常多，或者转化过程逻辑很复杂，或者数据大部分都需要映射。那么处理数据和导入数据的过程就会占用大量的时间，

在这段时间内很多因素都会导致批量处理过程的失败，这就造成了系统的不稳定性。而有些批量处理数据过程也需要在短时间完成，以给用户以良好的体验过程。这个是论文解决的重点。

第二个问题就是导入过程往往是把抽取数据，转化数据，导入数据过程和它们关联的业务仅仅联系在一起。让代码变得耦合性高和杂乱无章。使得批量处理过程没法扩展和重用。如果出现了一个新的业务的批量数据导入，

就要做很多重复工作，甚至重新导数据。人们曾经利用MVC 模式的struts 框架成功分离了页面元素和业务逻辑元素。那么导数据过程也可以利用框架分离准备数据过程和处理数据过程，

让程序员把业务逻辑都写入一个业务逻辑类中。而取数据，插入数据过程由框架完成。

第三个问题是，在处理数据的过程中，对于过程中处理的异常状况没有恰当的处理。最坏的情况下是导完数据后，不知道哪些成功了，哪些失败了。这样导数据工作将变得毫无意义。稍微好一点的情况是知道导入失败的记录，

然后利用记录去手工调整。这样虽然最后也能完成批量处理数据过程，但浪费了很多时间。框架会把异常记录成为异常信息和异常关键字两部分，根据异常信息进行微调，在根据异常关键字进行补发。

过程介绍

大批量数据的处理是将数据从一个数据源经过处理和转化后，同步到另一个数据源的过程。这个过程关注以下问题：从数据源读取数据，数据的处理，数据的写入。

大批量数据处理过程有以下特点：数据源的多样性造成取数据方式的多样性。转化过程比较复杂，有的设计运算，有时需要查询，耗费大量时间。同步过程频繁，如果数据量大，对目标数据库写入次数过多，消耗大量时间。

获取数据是大批量数据处理过程的一个重要组成部分，它负责将分布的、异构数据源中的数据，如关系数据、数据文件等的数据抽取出来，加载到内存中，以方便对数据发生重要的重构。

数据处理是将源数据转换为目标数据的关键环节。它指的是对于数据源获取到的数据，经过一系列的转换来变为目标数据库需要的数据的过程，通过比较源数据和目标数据的关系，实现了各种复杂的转换，包括数据格式转换，

数据类型转换，数据汇总计算，数据拼接等。

数据同步主要是将经过转换和清洗的数据加载到目标数据库中，供目标系统使用处理。

系统架构

开发人员利用该框架对大批量数据进行处理进行编程时，通过取数据组件获取到数据，程序员设置一次性处理的数据量，并确定用什么样的规则对数据进行处理和转化，将数据送入仓库。另外，

程序员需要设置消费者逻辑，如将数据写入哪个表，并将这个逻辑传入数据同步组件。剩下的问题程序员都不需要关注，框架会完成整个数据同步过程。如果同步过程是不稳定的，程序员需要调用异常处理函数。

保证同步过程的顺利进行。

系统的体系结构图

本文evdo是什么意思，EVDO是什么到此分享完毕，希望对大家有所帮助。

标签：