大数据测试三个步骤：

步骤一：数据阶段验证

大数据测试的第一步，也称作pre-hadoop阶段该过程包括如下验证：

1)来自各方面的数据资源应该被验证，来确保正确的数据被加载进系统。

2)将源数据与推送到Hadoop系统中的数据进行比较，以确保它们匹配。

3)验证正确的数据被提取并被加载到HDFS正确的位置。

该阶段可以使用工具Talend或Datameer，进行数据阶段验证。

步骤二："MapReduce"验证

大数据测试的第二步是MapReduce的验证。在这个阶段，测试者在每个节点上进行业务逻辑验证，然后在运行多个节点后验证它们，确保如下操作的正确性：

1)Map与Reduce进程正常工作。

2)在数据上实施数据聚合或隔离规则。

3)生成键值对。

4)在执行Map和Reduce进程后验证数据。

步骤三：输出阶段验证

大数据测试的最后或第三阶段是输出验证过程。生成输出数据文件，同时把文件移到一个EDW(Enterprise Data Warehouse:企业数据仓库)中或着把文件移动到任何其他基于需求的系统中。在第三阶段的活动包括：

1)检查转换(Transformation)规则被正确应用。

2)检查数据完整性和成功的数据加载到目标系统中。

3)通过将目标数据与HDFS文件系统数据进行比较来检查没有数据损坏。

比如用户数据量大的时候系统会不会崩，能不能稳定，还有累积到很多数据的时候系统还能不能正常运行

测试大数据应用程序更多的是验证其数据处理，而不是测试软件产品的个别功能。当涉及到大数据测试时，性能和功能测试是关键。在大数据测试中，QA工程师使用集群和其他组件来验证对TB级数据的成功处理。因为处理非常快，所以它需要高水平的测试技能。

大数据应用程序的测试更多的是去验证其数据处理而不是验证其单一的功能特色。当然在大数据测试时，功能测试和性能测试是同样很关键的。对于大数据测试工程师而言，如何高效正确的验证经过大数据工具/框架成功处理过的至少百万兆字节的数据将会是一个巨大的挑战。因为大数据高效的处理测试速度，它要求测软件工程师具备高水平的测试技术才能应对大数据测试。

大数据测试主要是：1、实时大数据量。2、极限状态下的测试。3、前面两种的结合。测试系统已经累积较大数据量时，一些实时产生较大数据量的模块能否稳定地工作。

大数据是用于大量结构化或非结构化数据的术语，这些数据有可能提供一些信息。谈论大数据时，具体的数据量无从告之，但通常都是拍字节(Petabytes)和艾字节(Exabytes)数量级的。如此大量的数据很难集成。大数据，活泼的快速移动数据，有助于更好地了解客户和产品，从而带动业务增长。尽管有许多技术可用，技术人员仍然很难找出从哪里开始。

大数据测试

测试大数据应用程序更多的是验证其数据处理，而不是测试软件产品的个别功能。当涉及到大数据测试时，性能和功能测试是关键。在大数据测试中，QA工程师使用集群和其他组件来验证对TB级数据的成功处理。因为处理非常快，所以它需要高水平的测试技能。

大数据应用程序的测试更多的是去验证其数据处理而不是验证其单一的功能特色。当然在大数据测试时，功能测试和性能测试是同样很关键的。对于大数据测试工程师而言，如何高效正确的验证经过大数据工具/框架成功处理过的至少百万兆字节的数据将会是一个巨大的挑战。因为大数据高效的处理测试速度，它要求测软件工程师具备高水平的测试技术才能应对大数据测试。

大数据处理的三个特性：1)大批量 2)实时性 3)可交互。另外，数据质量也同样是大数据测试的一个重要维度。

因此在进行应用程序测试之前，必须确保数据质量，并且考虑把数据质量作为数据库测试的一部分。涉及数据的各种特性的检验，例如一致性、准确性、重复性、连贯性、有效性及完整性等等。

一、大数据测试基本概念
1、、什么是大数据?
大数据是一个大的数据集合，通过传统的计算技术无法进行处理。这些数据集的测试需要使用各种工具、技术和框架进行处理。大数据涉及数据创建、存储、检索、分析，而且它在数量、多样性、速度方法都很出色。

2、什么是BI？
BI（Business Intelligence）即商务智能，它是一套完整的解决方案，用来将企业中现有的数据（原始数据或商业数据或业务数据等）进行有效的整合，快速准确地提供报表并提出决策依据，帮助企业做出明智的业务经营决策。
原始数据记录了企业日常事务，例如与客户交互的信息、财务信息，员工相关记录等等。
这些数据可以用于汇报、分析、挖掘、数据质量、交互、预测分析等等

3、什么是数据仓库？
数据仓库是为查询和分析而不是事务处理而设计的数据库。
数据仓库是通过整合不同的异构数据源而构建起来的。
数据仓库的存在使得企业或组织能够将整合、分析数据工作与事务处理工作分离。
数据能够被转换、整合为更高质量的信息来满足企业级用户不同层次的需求。

4、什么是ETL？
ETL是Extract-Transform-Load的缩写（提取-转换-载入），是一个完整的从源系统提取数据，进行转换处理，载入至数据仓库的过程。

二、大数据测试类型
测试大数据应用程序更多的是验证其数据处理，而不是测试软件产品的个别功能。当涉及到大数据测试时，性能和功能测试是关键。

在大数据测试中，QA工程师使用集群和其他组件来验证对TB级数据的成功处理。因为处理非常快，所以它需要高水平的测试技能。处理可以是三种类型：批量、实时、交互。

与此同时，数据质量也是大数据测试的一个重要因素。在测试应用程序之前，有必要检查数据的质量，并将其视为数据库测试的一部分。它涉及检查各种字段，如一致性，准确性，重复性，有效性，数据完整性等。

测试大数据应用程序更多的是验证其数据处理，而不是测试软件产品的个别功能。当涉及到大数据测试时，性能和功能测试是关键。在大数据测试中，QA工程师使用集群和其他组件来验证对TB级数据的成功处理。因为处理非常快，所以它需要高水平的测试技能。

大数据应用程序的测试更多的是去验证其数据处理而不是验证其单一的功能特色。当然在大数据测试时，功能测试和性能测试是同样很关键的。对于大数据测试工程师而言，如何高效正确的验证经过大数据工具/框架成功处理过的至少百万兆字节的数据将会是一个巨大的挑战。因为大数据高效的处理测试速度，它要求测软件工程师具备高水平的测试技术才能应对大数据测试。

大数据应用测试：

基本上，大数据应用中的数据验证，包括根据业务需求验证数据。认为数据仓库应用和大数据应用的测试是一样的想法，是完全错误的。下面，让我们了解测试大数据应用的方法。

1、大数据应用中的数据。

数据仓库和大数据应用之间的数据量，数据种类，数据速度和数据价值都不同。在数据仓库应用中，数据可以是千兆字节量，而在大数据应用的情况下，数据可以扩展到peg字节。

数据仓库应用中的数据种类只是“结构化数据”。数据仓库应用仅可以存储和处理结构化数据。在大数据应用中，数据类型的存储和处理没有约束。数据仓库应用通过批处理来处理数据，而在大数据应用中，数据也可以通过流处理。

在数据仓库应用中，测试人员只需要处理结构化数据，而在大数据应用的情况下，测试人员可能需要挖掘非结构化的半结构化数据。从测试的角度来看，测试人员需要在大数据应用中进行数据模式转换。测试人员需要与业务和开发团队合作，了解如何从给定的数据源动态导出结构。在数据仓库应用中的测试方法是“抽样”穷举验证方法。而在大数据应用的情况下，这一理论不起作用。在这样大量的数据中，最好的测试方法是通过研究、开发。这是测试人员非常具有创新性和挑战性的任务。

2、大数据应用的基础设施。

数据仓库应用存储基于关系数据库管理系统，而大数据应用存储基于文件系统。大数据应用能够将数据存储在多个集群中。这些应用程序使用对数据存储没有任何限制的Apache Hadoop。hadoop分布式文件系统是一个共享存储系统，可以通过MapReduce技术进行分析。

使用Hadoop系统，客户能够存储大量数据，并使用大数据集上的查询处理这些数据，并在短时间响应结果。对可以检索的数据量没有约束。对于测试员，这意味着需要测试的需求数量会增加。因此，需要加强测试过程，以避免应用中的灾难。在这些应用中，可以在hadoop测试环境本身进行测试。所以测试人员需要学习如何使用hadoop系统，因为它与普通文件系统不同。

3、使用验证工具测试应用

对于大数据应用，没有特定地工具。hadoop系统具有MapReduce技术等工具。编程软件，如HIVE QL和PIGlatin建立在MapReduce上。如果了解SQL知识，更容易学习HIVE Q / HIVE QL，用于访问简单的数据结构，但它不能处理复杂的嵌套数据结构。它没有所有的构造来访问Hadoop系统的数据进行验证。PIGlatin是另一种不需要复杂编码的工具。这两个都在开发中，因此编写MapReduce程序来执行测试是无法实现的。对于测试人员来说，这是一个很大的挑战，因为需要基于脚本技术进行工作，或者他们需要从供应商或内部团队中寻找自动化工具，以便为Hadoop架构提供了一个更容易测试数据验证的接口。

大数据应用程序的测试策略和测试步骤？

在大数据应用中，更多的测试是验证数据，而不是测试单一地软件产品。在大数据应用中，测试人员使用聚类方法和其他组件验证大量数据的数据处理。测试大数据需要测试人员非常熟练，因为数据的处理速度非常快。主要是测试团队要对大数据应用进行功能和性能测试。可以实时或交互地处理数据，也可以进行批处理。在测试应用程序之前检查数据的质量也很重要。检查数据质量通常被认为是数据库测试的一部分。它涉及检查数据的一致性，有效性，准确性等。

1、数据验证：这是测试大数据应用的第一步，也称为hadoopop测试。这是一个数据验证步骤。此步骤涉及检查来自诸如媒体博客，数据库等不同来源的正确数据是否被拉入系统。该数据被推入hadoop系统，现在检查源数据，以便它们在hadoop系统中匹配。此外，如果正确的数据被提取并推入正确的hadoop位置，那么它将被验证。我们可以使用Talend等工具进行数据验证。

2、业务逻辑验证：在此测试人员验证每个节点上的业务逻辑，然后对多个节点进行验证。它是“地图缩小”的验证。在该步骤中，检查地图缩小过程的正确性，数据在地图缩小过程之后被验证，检查数据的聚合和分离。

3、输出验证：这是大数据处理的最后阶段。生成的输出数据文件已准备好移动到数据仓库或任何其他系统。在此步骤中，我们检查数据完整性和数据是否成功加载到目标系统中，通过将目标数据与HDFS文件系统进行比较来检查是否有数据损坏。

大数据应用程序的性能测试步骤？

1、准备了一大批数据，进行测试。

2、确定各自的工作负载。

3、创建脚本。

4、执行测试并观察结果。如果结果不满足，则重新配置并重新执行测试。

5、大数据应用中的性能测试有各种参数，如数据存储在不同节点，并发，缓存，超时，消息速率，消息大小，地图缩小性