应用领域：海量数据或大数据处理

转化方式：技术转让、技术许可、合作开发

项目简介：

1、项目背景

传统的Hadoop云计算框架并不支持高效的迭代操作，它仅通过一种较为低效的手段实现该操作：首先人为制定一系列MapReduce任务，然后再精心编写相应的驱动程序来指导这些任务的迭代执行。这虽然能够解决海量数据处理或大数据处理中的迭代操作，但是这将产生两个严重问题：1)即使从节点中使用的大部分数据在整个迭代过程并不发生变化，但每次迭代也必须从HDFS中重新下载，这将导致主节点频繁的I/O操作，浪费大量网络资源和CPU资源；2)每次迭代操作之后对迭代终止点的检测需要一个额外的MapReduce任务，这将导致Hadoop云计算框架每次迭代都要浪费一次网络资源和CPU资源。这两个问题都大大降低了该云计算框架迭代操作的性能，进而降低了处理海量数据或大数据的性能。

2、技术创新点

本成果属于Hadoop云计算框架研究技术领域，具体涉及Hadoop云计算框架的迭代功能研究设计，尤其涉及一种基于Hadoop云计算框架的高效迭代机制设计方法，包括：在Hadoop云计算框架中设计一个应用程序编程接口API；调用应用程序编程接口API在主节点创建一个循环迭代主体控制模块；调用应用程序编程接口API在从节点对迭代过程中被重复使用的数据进行缓存和索引；为主节点中循环迭代主体控制模块设计任务调度和容错机制。本发明提供一种基于Hadoop云计算框架的高效迭代机制设计方法，设计出一个具备高效迭代机制的E-Hadoop云计算框架。

3、市场前景及应用领域

本成果无论是对海量数据或大数据处理的基本方法研究，还是对国民经济的发展，都具有极其重要的意义。首先，在海量数据或大数据处理方法研究方面，该成果不但有助于建立海量数据或大数据相关的分析系统和处理模型、为海量数据或大数据的处理提供有效的手段，而且还能推动智能技术和方法在海量数据或大数据处理领域的广泛应用和发展。其次，从海量数据或大数据处理技术的角度出发，由于该成果能进一步提高海量数据或大数据处理的性能，因而能够为人类了解更多的未知世界提供更有效的工具和手段。最后，通过本成果所设计的E-Hadoop云计算框架，能够帮助人们快速有效地了解蕴涵于海量数据或大数据中的一些规律，这将更加有利于人们利用这些规律为人类的生活和生产服务，例如采用E-Hadoop云计算框架探索存在于高复杂性基因微阵列大数据中的某些异常，可以有助于快速发现人类的某些不正常基因，从而起到快速预测和预防疾病的作用。因此，本成果所设计的E-Hadoop云计算框架不但能为海量数据或大数据在现实生活的广泛应用打下一定的基础，而且还能为探索这些数据中的规律和奥秘提供有力的工具，具有极其重要的意义。  

项目合作：

业务部张经理：199 3703 5860  0371-86589130

邮箱：cyjsyiy@163.com