目前,针对大数据的查询处理和优化主要集中在基于MapReduce框架的查询处理研究上,查询执行的研究主要集中在基于MapReduce的连接算法。连接操作会产生大量的中间结果,需要写到外部存储,这对于闪存、PCM等来说代价非常昂贵,传统的基于MapReduce的连接算法无法发挥闪存、相变存储器的最佳性能,需要避免在新型存储上的大量写操作对查询执行效率的影响。在大规模分布式数据库中,查询优化工作主要集中在MapReduce执行计划选择以及负载均衡等方面。Map Reduce执行计划选择的基本思想则是在多个可选MapReduce执行计划中选择代价最小的,研究主要集中于MapReduce作业调度和MapReduce任务调度。MapReduce任务调度算法通常需要考虑任务负载特征、硬件异构性等指标,其中硬件异构性包含了CPU性能、网络带宽、内存、存储系统性能等特征。随着闪存、PCM等新型存储介质在大数据存储系统中的应用,存储系统异构性将日益凸显,将给MapReduce任务调度带来新的挑战。

在查询处理的动态负载均衡方面,目前主要考虑了存储用量推荐、数据的读写频率等因素。在面向新型存储的查询处理算法方面,目前在基于闪存的连接算法上研究较多,其出发点是避免在闪存上执行大量随机写操作,同时尽量发挥闪存的随机读性能。(www.daowen.com)