大数据管理中的索引设计主要考虑高扩展性、高性能并能够有效支持非主键查询和多维查询等不同类型查询,主要索引结构有二级索引、双层索引、按照空间目标排序的索引等。

二级索引由局部索引和全局索引构成,局部索引只负责该节点上的数据索引,全局索引则依据局部索引构建。双层索引主要适用于非键值列的快速查询,索引表由原数据表中的键值和索引列的组合构成。

目前,二级索引中的局部索引均基于磁盘特性进行设计。闪存等新型存储的特性和磁盘具有明显差异,将基于磁盘的索引实现方法直接移植到新型存储上会严重影响索引性能。以闪存为例,传统的索引更新维护往往导致频繁的小数据量更新,这些更新操作会带来大量的闪存擦除操作,极大地降低了索引的性能和闪存寿命。(www.daowen.com)

目前,在基于新型存储的索引方面,主要的研究集中在面向闪存的索引上。闪存数据库索引设计的目标在于不仅要在闪存介质上实现索引的高查询性能,而且还要根据闪存的物理特性减少索引更新维护带来的性能代价(如频繁擦除等)。目前提出的闪存索引结构大都采用了传统的树形结构,并以减少对闪存的随机写为主要目的,采用的方法往往是延迟更新或者合并更新等。

目前,虽然在基于闪存的索引设计方面已经有了不少的工作,但由于在大数据存储中引入了PCM等其他类型的新型存储介质,而且在计算架构上产生了根本性变化(闪存定位在二级存储,而PCM则可以用于直接的内存扩展),因此大数据索引技术还需要在存储结构感知能力方面进行新的研究,对于适合分层混合存储的超大规模数据索引结构也需要进行重新设计。