对帮助明天的数据淹没组织眼睛,IBM的研究人员已经创建了一个超快速的存储系统,能够在43分钟对10亿文件进行扫描。
该系统轻而易举地击败了他们以前的系统,在超级计算机2007演示,其中在三小时内对1亿文件进行了扫描。
提高性能的关键是迅速快闪记忆体来存储元数据存储系统的使用定位要求的信息。传统上,元数据储存库驻留在磁盘上,获得减缓行动。
IBM阿尔马登研究,集群存储系统总监Bruce Hillsberg说:“如果我们有非常快的存储数据话,我们可以做这些行动更迅速。能够使用固态存储元数据操作,真正使我们能够做一些这些管理任务更迅速,比我们所能做到,如果它是在磁盘上的所有。”
IBM预计其客户将在今后几年中的很多信息的拼杀。
Hillsberg说:“随着客户存储和处理大量数据大量的时间周期,他们将需要有效的方式管理这些数据。”
对于新的演示,IBM建立了一个配备共6.8固态存储器容量10八核心服务器的集群。IBM用小提琴内存四个3205固态存储系统。由此产生的系统能够读取率在近5 GB /秒(每秒千兆字节)的文件。
该系统采用了IBM的GPFS(通用并行文件系统),3.4版本的调整版本。最初开发高性能计算系统,GPFS是变得日益相关的其他大量数据的企业工作负载以及HGPFS允许所有的处理器内核写入和并行磁盘,这样可以大大提高存储系统的响应。
今天的文件系统不很适合用于管理跨多个存储系统作为一个单独的命名空间的数据,Hillsberg解释。2007年示范显示如何可以用于高度可扩展的存储系统的基础上,如并行文件系统GPFS的。新的工作表明,这样一个系统如何可能更为固态硬盘除了提高。
研究人员发布了一份白皮书,它描述的详细程度的架构,可以帮助其他各方重新类似的系统。
Hillsberg说:“IBM也可能折叠成自己的产品的想法,。早些时候IBM公司在建设实验固态系统的研究工作,创造新的软件,如IBM的简便方法,这有助于系统的自动平衡固态硬盘和常规磁盘之间的数据。”
“我认为这项研究你会看到一些非常有趣的东西,”Hillsberg说。
IBM不单独使用固态存储的方式,加快业务的热情。在计算机械“通讯”出版这个月的联合会,一组由美国卡内基-梅隆大学和英特尔实验室的研究人员描述一个服务器架构结合低功耗处理器和快闪记忆体,一个交易,沉重的大型网站的设计,可以显着加快业务。
如IBM的设置,研究人员的小鹿(懦弱节点快速阵列)架构,只需要相对少量的快闪记忆体,最经常咨询的数据可以存储。他们指出,固态存储成本作为传统磁盘的10倍之多,他们可以提供100%的性能提升。
建设快闪记忆体辅助服务器的想法“不会太远。这项技术已经存在”,一个Google杰出工程师 Luiz André Barroso说。
