目录

专题译述

海量生物学数据管理和分析的计算解决方案

特约编辑:Sophia

随着新一代测序技术、实时成像技术和质谱技术的发展,我们每周会产生几百GB甚至TB的DNA、 RNA和蛋白质序列数据。生命科学的重大突破不在于取得这些数据,而在于我们能否合理诠释这些大规模及高维度的数据。后者对生物信息学家来说,具有很高的挑战性。本专题将从现有的一些计算环境,如集群计算、网格计算以及云计算等出发,讨论我们如何掌握这些工具来成功解决海量数据的储存、处理和分析问题。本专题对从事基因组学、蛋白质组学以及生物信息学的研究者具有极其重要的参考价值,同时也为一般读者提供了最前沿的资讯。

一、引言

特约编辑:Sophia

基因组学新技术,如第三代测序技术、复杂成像系统和基于质谱的流式细胞仪的飞速发展使得数据以史无前例的规模增长。我们亦因此得以同时检测多个样本中高达数万基因的表达,进行几十万个SNP位点的分型,甚至以少于5000美元的成本对整个人类基因组进行测序,并且还能将这些数据与其它生物学相关的信息关联起来。

二、大规模数据分析提出的挑战

特约编辑:Sophia

理解活着的系统的运转机理需要整合高通量技术产生的多层次的生物学信息。举例来说,大型项目,如千人基因组计划产生的数据量就将数据推进到TB级。第三代测序技术产生的数据将使这种情况更加恶化。第三代测序技术能扫描人类全基因组、微生物基因组和转录组,并且能在几分钟内以少于100美金的费用直接观测表观遗传学变化。成像技术以及其它高维敏感方法和个人医疗记录产生的数据也将加入其中。待处理的个体数据维数,例如使用全基因组测序从多个癌症病人样本中发现有功能的DNA变异非常复杂,但真正的挑战在于整合不同来源的数据。挖掘如此大的高维数据集对数据存储和分析设置了几道障碍,其中最紧迫的挑战包括数据传输、访问控制和管理、数据格式的标准化以及整合不同维度数据进行生物系统的准确建模。

三、迎接挑战

特约编辑:Sophia

1. 理解你的计算问题 2. 计算方案 3. 计算环境的比较

四、云计算和MapReduce

特约编辑:Sophia

1. 基于集群和网格的计算 2. 云计算 3. MapReduce 4. 结合MapReduce和云计算 5. 未来的发展和应用

五、异构计算环境

特约编辑:Sophia

和云计算互补的系统是使用只有一个CPU的异构多核机。该机器整合一些特异性加速器,能上十倍甚至上百倍地提高峰值运算,并且把个人计算机(不管是台式机还是集群计算机)变成一个小型超级计算机

六、在云中计算

特约编辑:Sophia

云服务提供者、规模较大的数据中心和第三方供应商的数目增长很快。把数据传到云上,并在云上进行计算的趋势是势不可挡的。服务提供者目前已经找到更简洁的方式让用户访问云计算平台端。例如,亚马逊网络服务管理控制台可由任何一个网络浏览器访问,并且对以下几项服务提供简单直观的图形界面:将数据和应用移进、移出Amazon S3存储系统、在Amazon EC2上创建实例以及在这些实例上运行数据处理程序,包括使用基于MapReduce算法的大数据集分析。

七、展望

特约编辑:Sophia

我们能分离和测序单个细胞和实时监测单个分子的动态,并且技术成本的降低使得我们能产生上亿个体的数据。随着数据复杂性的增加,数据存储和分析的问题将继续以超指数级别增长。测序几百万个体中大量细胞的DNA、RNA、表观基因组、代谢组和蛋白质组,测序每天从几千个地点收集的环境样品将使数据在未来5~10年内达到EB(Exabyte)级别。整合这些数据将需要史无前例的高性能计算机环境。规模较大的基因组中心,包括华大基因(BGI),已经构建了自己的云计算环境,他们已拥有EB级别数据存储能力和几十万个核。

附录

一、相关数据库和网址列表

二、小词典


热点话题

遗传学家该如何将检测结果恰当地告知志愿者?

YORK/编译

随着科技的进步,对个人的DNA进行测序变得越来越容易。不过,这给科学家们带来了一个棘手的新问题,他们不知道应该将哪些检测结果告诉受检者。

生命百态

大蚊不会湿身的秘密武器——非粘性的毛

文佳/编译

身形庞大的动物不会在乎自己在浓雾中穿行,因为大雾形成的水滴能够轻易地从它们的皮毛上滚落,不会给它们带来太大的麻烦。可是小昆虫就不同了,由于水具有表面张力,这种黏附力使它们总是处于身陷囹圄的危险中。不过,有一种喜欢在潮湿的泥地与河堤安家的大蚊(Craneflies)则有些与众不同。尽管它们常常与足以致命的潮湿地表和雾气打交道,却能毫不费力地甩掉身上的水滴,甚至还能在水中亭亭而立。这里面一定有什么玄机。于是,分别来自于詹姆斯库克大学(James Cook University)和昆士兰大学(University of Queensland)的Jolanta Watson等人决定近距离观察这种昆虫细弱的腿部和翅膀,看看大蚊如何避免陷于水中的困境。

镖鲈为何能牢固地呆在水底层

文佳/编译

在我们看来,水生动物舒舒服服地呆在河床上似乎不失为一种悠闲自在的生活方式。如果让你在湍急奔流的溪水中这么呆着,恐怕就不那么好玩了。但是,体型细小的北美镖鲈(North American darter)在湍急的流水中却岿然不动,显得非常淡定且自在,似乎根本无需控制自己的身体。这位水生动物界的“淡定哥”是如何做到的呢?莫非它们真的练就了祖上传授的神功吗?

松鼠通过调控咀嚼性肌球蛋白咬碎坚果壳

文佳/编译

你见过一头狮子撕咬它的猎物吗?如果说,它与一只斯文地啃着坚果的松鼠在处理食物方面有着比你想象之中还要多的共同之处,你会相信吗?要是你对此持非常怀疑的态度,那么不妨听听俄亥俄州立大学(Ohio State University)Peter Reiser的解释吧。