Board logo

标题: 电脑科技飞速发展，准备迎接PB时代 [打印本页]
作者: nicepass    时间: 2008-7-28 14:31     标题: 电脑科技飞速发展，准备迎接PB时代

小姜杂谈：PB 的挑战由 Andy Yang 于 Jul 27th 2008 @ 9:58PM 发表


什么是 PB？抱歉，各位苹科科的爱好者们，我说的不是 PowerBook；抱歉，各位化学爱好者们，我说的也不是铅。这里想说的是 PetaByte(也就是 1000 TB，或 1,000,000 GB)的纪元来临时的挑战。1 PB 的纪元？现在就想这个做啥？毕竟现在硬盘主流连 1TB都还不到不是吗？从数据储存的角度来看，这样说是没错，七月号的 Wired 杂志上举了几个很生动的例子告诉我们，其实要用光 1000TB的容量还蛮困难的：
看吧！PB 的事还是留给后代子孙去烦恼好了，看起来要一次用掉 1PB 还早呢！是啦，要变出 1PB 的数据看起来是有困难，但从数据处理的角度来说，1PB 只是 Google 服务器每 72 分钟处理的数据量而已。虽然从数据储存的角度来看，我们还处在 TB 时代，但已经有很多预兆告诉我们，下一个量级单位带来的会是完全不同的一组新挑战。

小姜在后面想了五个可能：PB 时代的第一大挑战是什么？就是数据的过滤。就算人类已经有产生 PB级数据量的能力，但事实是我们并没有把这些数据全部有效地存取的技术。因此选择哪些数据更有价值，就成为了很重要的课题。之前就有提过的大型强子碰撞器，事实上因为是在观测为时非常短的现象，因此每秒大约要拍下十亿张的照片，才能确保不漏掉什么重要的事情。如果全部的数据都要保留的话，每秒钟就必须储存10PB 左右的数据 -- 也就是说每秒钟会塞满 10,000 颗 1TB容量的硬盘。这是一个靠现有技术绝对不可能办到的事情，所以必须靠硬件和软件的过滤，找出每秒大约 100 个值得关注的事。即使如此，一年仍将产生约15PB 的数据，或 15,000 颗 1TB 的硬盘，藏在这些数据里头的，有黑洞、异次元、平行宇宙，还有两三个诺贝尔奖吧？

第二个挑战，是资料的分析。分析和过滤不一样，过滤是试图减少数据量，但分析却是变出更多的资料来。一个例子是选举结果的预测 --一个仔细想想并没有意义，但无论候选人、选举人还是媒体都乐此不疲的游戏。美国在 2004 年时，候选人 Howard Dean 收集了100GB 的资料来分析，当时被认为是一个很恐怖的大数据库。今年的总统选举，Catalist 公司收集了一个 15TB的超大数据库，详细分析每个人的性别、婚姻、年龄、种族、收入等各种资料，并且从中获得判断一个人会投给共和党还是民主党的重要信息。依照同样的比例增加下去，下一次美国总统选举时的资料量和分析结果肯定会达到数 PB 之谱，届时对数据探勘、分析所需的运算资源的要求会非常可怕，或许非要用Cloud Computing 的方式才能运算的地步。嘿嘿，或许到时候预测系统都比你自已清楚你会投给谁...

第三个挑战，是数据的呈现。这是一个比较抽象的关念，举个例子来说好了，目前的数码相机分辨率都高达 10mp或更多，但一般人用的屏幕就算是最常见的高档屏幕分辨率（1920x1200）事实上才 2.3mp而已。那多的那些资料不就可惜了？Wikipedia 现在就有点这种感觉，很多很好的文章和内容因为不容易取得，很难发挥它应有的真正价值。

第四个挑战，是数据的传输。之前在网络上看过一个很有趣的问题：将 1PB的资料从美国西岸送到中国，是用传输的快，还是用帆船把整个服务器运过去快？一点简单的数学告诉我们，要在合理的时间范围内把数据传完...就假设三个月好了。要在三个月内把 1PB 的数据传完，传输送率要大约 1Gb/s才行。这个数字不是特别的不可能（学术单位间常常有这么大量数据来往），但绝对不是一般民众能负担得起的。以目前的技术来说，如果你要传 1PB的超高画质*哔*片给在美国的朋友的话，绝对是用海运的比较快...

最后，第五个挑战，是数据的搜寻。拜 Google 大神所赐，这或许是我们最不须要要担心的一环了。但 Google的强大也仅限于公开的网络而已，自已电脑上的档案要能分类清楚依然是很困难的一件事。Windows Vista 本来想要加入的 WinFS档案系统和随之而来的关连式档案架构似乎带来了一线曙光，但最后我们还是被卡在树状结构的 NTFS 里。当个人电脑数据量也到 1PB的时候，嗯，真难想象到时候会是个怎么样的恶梦。

个人电脑容量跨越 1GB门坎是多久以前？好像差不多是十年前左右，所以如果发展方向不变的话，再十年我们就会进入全面 PB的时代。但在那之前，就们就已经有够多要担心的事了：在上面的五个问题当中，小姜最担心的是数据的传输，因为传输频宽的建立要时间和金钱的投入。要能够顺利地提升到下一个阶段，现在就要开始做准备啰！
作者: nicepass    时间: 2008-7-30 12:28

看来还是有关注这个朋友在啊
作者: qquchn    时间: 2008-7-31 09:35

光有存储没有用，还要硬件和软件平台的支持才行。这样大的数据量，对于磁盘管理绝对是一个很大的挑战。另外完美支持并行运算的OS也得跟上步伐，不然处理数据的能力就会成为瓶颈。除非磁盘存储技术发生飞跃，不然突破2TB都十分苦难。要知道工程模型不能无限的放大，否则在物理定律下，自己就把自己压垮了。
作者: qquchn    时间: 2008-7-31 09:42

另外介质容量1PB，实际容量其实只有909.494701773TB。
分区格式化后，因为分割成簇，所以实际可使用容量会进一步减小。因为搜索空间过大的话，不但会影响检索速度，还会产生很多磁盘碎片。（假如还是使用树状目录结构如NTFS（假如还是用Windows（假如微软还存在的话）））



欢迎光临 人在德国 社区 (http://rs238848.rs.hosteurope.de/bbs/) Powered by Discuz! 7.2