系统管理员嘉年华——LISA 2010之一海量数据管理时代来临

2011-01-16 05:50:16
中国教育网络 2011年2期
关键词:系统

系统管理员嘉年华
——LISA 2010之一海量数据管理时代来临

世界上并不只有研究人员和技术人员的会议,系统管理员们同样有自己的会议,LISA(Large Installation System Administration)会议就是系统管理员们一年一次的嘉年华。LISA会议是由USENIX举办的会议,专门讨论系统管理的技术与工具,让全世界的管理员们有机会交流彼此的经验,分享最新的工具和管理思想。

第24届LISA会议于2010年11月在美国的圣何塞市召开。协办方组织是LOPSA(the League of Professional System Administrators)和SNIA(Storage Network Industry Association)。LOSPA是USENIX下属的一个独立组织,主要面向系统管理员。

2010年LISA会议的一个重要主题是海量数据的管理,一方面由于会议的主题是针对大规模系统,另一方面也是由于互联网内容的不断变化(视频数据的增加)。本文将介绍LISA会议上关于海量数据管理的几篇报告。

大型强子对撞机的计算处理挑战

拥有据说能毁灭地球的大型强子对撞机(LHC)的CERN(欧洲粒子物理研究中心)的IT部分负责人Tony Cass解说了这台大型物理实验设备背后的计算处理设施。

为了捕捉实验中每个质子或中子的活动,系统需要拍摄数百万张的电子照片,并将它们存储下来。目前的数据量大约是每秒100MB到1GB,每年大约需要存储25PB(25,000TB)的数据。CERN采用双层的数据处理机制,在CERN中心只保存短期的数据,通过遍布世界的网格系统存储长期数据。

在软件上CERN采用了Oracle公司的RAC系统来保证系统的扩展性,并开发了CVMFS(CERNVM-FS,一种缓存文件系统)作为底层的文件系统支持。

这个系统除了扩展性,最重要的问题是可靠性,由于组成网格系统的每一台机器并非都是高性能的稳定服务器,基本上每个小时都会在网格中出现某台机器的存储故障,CERN通过冗余分配存储任务来保证系统的稳定性。……

登录APP查看全文

猜你喜欢
系统
Smartflower POP 一体式光伏系统
工业设计(2022年8期)2022-09-09 07:43:20
WJ-700无人机系统
ZC系列无人机遥感系统
北京测绘(2020年12期)2020-12-29 01:33:58
基于PowerPC+FPGA显示系统
基于UG的发射箱自动化虚拟装配系统开发
半沸制皂系统(下)
FAO系统特有功能分析及互联互通探讨
连通与提升系统的最后一块拼图 Audiolab 傲立 M-DAC mini
PLC在多段调速系统中的应用
1-Bit人机交互系统