0%

Lustre文件系统简介

Lustre是一款开源的,基于对象存储的集群并行分布式文件系统,具有很高的扩展性、可用性、易用性、性能等,在高性能计算中应用很广泛,世界十大超级计算中心当中的七个以及超过50%的全球top50超级计算机都在使用Lustre。可以支持上万个节点,数以PB的数量存储系统。从1999年lustre项目起,他的版权所有者就在不断的变换,从lustre项目组到Sun公司到Oracle再到Whamclound,最终被因特尔收购。

基于对象的文件系统将文件的元数据和文件数据分离开来,存储在不同的服务器上。文件系统的客户用利用元数据服务器和对象存储服务器来为用户提供一个完整的文件系统抽象。基于对象的文件系统具有性能优势,文件系统客户通过对象存储服务器来访问文件内容,而元数据服务器只有在文件打开时才需要连接。

Lustre文件系统包括三种主要的功能单元

元数据服务器MDS(Metadata Server)

元数据服务器(metadata servers,MDSes)。一个Lustre文件系统通常拥有两个元数据服务器(active和standby),一个元数据服务器则拥有若干元数据目标(metadata targets,MDTs)。元数据目标存储名字空间元数据:文件名、目录、访问权限、文件结构等信息。不同于诸如GPFS和PanFS等基于块并由元数据服务器控制所有块分配的分布式文件系统,Lustre元数据服务器仅仅关心路径搜索和权限检查而不会牵涉任何的文件I/O操作。该特性避免元数据服务器成为集群扩展的瓶颈。单个文件系统拥有多个元数据目标是从2.4开始引入的新特性。

对象存储服务器OSS(Object Storage Server)

对象存储服务器(object storage servers,OSSes)将文件数据存储于一个或多个对象存储目标(object storage targets,OSTs)中。取决于服务器硬件,一个对象存储服务器通常有二到八个对象存储目标,每个对象存储目标管理一个本地文件系统。Lustre文件系统的空间等于所有对象存储目标的容量总和。

客户端Client

客户机(Clients)能访问并使用数据。Lustre为所有客户机提供统一的命名空间。
Lustre支持多种网络类型,包括Infiniband,Omni-Path,以太网等。如果远程直接内存访问(RDMA)传输可用,Lustre将利用它提高吞吐量降低CPU使用率。

参考链接:
https://zh.wikipedia.org/wiki/Lustre
https://www.ibm.com/developerworks/cn/linux/l-ofs/index.html
http://blog.csdn.net/fsdev/article/details/7310975
http://mp.weixin.qq.com/s/QvBEU6yebkChMPNmcCZrWQ