基于HDF5文件格式的数据管理系统

总第２５６期２０１１年第２期计算机与数字工程Ｃｏｍｐｕｔｅｒ＆Ｉ）ｉｇｉｔａｌＥｎｇｉｎｅｅｒｉｎｇＶ０１．３９Ｎｏ．２１０２基于ＨＤＦ５文件格式的数据管理系统。冯金花陈建政张雄杰（西南交通大学牵引动力国家重点实验室成都６１００３１）摘要随着科学技术的发展．获取的科学数据越来越多，如何有效的存储及管理这些海量数据，成为当前一个突出的问题。介绍了基于ｄｅｌｐｈｉ，ｈｄｆ５格式以及Ｐｙｔｈｏｎ脚本语言的系统体系设计，并给出了一个基于ＨＤＦ５文件格式的数据管理系统实例。关键词ＨＤＦ５格式；Ｐｙｔｈｏｎ；数据存储；分层式数据管理中图分类号ＴＰ３１２ＳｙｓｔｅｍｏｆＤａｔａＭａｎａｇｅｍｅｎｔＢａｓｅｄＦｅｎｇＪｉｎｈｕａ（ＳｔａｔｅＫｅｙＬａｂＣｈｅｎＪｉａｎｚｈｅｎｇＺｈａｎｇｏｎｔｈｅＦｉｌｅｏｆＨＤＦｘｉｏｎｇｊｉｅ６１００３１）ｏｆＴｒａｃｔｉｏｎＰ０ｗｅｒ，ＳｏｕｔｈｗｅｓｔＪｉａｏｔｏｌｌｇＵｎｉｖｅｒｓｉｔｙ，ＣｈｅｎｇｄｕＡｂｓｔｒａｃｔｓｔｏｒｅＷｉｔｈｔｈｅｓｃｉｅｎｔｉｆｉｃａｎｄｔｅｃｈｎｏｌｏｇｉｃａｌｄｅｖｅｌｏｐｍｅｎｔ，ｉｎｃｒｅａｓｉｎｇａａｃｃｅｓｓｔｏｓｃｉｅｎｔｉｆｉｃｄａｔａ，ｈａｗａｔｏｅｆｆｅｃｔｉｖｅｌｙａｎｄｒｎａｎａｇｅｈｄｆ５ａｎｄＫｅｙｈｕｇｅ枷ｏｕｎｔｓＰｙｔａｂｌ％ａｎｄｄｅｌｉｖｅｒｓＷｏ—ｓＨＤＦ５ＴＰ３１２ｏｆｄａｔａ，ｂｅｃｏｍｅｄａｔａｂａｓｅｐｒＩ肿ｉｎｅｎｔｉｓｓｕｅ。ＴｈｉｓｏｎａｒｔｉｃｌｅｉｍｒｏｄｕｃｅｓｓｙｓｔｅｍｂａｓｅｄｏｎｔｈｅＤｅｌｐｈｉ，ａｎｌａｎａｇ锄ｅｎｔｓｙｓｔ咖ｂａｓｅｄＨＤＦ５．ｆｏ咖ａｔ，Ｐｙｔｈｏｎ，ｄａｔａｓｔｏｒａｇｅ，ｈｉｅｒａｒｃｈｉｃａｌｄａｔａｎｌａｎａｇｅｍｅｎｔＣＩａｓｓＮＩ小１ｂ悖ｒ１引言２０世纪９０年代以来，随着科学研究的数据量存于一个文件中，而这些数据源又可以同时包含其数据信息和其他相关信息。有别于以往常规资料所用到的二进制文件，ＡＳＣＩＩ文件、ＨＤＦ５［３］是一种新型的分层式数据文件，这种文件即可以包含二维、多维数组、指针，又可以包含图像等。ＨＤＦ５库提供了多种数据存储机制，如数据压缩、数据扩展和数据分块等机制来提高数据访问、管理与存储效率等。ＨＤＦ５通过层次逻辑结构Ｌ４￣５］来表现文件中的１：同数据元素之间的逻辑关系，如包含、被包含、并列等等。大幅度增长，单个文件数据的数据存储量已经超过了２Ｇ，超出了原有数据软件的管理能力，同时数据文件的数据结构也日益复杂，数据对象数目也大大增加，导致传统的数据库使用出现了很多的问题，如数据的管理，数据的读取速度等，且随着高性能计算机能力日益增强，高性能的计算机与低效率的处理软件的矛盾越渐明显，因此需要新的数据格式库来满足这些需求。ＨＤＦ［１￣２Ｊ（ＨｉｅｒａｒｃｈｉｃａｌＤａｔａＦｏｍａｔ）是美国国家中心推出的一种新型的数据格式，其目的用于记录科学数据。不久推出了新的科学数据管理软件和数据格式库ＨＤＦ５。这种格式数据库提供了一种总体目录结构，能够直接从嵌套的文件中获得信息；可以将不同类型的数据源２系统构架设计２．１设计思想该系统的主要功能是能快速的分门别类的对海量数据进行分层管理。能对原始数据进行压缩，节省磁盘空间。并且以友好的界面和交互式的模式提供・收稿日期：２０１０年８月９日。修回日期：２０１０年９月２１日作者简介：冯金花，女，硕士研究生，研究方向：信号分析。陈建政，男，博士，研究员，研究方向：机车车辆动态检测技术及数据处理。张雄杰，男，硕士研究生，研究方向：信号分析。万方数据２０１１年第２期计算机与数字丁程１０３给其他用户按时间、空间分别进行查询和下载。且能够提供基本的文件信息和记录用户行为的日志。２．２设计方法１）基于上述设计思想，该系统按功能模块分横向划分成用户模块、数据模块和日志模块，而每一个小模块又能划分成很多的小模块。具体如图１所示。数据管理系统赫塞穗添加ＩＩ删除数据Ｊ｜数据属性ＩＩ属性图１系统模块表２）为了实现ＨＤＦ５格式的文件管理系统，我实现对Ｐｙｔａｂｌｅｓ库的调用，需要安装ｐｙｔｈｏｎｆｏｒｄｅ—加ＰｙｔｈｏｎＥｎｇｉｎｅ，这样程序的环境配置就差不多了，就可以开始搭建系统了。葱。棒Ｈ耋｝｜瓣图２Ｐｙｔｈｏｎ数据转换为ｄｅｌｐｈｉ类型３）ｐｙｔｈｏｎ是一种面向对象，语法简单，可扩展同时也提高了数据管理人员的效率。其转换过程万方数据３系统的实现该系统按横向和纵向的划分后，形成了一个个比较小的功能模块，这样易于开发人员分工，从而提高开发效率。下面重点介绍系统的数据分层属性功能、查询功能以及文件的管理件功能。１）数据文件的分层功能ＨＤＦ５文件的优势之一就是能对数据进行分层管理。在系统里我们将一个数据文件分为两层：数据层、数据属性层。数据层，这层放的就是原始数据，对原始数据的存储采用ＣＡｒｒａｙ，或者Ｔａｂｌｅ的形式存储。数据属性层，这层对数据的基本信息进行描述，如这个数据的采集时间，大小，类型等。文件属性功能能清楚地描述数据的信息，方便了数据管理人员，不用再建立单独的文件去保存数据的基本信息。调用ｐｙｔａｂｌｅｓ的一ｖ＿ａｔｔａｒ（）函数能对属性进行添加。新建模式为用户可以建立一个空的ＨＤＦ５文件，只读模式为用户不能随数据进行操作，读写模式为用户能对已图４文件管理功能打开的文件模式进行修由于这种格式的单个数据容量很大，数据管理（下转第１１２页）们在搭建系统的时候需要调用ＨＤＦ５库。ＨＤＦ５库包含了许多接口函数，实现ＨＤＦ５文件的读写等操作。因为Ｐｙｔａｂｌｅｓ库是能支持ＨＤＦ５格式的Ｐｙｔｈｏｎ扩展包。所以为了实现ＨＤＦ５格式，我们调用了Ｐｙｔａｂｌｅｓ库和Ｎｕｍｐｙ库。而在Ｄｅｌｐｈｉ里ｌｐｈｉ（Ｐ４Ｄ）的第三方控件。当安装好Ｐ４Ｄ控件，在Ｔｏｏｌｓ的ｏｐｔｉｏｎｓ里添加Ｐ４Ｄ安装的路径。且把ｔａｂｌｅｓ，ｎｕｍｐｙ，ｈｄｆ５．ｄｌｌ，ｐｙｔｈｏｎ２．６．ｄｌｌ复制于工程文件下，应用程序需要ＡｔｏｍＰｙｔｈｏｎＥｎｇｉｎｅ，Ｐｙ—ｔｈｏｎＴｙｐｅ，ＰｙｔｈｏｎＭｏｄｌｅ等Ｐｙｔｈｏｎ控件。目的实现ｐｙｔａｂｌｅｓ库的调用。且在ｐａｓ文件的ｕｓｅｓ里添改，添加记录等。这种文件管理功能对数据起到了保护的作用，对于有的不能更改的数据我们以只读模式打开，而对需要修改的可以读写模式打开。性强等特点。基于ｐｙｔｈｏｎ的这些特点，我们采用ｄｅｌｐｈｉ来调用ｐｙｔｈｏｎ的函数，这些缩短了开发人员的速度，而且Ｄｅｌｐｈｉ对数据的读取速度也很快，如图２所示。４系统的应用实例１１２邱树伟：基于ＩＣ卡的机房管理系统的设计与实现第３９卷异常的信号或发现了跟踪行为，就将程序跳转到软件陷阱中去。利用专有协议。在ＩＣ卡和终端设备通信中可参考文献［１］朱文球．基于ｌＣ卡与多层Ｃ／Ｓ的机房管理系统的设计［Ｊ］．计算机工程与设计，２００３，２４（４）：５５～５９［２］陈黎，郭平，聂亚可．机房ＩＣ卡管理系统剖析［Ｊ］．重庆建筑大学学报，２００１，２３（６）：９９～１０２［３］魏强．基于非接触式Ｉｃ卡技术的校园门禁管理系统设计［Ｊ］．计算机工程与设计，２００８，２９（１４）：３７７１～３７７５以使用专用协议，并将终端发送到ＩＣ卡的命令和数据以及ＩＣ卡发向终端的应答和数据都进行加密。６结语利用基于ＩＣ卡的计算机软件系统来进行计算［４］王炯，韩江洪，魏振春．ＩＣ卡机房管理信息系统［Ｊ］．合肥工业大学学报（自然科学版），２００３，２６（５）：９８６～９８９［５］栾家辉，杨方，周修理．ＩＣ卡技术的现状及应用［Ｊ］－农机化研究，２００３（３）：１８９～１９０［６］许鑫，周新字．一卡通建设中的问题和新思路［Ｊ］．中山大学学报（自然科学版），２００９，４８（增刊）：２２～２４［７］刘永良．ＩＣ卡在校园内的应用［Ｊ］．计算机工程，２００ｌ，２７（１２）：１３２～１３４机机房的管理，不仅可以减轻实验室工作人员的负担，还可以使机房日常管理和设备检修等工作更加有序，高效，为用户上机提供极大的方便。同时系统日志中记录了大量明细的历史数据，通过对系统日志的查询、分析、统计，可进一步了解机房的利用率和学生的出勤率，也可以为学校领导提供信息化建设决策支持［１｜。本系统性能良好，运行稳定可靠，深受用户好评。随着社会的进步和科技的发展，基于ＩＣ卡的应用也将越来越广泛，所面临的安全威胁也将越来越复杂Ｌ８｜。相信通过学者们的不断努力，所面临的问题将迎刃而解，基于ＩＣ卡的应用系统将为信息技术更进一步发展和普及做出更重要的贡献。［８］徐中华，刘玉珍，张焕国．ＩＣ卡系统安全性研究［Ｊ］．计算机工程与应用，２００３（１１）：１５３～１５５［９］谢志强，高鹏飞，杨静．基于前缀码的ＤＥｓ算法改进研究［Ｊ］．计算机工程与应用，２００９，４５（９）：９２～９４，１１９［１０］席金菊，潘梅森，谭文学．加速ＲＳＡ算法的定时攻击研究［Ｊ］．湖南科技大学学报（自然科学版），２００９，２４（４）：７０～７３出牢延５牢｛２带ｉ！钸±！；希｛！；．搴。！；秽牢｛纨书出帘趟５芥《５昂延绵延５碍延；看过；昂延钸出乔出枣出档笱：≈窖乖出档窑影秽乖出枣毡；站裆零迪；鹇稍稍希出看姑亦≈垛《；昂避旒≤獬牢出尔出裆帮ｉ易零（上接第１０３页）系统已在高铁的跟踪试验中开始使用了。高铁的跟踪试验有上千的传感器，分别测量车体、座椅、转向架等的振动。Ｈｄｆ５文件格式的应该使数据的管理得到了很大的提高，在同一个数据文件下，既能存放数据，又能存放传感器的安装信息，试验人员，通道信息等。对数据进行了很好的归类。且ＨＤＦ５文件格式在存储的时候对原始数据已经进行了压缩，节省了磁盘空间。使磁盘空间得到了更好的利用。５ａｒｃｈｊｃａｌ眈ｔａｏｆＩｌｌｉｎｏｉｓＦｏｍｌａｔ（ＨＤ［Ｆ）Ｇｒｏｕｐ，ＮａｔｉｏｎａｌＣｅｎｔｅｒｆｏｒＳｕｐｅｒ∞ｍｐｕｔｉｎｇＡｐｐｌｉｃａｔｉｏｎＳ（ＮＣＳＡ），ＵｎｉｖｅｒｓｉｔｙａｔＵｒｂａｍ—Ｃｈａｍｐａｉｇｎ（ＵＩＵＣ）Ｒｅｌｅａｓｅ１．８．４，Ｎｏｖ．２００９．Ｇｒｏｕｐ，［２］ＨＤＦ５ＲｅｆｅｒｅｎｃｅＭａｎｕａｌＨｉｅｒａｒｃｈｉｃａｌＣｅｎｔｅｒＤａｔａＦｏｍｌａｔ（ＨＤＦ）Ｎａｔｉｏｎａｌｆｏｒｓｕｐｅｒｃｏｍｐｕｔ啦ＡｐｐｌｉｃａｔｉｏＩｌＳ（ＮＣｓＡ），Ｕｍ—ａｔｖｅｒｓｉｔｙｏｆＩｌｌｉｎｏｉｓＵｒｂａｎａ－Ｃｈａｍｐａｉｇｎ（ＵＩＵＣ）［３］ＨＤＦ５．Ｏ使用简介．国家卫星气象中心（ＮＳＭＣ）［４］谢光益．基于层次数据格式海量数据预处理关键技术研究［Ｄ］．国防科技大学，２００５［５］梅清，等．Ｃ（）ＲＢＡ在远程访问ＨＤＦ５文件系统中的应用［Ｊ］．湖北工业大学学报，２００６，２１（４）：７５～７８结语基于Ｄｅｌｐｈｉ与Ｐｙｔｈｏｎ的混合编程方式，实现了［６］ＭａｒｋＬｕｔ厶ＰｙｌＪｌｏｎ学习手册［Ｍ］．第三版．北京：机械工业出版社，２００９［７］ＰｙＴａｂｌｅｓＵｓｅｒ’ｓｍ）Ｆ５文件格式的数据管理系统。交互的编程模式使得应用软件变成了可编程的二次开发平台，增加了软件的灵活性和扩展性又能有效的提高操作人员的工作效率。且在实际应用中表明，ＨＤ眄库能更有效地满足科学数据的存储，管理，分类和交换。随ＧｕｉｄｅＨｉｅｒａｒｃｈｉｃ８】ｄａｔａｓｅｔＳｉｎＰｙｔｈｏｎＲｅｌｅａｓｅ２．２ｂ２［８］明日科技，等．Ｄｅｌｐｈｉ函数参考大全［Ｍ］．北京：人民邮电出版社，２００６［９］王国强，张贝克．基于Ｐｙｔｈｏｎ的嵌入式脚本研究［Ｊ］．计算机应用与软件，２０１０，２７（３）：１０７～１０９着对册Ｆ５文件的深入了解，将不断地对其应用作更全面的剖析，为科学数据的管理提供便捷的平台。参考文献［１］ＨＤＦ５Ｕｓｅｒ’ｓＧｕｉｄｅＲｅｌｅａｓｅ［１０］张茂鑫，等．基于ＨＤＦ５文件格式的ＭＥＲｓＩ影像数据提取的研究与实现［Ｊ］．现代农业科学，２００９，１６（３）：１８９～１９】１．８．４。．Ｉｕｎ己２００９．Ｈｉｅｒ—万方数据基于HDF5文件格式的数据管理系统

作者：作者单位：刊名：英文刊名：年，卷(期)：

冯金花， 陈建政， 张雄杰， Feng Jinhua， Chen Jianzheng， Zhang Xiongjie西南交通大学牵引动力国家重点实验室,成都,610031计算机与数字工程

COMPUTER AND DIGITAL ENGINEERING2011,39(2)

本文链接：http://d.g.wanfangdata.com.cn/Periodical_jsjyszgc201102026.aspx