专利名称:一种基于HDFS小文件写入和读取的方法专利类型:发明专利发明人:辛永欣
申请号:CN201710100365.5申请日:20170223公开号:CN106909651A公开日:20170630
摘要:本发明涉及一种基于HDFS小文件写入和读取的方法,其特征在于,为每个用户都建立一个用户文件,每个用户文件都不同,用文件追加操作以流式的形式将小文件合并到这个用户文件中,并且还利用关系数据库为小文件建立索引记录小文件的偏移信息,小文件合并有效的解决文件格式的限制,还能将用户小文件随时追加到用户文件中避免先将文件缓存到服务器达到一定大小后再上传,产生的文件安全性问题,最后通过为小文件建立索引信息能够有效的提高文件的检索效率,同时当访问小于一个块的文件时将其请求转发到数据节点上处理减轻主服务器的压力提高文件传送效率。
申请人:郑州云海信息技术有限公司
地址:450000 河南省郑州市郑东新区心怡路278号16层1601室
国籍:CN
代理机构:济南舜源专利事务所有限公司
代理人:张亮
更多信息请下载全文后查看
因篇幅问题不能全部显示,请点此查看更多更全内容