Spark GraphX上的SPARQL查询处理算法

邱慧;邹兆年

【期刊名称】《计算机科学与探索》 【年(卷),期】2018(012)009

【摘 要】资源描述框架(resource description framework,RDF)由于其表示的灵活性和天然的图数据模型而变得越来越流行.与此同时,RDF数据的数据量也在以惊人的速度增长.由于数据量的增长,在单机上存储和查询RDF数据变得越来越不方便,从而激发了分布式存储查询的需求.学术界在分布式存储查询系统,例如Hadoop、Spark上已经做了大量的工作.基于Hadoop的分布式存储查询方式的主要缺点是中间结果需要被写回磁盘,从而产生大量的I/O操作.提出了一种新的在Spark GraphX上进行SPARQL查询评估的方法SQX,将RDF数据视为一个带标签的属性图,提出了一种新的查询计划生成方案并且通过图并行的方式实现SPARQL查询评估.SQX采用了一种\"查询树匹配\"+\"结果过滤\"的方法.针对每一个SPARQL查询,产生相应的查询树和约束条件.在每一轮的超级步中,查询树中的多条边可以被并行处理,对迭代执行完毕后的结果进行过滤,满足约束条件的将作为最终的结果.实验结果表明,算法能够有效处理SPARQL查询并且具有良好的可扩展性. 【总页数】11页(P1361-1371) 【作 者】邱慧;邹兆年

【作者单位】哈尔滨工业大学 计算机科学与技术学院,哈尔滨 150001;哈尔滨工业大学 计算机科学与技术学院,哈尔滨 150001 【正文语种】中 文

【中图分类】TP391 【相关文献】

1.Spark框架的Graphx算法研究 [J], 陈虹君

2.一种基于Spark的多路空间连接查询处理算法 [J], 乔百友;朱俊海;郑宇杰;申木川;王国仁

3.基于Spark/GraphX图聚类算法的入室盗窃串并案研究 [J], 鲍世方 4.基于SPARK的大规模RDF数据上的SPARQL查询算法 [J], 崔家奇;闫威 5.KDSG-DBSCAN:一种基于K-D Tree和Spark GraphX的高性能DBSCAN算法 [J], 高旭;桂志鹏;隆玺;栗法;吴华意;秦昆

因版权原因，仅展示原文概要，查看原文内容请购买