网络爬虫需求分析

目录

1 .引言 .................................................................................................. 2

1.1 编写目的 ........................................................................................ 2 1.2 背景 ............................................................................................ 2 1.3 定义 ............................................................................................ 3 1.4 参考资料 ........................................................................................ 3 2 .任务概述 .............................................................................................. 3

2.1 目标 ............................................................................................ 3 2.2 用户的特点 ...................................................................................... 4 2.3 假定和约束 ...................................................................................... 4 2.4 假设与依据 ...................................................................................... 4 3 .需求规定 ............................................................................................. 4

3.1 对功能的规定 ................................................................................... 4

3.1.1 使用库 ................................................................................... 4 3.2 对性能的规定 .................................................................................... 5

3.2.1 精度 ..................................................................................... 5 3.2.2 时间特性要求 ............................................................................ 5 3.2.3 灵活性 ................................................................................... 5 3.2.4 安全性 ................................................................................... 6 3.2.5 可维护性 ................................................................................ 6 3.3 输入输出要求 ..................................................................................... 6 3.4 数据管理能力要求 ................................................................................ 6 3.5 故障处理要求 .................................................................................... 6 4 .运行环境规定 .......................................................................................... 6

4.1 设备 ............................................................................................. 6 4.2 支持软件 ......................................................................................... 6 4.3 接口 ........................................................................................... 6 4.4 控制 ............................................................................................. 7 5 .数据流图 .............................................................................................. 7 1.1 PO 图 ................................................................................................ 8 7 .数据字典 ..............

(1)数据流词条的描述 (2)数据元素词条的描述 (3)数据文件词条的描述 8 .小说明 ..................

...................9 错误！未定义书签。 错误！未定义书签。 错误！未定义书签。 .................. 9

1.引言

1.1 编写目的

为开发人员、维护人员、客户之间提供共同的协议而创立基础，对该软件功能的实现作使命描述。 本说明书的预期读者为客户、业务或需求分析人员、测试人员、用户文档编写者、项目管理人员。

1.2 背景

软件系统的名称：网络爬虫

1.3 定义

网络爬虫搜索引擎Web URL信息互联网

1.4 参考资料

《网络爬虫软件的研究与开发》 《软件需求》----

中图分类号：TP319《软件导刊》 2011年5月 第10卷第5期

（美）Karl E.Wiegers 著陆丽娜王忠民王志敏等译

2 .任务概述

2.1 目标

系统流程图

1 .客户端向服务器发送自己设定好的请求。

2 .通过http将Web服务器上协议站点的网页代码提取出来。 3 .根据一定的正则表达式提取出客户端所需要的信息。 4 .采用深度优先搜索从网页中某个链接出发 问。

5 .采用广度优先搜索从网页中某个链接出发 递归算法实现下一层的访问。

，访问该链接网页上的所有链接

，访问完成后，再通过

，访问该链接的网页，并通过递归算法实现依次向下访

2.2 用户的特点

使用本软件面向不同领域、不同背景的广大群众，可以根据自己制定的搜索主题来使用本软件。

2.3 假定和约束

1 .有CPU133 16兆内存配置的计算机就可运行本系统。 2 .在管理方针、并行操作、安全与保密方面无约束。

2.4 假设与依据

本软件在开发的过程中，分为技术实现与软件工程两大部分，两部分都有侧重点，若技术支持

出现故障或疑难问题无法解决、程序开发出现偏差，会延误工程进度，影响工程的按期完工。若软件工 程陈述出现问题，部分描述含混不清，则会影响系统的完整性与可继承性。在管理方面，如管理者没有 预见性，对出向的问题无法采用可行的解决手段，都会影响开发模块之间的互动，从而影响工程的顺利 开展，导致工程无法按期完工。

3 .需求规定

3.1 对功能的规定 3.1.1 使用库

3.1.1.1 规格说明

1:库文件名 I | P,调用指定库

I

0：显示所调用的数据库的库结构 3.1.1.2 引言

显示所调用的数据库。 3.1.1.3 输入

指定的库文件名。 3.1.1.4 力口工

调用指定的数据库。 3.1.1.5 输出

显示所指定的数据库的库结构。

3.2 对性能的规定 3.2.1 精度

1 .用户在设置爱好时进行精度提示，提交给服务器后进行精短校验。

2 .在进行向数据库文件提取数据时，要求数据记录定位准确，在往数据库文件数组中添加数时，要 求输入数准确。

3.2.2 时间特性要求

a.响应时间应在人的感觉和视觉事件范围内

b.更新处理时间：随着本系统的版本升级，系统将相应的进行更新 c.数据的转换和彳^送时间：

1~2秒

3.2.3 灵活性

当需求发生某些变化时，本系统操作方式、数据结构、运行环境基本不会发生变化，变 化只是将对应的数据库文件内的记录改变，或将过滤条件改变即可

3.2.4 安全性

本软件大量的参数及文本内容全部放于汉语编程数据库中，所以参数不容易被错改、破 坏，万一参数受到破坏也不会影响源程序。

3.2.5 可维护性

本软件利用数据库进行编程，系统结构由程序基本确定，大量的参数及文本内容全部放 于汉语编程中。修改、更新数据只要在数据库进行修改添加，而不需要对系统结构进行修 改，这样系统维护性、升级都十分方便。

3.3 输入输由要求

用户应该输入一个合法的初始

URL作为初始入口。

3.4 数据管理能力要求

本系统采用sql server 数据库对资源进行存储，其自带的空间自增长有效的解决了数据管理的问 题。

3.5 故障处理要求

当客户端多数用户同时使用，可能造成服务器负载过重，于是启用了多线程方法，同时限定最大线 程数，防止服务器崩溃。

4 .运行环境规定

4.1 设备

本软件不需要特定的硬件或硬件接口进行支撑。 均可运行此软件。运行时需要联机。

486以上具备有java的运行环境jdk的PC机

4.2 支持软件

本系统采用java语言制作，支持 win7/XP/Linux 等操作系统，由java虚拟机编译，测试软件为 My Eclipse;

4.3 接口

客户端浏览器是搜索引擎和用户之间的接口。其首先获取用户搜索条件并加以分析，然后访问索引

数据库进行匹配后获得检索结果，然后根据设定的相关度进行降哥排序处理后返回给用户。输出、输入 的相对时间将由pc机本身处理速度来决定。对程序的维护，需进行必要的备份。

本软件通过客户端浏览器，用户设置自己的爱好，并通过

响应操作。

4.4控制

http传给服务器，服务器接受信号执行

5.数据流图

Il

。1 第一层 一1、 1网络爬虫t

-------- . 学4 网页信息 网页 /1\\ 2 *方法K件搜索配置爬取网页/网页信息子生 学生—— 二 _____ 搜/ 网页 第二层

1.1 1.2 2.2

学生

件验证搜索方.

搜索方法.日有效性正确搜索方法,

+验证UR函 ___________ »

效性搜索配置

N

一J检查网页重 下载网网页信息 网页

页T复性

学生

6.IPO 图

网页

第三层

7.数据字典

1 .搜索方法=搜索策略+抓取类型。

搜索策略=\"广度优先” । “深度优先” । “最好优先” 抓取类型=音频।视频।图片

2 .网页信息=主题+内容+链接地址

3 .搜索配置=搜索方法+ URL

4 .下载网页=站内爬取+外链爬取

5 .验证URL有效性=存在性+价值性

8 .小说明

加工编号：i.i 加工名：设置搜索方法 输入流：自定义搜索方法表 输出流：完整的搜索方法表 加工逻辑：将自定义搜索方法表及系统默认选项参数加工 成完整的搜索方法表 有关信息：当有选择输入时执行此加工，否则按默认执行 加工编号：1.2 加工名：对URL检查 输入流：搜索方法中的初始 输出流：正确的搜索配置 加工逻辑：通过检查 URL的存在性和价值性来判断 该URL是否可行 URL 加工编P :2.1 加工名： 卜裁网页 输入流： URL 输出流： 网贝 加工逻辑 :根据完整的搜索方法表以初始 搜索的URL入口在互联网上卜载网贝 URL或未 后关信息 :URL应保证有效性 加工编号2.2

加工名：除去相同的网页 输入流：网页

输出流：从互联网上下载的网页 加工逻辑：通过相似度计算来除去相 似网页