XX数据中心未来将XX集团承载所有生产环境系统。数据中心网络作为业务网络的一个重要组成部分，为核心业务系统服务器和存储设备提供安全可靠的接入平台。网络建设应达成以下目标：
高可用――网络作为数据中心的基础设施，网络的高可用直接影响到业务系统的可用性。网络层的高可用至少包括高可靠、高安全和先进性三个方面：
高可靠：应采用高可靠的产品和技术，充分考虑系统的应变能力、容错能力和纠错能力，确保整个网络基础设施运行稳定、可靠。当今，关键业务应用的可用性与性能要求比任何时候都更为重要。
高安全：网络基础设计的安全性，涉及到XX业务的核心数据安全。应按照端到端访问安全、网络L2-L7层安全两个维度对安全体系进行设计规划，从局部安
全、全局安全到智能安全，将安全理念渗透到整个数据中心网络中。
先进性：数据中心将长期支撑XX集团的业务发展，而网络又是数据中心的基础支撑平台，因此数据中心网络的建设需要考虑后续的机会成本，采用主流的、先进的技术和产品（如数据中心级设备、CEE、FCoE、虚拟化支持等），保证基础支撑平台5～10年内不会被淘汰，从而实现投资的保护。
易扩展――XX集团的业务目前已向多元化发展，未来的业务范围会更多更广，业务系统频繁调整与扩展再所难免，因此数据中心网络平台必须能够适应业务系统的频繁调整，同时在性能上应至少能够满足未来5～10年的业务发展。对于网络设备的选择和协议的部署，应遵循业界标准，保证良好的互通性和互操作性，支持业务的快速部署。
易管理――数据中心是IT技术最为密集的地方，数据中心的设备繁多，各种协议和应用部署越来越复杂，对运维人员的要求也越来越高，单独依赖运维人员个人的技术能力和
业务能力是无法保证业务运行的持续性的。因此数据中心需要提供完善的运维管理平台，对数据中心IT资源进行全局掌控，减少日常的运维的人为故障。同时一旦出现故障，能够借助工具直观、快速定位。
1.2. 总体设计思路及原则
数据中心为XX集团业务网络、日常办公与外联单位提供数据访问、OA和视频等服务，以及各业务的安全隔离控制。数据中心并不是孤立存在的，而是与大连中心、网络汇聚中心外联单位网络等网络区域相辅相成，数据中心基础网络是业务数据的传输通道，将数据的计算和数据存储有机的结合在一起。为保证数据中心网络的高可用、易扩展、易管理，数据中心网络架构需按照结构化、模块化和扁平化的原则设计： 结构化
结构化的网络设计便于上层协议的部署和网络的管理，提
高网络的收敛速度，实现高可靠。数据中心网络结构化设计体现在适当的冗余性和网络的对称性两个方面。如下图所示：
冗余的引入可以消除设备和链路的单点故障，但是过度的
冗余同样会使网络过于复杂，不便于运行和维护，因此一般采用双节点双归属的架构设计网络结构的对称，可以使得网络设备的配置简化、拓扑直观，有助于协议设计分析。 在数据中心网络设计时，由于引入了冗余和对称的设计，这必将引入网络的环路，可通过如下建设思路消除环路影响：
1． 启用STP和VRRP协议
传统解决方案，标准的协议，设备要求较低。但此种部署
方案网络的协议部署复杂，收敛慢，链路带宽利用率低，运维管理工作量大。本方案设计不采用此方法。 2． IRF网络设备N:1虚拟化技术
通过H3C IRF技术对同一层面的设备进行横向整合，将两台或多台设备虚拟为一台设务，统一转发、统一管理，并实现跨设备的链路捆绑。因此不会引入环路，无需部署STP和VRRP等协议，简化网络协议的部署，大大缩短设备和链路收敛时间（毫秒级），链路负载分担方式工作，利用率大大提升。
在本方案的设计中，将采用端到端的IRF部署，满足网络高可靠的同时，简化网络运维管理。
模块化
构建数据中心基础网络时，应采用模块化的设计方法，将数据中心划分为不同的功能区域，用于实现不同的功能或部署不同的应用，使得整个数据中心的架构具备可伸缩性、灵活性、和高可用性。数据中心中的服务器将会根据服务器上的应用的用户访问特性和应用的功能不同部署在不同的区域中。如下图所示：
数据中心网络分为网络接入区、数据中心核心交换区和服务器接入区三大功能区域，其中网络接入区和服务器接入区依据服务类型的不同，可进行子区的细分，详细参见“业务分区”章节的描述。
数据中心核心区用于承接各区域之间的数据交换，是整个数据中心的核心枢纽，因此核心交换机设备应选用可靠性高的数据中心级设备部署。
在进行模块化设计时，尽量做到各模块之间松耦合，这样可以很好的保证数据中心的业务扩展性，扩展新的业务系统或模块时不需要对核心或其它模块进行改动。同时模块化设计也可以很好的分散风险，在某一模块（除核心区外）出现故障时不会影响到其它模块，将数据中心的故障影响降到最小。 扁平化
数据中心的网络架构依据接入密度和分为三层架构和二层架构，如下图所示：
传统的数据中心网络通常采用三层架构进行组网，三层架构可以保证网络具备很好的扩展性，同一个分区内服务器接入密度高。但三层架构网络设备较多，不便于网络管理，运维工作量大。同时组网成本相对较高。
随着网络交换技术的不断发展，交换机的端口接入密度也越来越高，二层组网的扩展性和密度已经能够很好的满足企业数据中心服务器接入的要求。同时在服务器虚拟化技术应用越来越广泛的趋势下，二层架构更容易实现VLAN的大二层互通，满足虚拟机的部署和迁移。相比三层架构，二层架构可以大大简化网络的运维与管理。
综合上述因素，数据中心的网络设计采用二层扁平化架构，满足扩展性的同时，实现易管理。 1.3. 业务分区
按照3.2章节中的“模块化”设计原则，需要对业务系统进行分区。从技术看，业务分区需要遵循以下原则： 分区优先考虑访问控制的安全性，单个应用访问尽量
在一个区域内部完成，单个区域故障仅影响一类应用，尽量减少区域间的业务耦合度；
区域总数量的限制：但区域多则运维管理的复杂度和设备投资增加，区域总数量有运维上限不超过20个； 单个区域内服务器数量的限制：受机房空间、二层域大小、接入设备容量限制，单个区域内服务器数量有限（通常不超过200台）。
接入层设备利用率的限制：受机房布局的影响，如果每个机房都要部署多个安全区的接入交换机，会导致接入交换机资源浪费，端口利用率低，因此安全区的数量不宜过多。
防火墙性能的限制: 区域之间的流量如果超过10G，则需要考虑通过防火墙横向扩容，或区域调整的方式分担流量。
在实际的数据中心分区设计中，通常有以下三种分区方法：
1. 按照业务功能进行分区：根据业务系统的功能（如生产、OA、支撑等）或业务的实时性（实时业务、非实时业务）或者业务系统的功能（如ERP、营销、财务等）进行分区划分，此分区方法适合大多数企业数据中心；
2. 按照安全等保级别进行分区：按照业务系统的安全等级定义进行划分，如“三级系统独立成域，二级系统统一成域”，此分区方法适合政府、电力等行业数据中心；
3. 按照服务器类型进行分区：一般分为WEB服务器区、APP/中间件服务器区、DB服务器区。此分区适合互联网企业等数据中心。
按照需求调研时了解的XX集团业务系统分布情况，结合业务系统的用户类型，数据中心的分区设计按照业务功能进行分区。分区设计如下：
各区域业务系统部署描述如下：
办公局域网区：XX数据中心大楼办公网络，包括终端、楼层接入与汇聚。
广域网接入区：与网络汇聚中心广域网络互连，网络出口。 外联网接入应用区：与合作单位的专线互连，此区域也包括合作单位的业务前置机服务器。
互联网接入应用区：互联网出口，此区域也包括集团网站群WEB服务器、集团邮件系统、DNS服务器等。
百货应用区：此区域部署与百货相关的应用服务器，包括百货促销、MIS、BI等应用系统。
KTV应用区：此区域部署与KTV相关的应用服务器，包括
FTP、管控、WEB、DB等应用系统。
院线应用区：此区域部署与院线相关的应用服务器，包括火凤凰、会员等应用系统。
OA应用区：此区域部署集团内部的OA应用服务器，包括OA、RTX、泛微、图档、视频会议、文件、网络教学、网上招投标等应用系统。
ERP/财务应用区：部署集团内部的ERP和财务应用服务器。 其它应用区：部署商管、地产、酒店等应用服务器。 开发测试区：此区域用于集团内部信息系统的开发与测试，或新系统上线前的测试部署。
灾备接入应用区：此区域与大连中心互联，实现数据级的异地灾备。同时此区域可以部署一些本地的重要系统备份应用。
支撑管理区：此区域部署数据中心网络、安全、服务器、存储等IT资源的运维管理系统，此外包括集团内部的域管理和身份认证服务器。
数据中心核心区：此区域用于实现各分区之间的数据交互，
是数据中心网络平台的核心枢纽，无服务器部署。 1.4. 网络设计
结合上述的业务分区，按照结构化、模块化、扁平化的设计原则，实现高可用、易扩展、易管理的建设目标。网络整体拓扑如下图所示：
整体网络拓扑采用扁平化两层组网架构，从数据中心核心区直接到服务器接入，省去了中间的汇聚层，这种扁平化的网络结构有以下优点：
简化网络拓扑，降低网络运维的难度；
服务器区容易构建大二层网络，更适合未来的虚拟机大量部署及迁移；
服务器接入交换机未来的扩展可直接在现有的IRF虚拟组添加成员交换机，扩展方便。
对于数据中心的网络安全部署，在本方案中采用了“分布式安全部署”的策略，防火墙形态采用了H3C SecBlade安全插卡，实现网络安全的融合。详细的安全设计参加“3.5安全设计”章节。
纵观整体方案拓扑，在此方案设计与部署时共采用了IRF虚拟化、网络安全融合、智能管理三种H3C特有的关键技术(详细参见5.2章节相关介绍)，在保证数据中心的高可靠的同时，简化网络运维管理，同时提供了智能化的管理工具平台。 1.4.1. 核心交换区 功能描述
核心交换区的主要功能是完成各服务器功能分区、办公局域网、外联网、互联网之间数据流量的高速交换，是广域/
局域纵向流量与服务功能分区间横向流量的交汇点。核心交换区必须具备高速转发的能力，同时还需要有很强的扩展能力，以便应对未来业务的快速增长。
核心模块是整个平台的枢纽。因此，可靠性是衡量核心交换区设计的关键指标。否则，一旦核心模块出现异常而不能及时恢复的话，会造成整个平台业务的长时间中断，影响巨大。 拓扑设计
设计要点 1. 高可靠
核心交换设备选用数据中心级核心交换机，配置双引擎，双电源，保证网络组件层面的稳定性。
网络架构层面，采用双核心设计，两台设备进行冗余，并通过虚拟化技术进行横向整合，将两台物理设备虚拟化为一台逻辑设备，并实现跨设备的链路捆绑，所各分区的交换机IRF相配合，实现端到端IRF部署。两台设备工作在双活模式，缩短链路故障与设备故障的倒换时间(毫秒级)，保证出现单点故障时不中断业务。
为保证出现单点故障(链路/设备)时另一台设备能够完全接管业务，各功能模块通过“口”字形上行与核心模块互连。 2. 高速传输
本次网络设计容量应保证未来3～5年内的业务扩展，本设计采用“万兆到核心，千兆接入”的思路，核心模块对外接口为全万兆接口。 3. 易于扩展
按照“核心－边缘架构”的设计原则，核心模块应避免部署访问控制策略（如ACL、路由过滤等），保证核心模块业务的单纯性与松耦合，便于下联功能模块扩展时，不影响核心业务，同时可以提高核心模块的稳定性。
4. 智能分析
针对各个区域的业务流量变化趋势，本次在核心交换机上部署网络流量分析模块，可以实时感知，并作为网络优化及调整的依据。 1.4.2. 服务器接入区 功能描述
服务器接入区用于完成服务器的LAN网络接入，依照3.3章节的业务分区设计，涉及到服务器接入的业务分区包括百货应用区、KTV应用区、院线应用区、ERP/财务应用区、开发测试区、支撑管理区、其它应用区，这些区域虽然部署的应用服务器类型不一样，设备的选型要求也不一样，但对于网络拓扑设计来说是一样的，因此在方案设计时，这些区域的网络拓扑设计将在此统一进行描述。 拓扑设计
注：院线应用区若部署院线WEB服务器，则服务器接入交换机上除了部署FW插卡外，还顼要部署IPS和SLB插卡。 设计要点
1. 服务器接入交换机部署双机，并采用IRF虚拟化，将两台物理设备虚拟化为一台逻辑设备，实现跨设务链路捆绑，与核心交换机配合实现端到端IRF。此外服务器双网关配置成双活模式（Active-Active），；
2. 各服务器接入交换机上部署SecBlade FW插卡，用于本区域与其它区域的访问控制策略部署。院线应用区部署FW+IPS+LB插卡；
3. 服务器网关部署在接入交换机上，防火墙插卡与接入交换机以及核心交换机之间运行OSPF动态路由，实现FW的双
机热备。
1.4.3. 互联网区 功能描述
互联网区用于部署集团WEB服务器、院线WEB服务器（若需要），以及集团的DNS、FTP、E-mail等需要通过互联网对公众用户提供服务器的应用系统。 拓扑设计
设计要点
1. Internet出口采用双运营商链路，保证用户访问效率的同时，实现链路的冗余；
2. 服务器接入交换机部署双机，并采用IRF虚拟化，将两台物理设备虚拟化为一台逻辑设备，实现跨设务链路捆绑，与服务器双网卡配合实现双活(Active-Active)； 3. 采用双层防火墙部署，外层防火墙用于实现Internet与WEB、DNS、Email、FTP等公网服务器的隔离，实现公网服务器的分域，并配置DMZ区域保证安全。内层防火墙用于实现公网服务器与数据中心内部其它服务器之间的隔离，部署内部区域间的访问控制策略。外层防火墙采用独立设备、内层防火墙采用在服务器接入交换机上部署SecBlade FW插卡。
4. 由于Internet区部署了较多的网站等WEB服务器，因此需要部署LB和IPS设备。来保证负载分担和L2~L7层安全过滤。
1.4.4. 外联网区 功能描述
外联网区用于实现与合作单位的专线网络进行互联，并部署合作单位的前置机服务器。 拓扑设计
设计要点
1. 服务器接入交换机部署双机，并采用IRF虚拟化，将两台物理设备虚拟化为一台逻辑设备，实现跨设务链路捆绑，与服务器双网卡配合实现双活(Active-Active)；
2. 采用双层防火墙部署，外层防火墙用于实现前置机服务器与合作单位网络的隔离，可部署NAT。内层防火墙用于实现前置机服务器与数据中心内部其它服务器之间的隔离，部署内部区域间的访问控制策略。外层防火墙H3C SecBlade FW插卡、内层防火墙可采用非H3C的第三方FW独立设备进行异构，加强安全性。
3. 服务器接入交换机上部署SecBlade IPS插卡，实现L2~L7层安全过滤。 1.4.5. 广域网接入区 功能描述
广域网接入区用于实现与网络汇聚中心的互连，保证集团内部用户通过广域网访问数据中心内的业务系统。（必要时也可考虑与大连数据中心互联） 拓扑设计
设计要点
1. 广域网出口路由器部署双机，出口链路为双链路，保证广域网出口高可靠；
2. 防火墙采用路由器上部署SecBlade FW插卡。
1.4.6. 灾备接入区 功能描述
灾备接入区用于实现数据中心与大连灾备中心的互连，实现SAN和LAN网络双中心的互通，保证数据同步复制。同时
通过将两中心的VLAN二层打通，实现跨数据中心的大二层网络，便于虚拟机业务迁移和跨地域服务器集群。 拓扑设计
设计要点
1. 数据中心与大连灾备中心之间采用双路裸纤做灾备互连链路，并采用DWDM进行复用。
2. SAN网络直接通过光纤上DWDM波分设备，实现数据存储备份通道的互通。LAN网络通过在服务器网关交换机设备上通过VLAN Trunk到汇接交换机，然后再上DWDM设备，实现双中心之间的大二层VLAN互通。
3. 汇接交换机部署IRF，实现双纤捆绑，保证链路的可靠性。
4. 跨地域的二层打通后，可以实现网关设备跨地域部署VRRP，保证双中心服务器集群时网关的切换。
1.5. 安全设计 1.5.1. 安全设计原则
安全与网络密不可分，本方案中的安全设计部署采用了与网络分区相同的安全域划分，同时采用SecBlade安全插卡实现了网络与安全设备形态的融合。整个方案的安全部署采用了目前应用广泛的“分布式安全部署”方法，如下图右侧所示：
分布式安全部署具有以下优势：
分散风险：传统的集中式安全部署一般将防火墙旁挂在核心交换机两侧，这样一旦防火墙出现故障，数据中心内的
所有业务区都将不能访问，整个数据中心的所有业务均会中断，风险和性能压力都集中在防火墙上。而采用分布式部署后，防火墙出现故障只会影响到本区域的业务，进而实现风险和性能的分散，提高了整个数据中心的可靠性； 灵活扩展：分部式安全部署，核心交换机原则上不部署任何与业务分区之间的安全策略，可实现核心区与各业务分区之间的松耦合，在新增模块或业务系统时，无需更改核心设备的配置，减小核心区出现故障的机率，保证核心区的高可靠与业务分区的灵活扩展；
简化安全策略部署：防火墙下移到各业务分区的出口，防火墙上部署的安全策略可大大简化，默认仅需要划分两个安全域（受信域与非受信域），采用白名单方式下发策略，减少了策略的交叉。
1.5.2. SecBlade FW插卡部署
防火墙设备在数据中心网络架构中为内部系统提供了安全和可靠性保障。防火墙主要部署在数据中心的两个常见
区域中：数据中心出口区域和服务器区域。在数据中心出口区域部署防火墙可以保障来自Internet和合作伙伴的用户的安全性，避免未经授权的访问和网络攻击。在数据中心服务器区域部署防火墙可以避免不同服务器系统之间的相互干扰，通过自定义防火墙策略还可以提供更详细的访问机制。
防火墙插卡设备虽然部署在交换机框中，但仍然可以看作是一个独立的设备。它通过交换机内部的10GE接口与网络设备相连，它可以部署为2层透明设备和三层路由设备。防火墙与交换机之间的三层部署方式与传统盒式设备类似。
如上图FW三层部署所示，防火墙可以与宿主交换机直接建立三层连接，也可以与上游或下游设备建立三层连接，不同连接方式取决于用户的访问策略。可以通过静态路由和
缺省路由实现三层互通，也可以通过OSPF这样的路由协议提供动态的路由机制。如果防火墙部署在服务器区域，可以将防火墙设计为服务器网关设备，这样所有访问服务器的三层流量都将经过防火墙设备，这种部署方式可以提供区域内部服务器之间访问的安全性。
XX集团数据中内部，整体安全采用分布式部署设计，已经对不同的业务系统进行了分区，整体安全边界清晰。为简化SecBlade FW的配置，提高网关性能，将服务器的网关均部署在接入交换机上， SecBlade FW插卡仅部署本分区内与其它分区之间的安全策略。若本分区内各服务器之间有隔离需求，建议在接入交换机上采用ACL方式实现。如下图所示：
对于仅部署SecBlade FW插卡的业务区（如百货、KTV、ERP/财务、开发测试、支撑管理、外联网区），区域内的安全部署逻辑拓扑如下图所示：
接入交换机双机部署IRF虚拟化，并实现跨设备链路捆
绑。两块SecBlade FW插卡逻辑上相当于插在同一台交换机上。
每台接入交换机逻辑上均可以看成一台L2交换机与一台L3交换机的叠加，服务器网关部署在交换机上。 SecBlade通过内部的10GE接口与交换机互连，并创建多个L3接口进行引流，让所有流经服务器的流量均经过FW过滤。两块FW插卡通过带外状态同步线（心跳线）进行状态同步，FW插卡之间通过OSPF动态路由实现热备或负载分担（ECMP）。
1.5.3. SecBlade FW+IPS+LB组合部署
对于XX数据中心的院线应用区、互联网应用区，需要涉及到FW+IPS+LB的组合部署，FW插卡的基本特性3.5.2章节已做描述，下面先介绍IPS和LB插卡的基本组网： SecBlade IPS基本组网设计
SecBlade IPS插卡为数据中心内部提供了更坚固的安全保护机制。通过IPS的深度检测功能可以有效保护内部服务
器避免受到病毒、蠕虫、程序漏洞和DDOS等来自应用层的安全威胁。
IPS插卡通过OAA（开放的应用架构）技术与宿主交换机配合使用。可以通过传统的流量重定向方式将需要IPS处理的业务流重定向到IPS插卡上处理，也可以通过OAA方式在IPS的Web页面上配置重定向策略，这两种方式都可以实现相同的功能。由于不同交换机设备对OAA的支持程度不同。我们推荐在本方案中采用重定向策略引流。
由于IPS插卡在整个网络中属于2层透明转发设备，不会对报文进行任何修改，整个网络从连通性上看加入IPS后不会产生任何变化影响。因此建议实施的时候将其放在最后进行上线配置，即其他设备都调试OK，流量转发与HA设计都以正常实现情况下再进行IPS的部署实施。
SecBlade IPS组网结构流量图
SecBlade IPS不会对报文进行任何修改，对于上IPS处理的报文，非OAA方式只能通过VLAN区分流量是属于外部域还是内部域。所以在组网设计中需注意非OAA方式重定向到IPS插卡的业务流上下行流量需为不同VLAN。由于IPS插卡不具有双机热备功能，通过组网设计，部分环境可以做到IPS故障的切换，部分环境中当IPS故障后，重定向功能失效，业务流将不能继续受到IPS的安全保护，流量在短暂中断后仍然可以保证连续性。 SecBlade LB板卡设计部署
LB插卡具备两大主要功能，服务器负载均衡和链路负载均衡，分别应用于数据中心服务器区和Internet出口区域。
服务器负载均衡为数据中心服务器区性能的扩展和资源利用的优化提供完美的解决方案。链路负载均衡非常有效的部署在数据中心多出口的组网环境中，可以同时对多条广域网链路优化资源利用。
LB插卡的工作方式与防火墙的类似，仍然作为一个独立的设备运行。通过传统的三层方式与交换机或下游设备相连。可以通过静态路由和缺省路由实现三层互通，也可以通过OSPF这样的路由协议提供动态的路由机制。
SecBlade LB在数据中心出口的部署
如图所示，在数据中心出口区域，LB插卡可以与宿主交换机连接三层连接关系，也可以直接和下游设备如防火墙等建立三层连接关系。这取决于用户的实际需求，前一种方式可以提供更灵活的路由控制策略，而后一种方式可以简化组
网的复杂结构（例如：如果经LLB下行的流量都要通过防火墙的安全保护，那么可以将防火墙直接作为LLB的下一跳设备）。
需要注意的是，在双机热备的组网环境中，两块LLB的出口配置必须相同，这样才能保证业务切换后能正常运行。
如图所示，在数据中心服务器区，LB提供了服务器的负载均衡能力。我们可以将LB插卡作为服务器的网关设备，这样所有的服务器流量都需经过LB设备。也可以将服务器网关放置在交换机上，LB设备通过路由方式访问服务器群，这样的部署方式可以灵活控制LB对服务器的访问。 组合部署 在数据中心服务器区IPS+FW+SLB的部署主要有以下四种
方式：
IPS如果需要保护所有流量可以部署在前端，如果仅需要保护部分关键区域的业务可以放置在FW后面。 SLB可以作为服务器网关设备部署，如果服务器间还需要更严格的防护策略可以将防火墙部署在SLB下端作为服务器的隔离设备。
通过IRF堆叠技术还可以进一步简化组网结构，提高管理维护和配置成本，是目前的流行部署方式。
本方案的推荐采用组网四方案，组网逻辑拓扑如下图所示：
在本案例组网设计中， 接入交换机和安全插卡都为双机部署，使用OSPF动态路由协议。交换机通过IRF方式增强可靠性和管理性，FW插卡与上游设备建立三层连接关系，提供安全保护功能。SLB插卡与接入交换机建立三层连接关系，同时对下做为服务器网关设备提供服务器负载均衡功能。
1.6. QOS设计 1.6.1. QoS设计原则
XX集团网络整网QoS设计遵循以下的原则：
正常情况下QOS是通过带宽来保证的。换句话说，即在网络带宽足够高的情况下，不需要QOS机制。当带宽利用率达到60％可考虑扩容； 网络设备的容量不能成为瓶颈；
网络/链路故障或网络拥塞情况下QOS策略生效； 任何时候都优先保证实时业务。
1.6.2. QoS服务模型选择
为了更有效的利用带宽，使关键业务得到无阻塞的应用，网络需要进行QoS方案的设计实施，首先需要考虑选择合适的技术框架，也即服务模型。服务模型指的是一组端到端的QoS功能，目前有以下三种QoS服务模型：
1. Best-Effort service——尽力服务
2. Integrated service（Intserv）——综合服务 3. Differentiated service（Diffserv）——区分服务
Best-Effort service：尽力服务是最简单的服务模型。应用程序可以在任何时候，发出任意数量的报文，而且不需要事先获得批准，也不需要通知网络。网络则尽最大的可能性来发送报文，但对时延、可靠性等不提供任何保证。 Integrated service：Intserv是一个综合服务模型，它可以满足多种QoS需求。这种服务模型在发送报文前，需要向网络申请特定的服务。这个请求是通过信令（signal）来完成的，应用程序首先通知网络它自己的流量参数和需要的特定服务质量请求，包括带宽、时延等，应用程序一般在收到网络的确认信息，即网络已经为这个应用程序的报文预留了资源后，发送报文。而应用程序发出的报文应该控制在流量参数描述的范围内。
Differentiated service：Diffserv即区别服务模型，
它可以满足不同的QoS需求。与Integrated service不同，它不需要信令，即应用程序在发出报文前，不需要通知路由器。网络不需要为每个流维护状态，它根据每个报文指定的QoS，来提供特定的服务。可以用不同的方法来指定报文的QoS，如IP包的优先级位（IP Precedence)、报文的源地址和目的地址等。网络通过这些信息来进行报文的分类、流量整形、流量监管和排队。
这三种服务模型中，只有Intserv与Diffserv这两种能提供多服务的QoS保障。从技术上看，Intserv需要网络对每个流均维持一个软状态，因此会导致设备性能的下降，或实现相同的功能需要更高性能的设备，另外，还需要全网设备都能提供一致的技术才能实现QoS。而Diffserv则没有这方面的缺陷，且处理效率高，部署及实施可以分布进行，它只是在构建网络时，需要对网络中的路由器设置相应的规则。
对于XX集团广域网的QoS，我们建议采用Diffserv方式进行部署。
1.6.3. QoS规划
CCITT最初给出定义：QoS是一个综合指标，用于衡量使用一个服务满意程度。QoS性能特点是用户可见的，使用用户可理解的语言表示为一组参数，如传输延迟、延迟抖动、安全性、可靠性等。
XX集团网络中主要包括数据、视频两种业务应用。而数据又分ERP关键业务和其他业务，因此需要对现有业务系统进行分类，才能更好地保障业务的开展。 业务分类和标记
针对XX集团的要求，对其主要的流量进行划分和标记，具体如下：
IP 业务类业务特征 型 nce 网络控制适用于网络维护与管7 协议 理报文的可靠传输，要（CS7567 PrecedeDSCP .1p IP 802（hello、求低丢包率 SLA） 对时延、抖动较敏感；） 34(AF视频会议 带宽需求高；需要可预计的时延和丢包率 适合重要数据业务,低ERP 丢包、高优先级 目录同步适合普通数据业务，低和策略下丢包、 发 邮件系统及Internet应用 流量监管和整形 在完成区分业务应用类型后，需要对整个广域网进行流量的监管和整形，对于XX集团广域网络SDH来说，出口带宽
尽力而为（Best 0 effort）转发 0 0 1 1) 9(AF11 3 31) 24(AF3 5 41) 5 是有限的，而入口带宽总是大于出口带宽，需要对入口和出口进行限制和整形，以保障关键流量的顺利转发。 队列管理
在Diffserv体系的队列管理中，同样按照不同的边界范围采用不同的队列管理技术。
局域网主要基于以太网的组网方式，以太网实现的QoS功能主要是能够支持那些对延时和抖动要求较高的业务流。目前业界在以太网络交换机实现的Qos队列管理技术主要采用严格优先级SP（Strict-Priority）队列调度算法、加权轮循WRR（Weighted Round Robin）调度算法。SP队列调度算法，是针对关键业务型应用设计的。关键业务有一重要的特点，即在拥塞发生时要求优先获得服务以减小响应的延迟。WRR队列调度算法在队列之间进行轮流调度，保证每个队列都得到一定的服务时间。在实际应用中，SP队列调度算法与WRR调度算法可以同时应用一个端口上，既保证关键业务的延时与抖动，同时又保证各业务具有一定的带宽保证。 广域网一般采用路由器组网，目前路由器主要支持的队列
管理技术包括PQ、CQ、WFQ、CBQ/LLQ，由于PQ、CQ、WFQ的种种问题，目前通常采用CBQ/LLQ做为骨干层的队列管理机制。CBWFQ\\LLQ，有一个低时延队列 - LLQ，用来支撑EF类业务，被绝对优先发送（优先级低于RTP实时队列）；另外有63个BQ，用来支撑AF类业务，可以保证每一个队列的带宽及可控的时延；还有一个FIFO/WFQ，对应BE业务，使用接口剩余带宽进行发送。但是请注意，由于涉及到复杂的流分类，对于高速接口（GE以上）启用CBQ\\LLQ特性系统资源存在一定的开销。
另外如果边缘层与骨干层的接入采用低速的链路接入，因此也必须考虑相应的队列管理技术。如果接入带宽>=2M，则需采用骨干层一样的调度技术，即CBQ/LLQ。如果接入带宽<2M，则需要考虑采用链路有效机制。可采用LFI（链路的分段及交叉）技术避免大报文长期占用链路带宽，采用LFI以后，数据报文（非RTP实时队列和LLQ中的报文）在发送前被分片、逐一发送，而此时如果有语音报文到达则被优先发送，从而保证了语音等实时业务的时延与抖动。另外还可以
采用CRTP（IP /UDP/ RTP报文头压缩）技术，以提高链路的利用率。 拥塞避免
建议采用WRED加权丢弃技术，实现拥塞避免。 WRED(Weighted early random detection)提供了对拥塞的控制，它不是等待缓冲区填满然后出现尾部丢弃，而是不停地监控缓冲的深度，并可以根据IP header中的IP Precedence有选择地早期丢弃一些级别较低的TCP连接的包，保证关键数据的传送，并避免当缓冲满溢时丢弃大量的数据包。主要特点：一、WRED利用活动队列管理，解决尾部删除的缺点；二、WRED主要在TCP为主的IP网络中使用，因为UDP通信流不像TCP一样具有对分组删除具有响应能力；三、WRED把非IP通信流看成优先级为0，最低优先级，因此，非IP通信流放在一个丢弃桶中，比IP通信更容易删除，这在大多数重要通信流（非）IP通信流时可能遇到问题，但是这现象在DCN网络中通常不会出现。
1.6.4. QoS部署
对与XX集团的整体QoS部署，我们建议根据不同层次进行部署，涉及局域网设备和广域网设备，来实现对集团关键业务的保障。
如上图所示，将网络的各个层次启用QoS，保障关键业务流的快速转发。对于XX集团需要保障的业务——视频业务和ERP业务，其优先级是不同的，根据实施经验，下面对其做详细的QoS设计： 1. 视频流量
站点实现方法：在站点的出口路由器上配置QoS策略，首先启用ACL识别视频流（如视频会议终端的IP地址），打上
优先级DSCP标记AF41；再启用CBQ（基于类的队列），将其引入CBQ的紧急队列，由CBQ进行队列调度，抢占足够带宽，优先转发紧急队列中的报文，直到发送完后才发送其他类对应的队列的报文。
数据中心实现方法：MCU通过交换机直接连入路由器，在路由器上启用ACL识别视频流（如视频会议终端的IP地址），打上优先级DSCP标记AF41；并启用CBWFQ和PQ，将视频流放入到PQ的高优先队列中，优先转发，直到发送完后才发送其他类对应的队列的报文。 2. ERP流量
ERP系统是XX集团的关键业务，ERP服务器部署在数据中心，各站点分布多个ERP工作站访问数据中心的ERP服务器。由于中间的网络设备连接很多，要做到端到端的QoS，需要在不同的设备上启用QoS。在局域网高带宽和多厂家设备混合组网的情况（如防火墙采用国产设备），一般在数据中心内部局域网内不启用QoS，以下将介绍两种方式： 第一种方式：端到端的QoS
站点实现方法：在站点的ERP工作站接入交换机上启用QoS，通过ACL识别ERP流量（如：源地址+目的地址），打上DSCP优先级AF31，并启用SP（严格优先级），将其优先发送，经核心交换机、防火墙至路由器，所经各设备同时启用QoS，保障其优先转发；再通过路由器启用CBQ（基于类的队列），将ERP流量放入到中优先级队列，抢占低优先级队列的带宽，发送报文。
数据中心实现方法：在数据中心ERP服务器接入交换机启用QoS，通过ACL识别ERP流量（如：源地址+目的地址），打上DSCP优先级AF31，并启用SP（严格优先级），将其优先发送，经核心交换机、防火墙至路由器，所经各设备同时启用QoS，保障其优先转发；再通过路由器启用CBWFQ（基于类的加权）+PQ，将ERP流量放入到中优先级队列，抢占低优先级队列的带宽，发送报文。 第二种方式：广域网路由器启用QoS
站点实现方法：在站点的路由器上配置QoS策略，首先启用ACL识别ERP流（如：源地址+目的地址），打上优先级DSCP
标记AF31；再启用CBQ（基于类的队列），将其引入CBQ的中优先级队列，由CBQ进行队列调度，抢占低优先级的带宽，优先转发报文。
数据中心实现方法：在出口路由器上启用ACL识别ERP流（如：源地址+目的地址），打上优先级DSCP标记AF31；并启用CBWFQ和PQ，将ERP放入到PQ的中优先队列中，优先转发。
为简化网络部署，XX集团的QoS建议采用第二种方法！
1.7. 数据中心互联
数据中心的互联包括以下三种类型：
三层互联：也称为数据中心前端网络互联，所谓“前端网络”是指数据中心面向企业园区网或企业广域网的出口。不同数据中心（主中心、灾备中心）的前端网络通过IP技术实现互联，园区或分支的客户端通过前端网络访问各数据中心。当主数据中心发生灾难时，前端网络将实现快速收敛，客户端通过访问灾备中心以保障业务连续性。 二层互联：也称为数据中心服务器网络互联（以下简称DCI）。在不同的数据中心服务器网络接入层，构建一个跨数据中心的大二层网络（VLAN），以满足服务器集群或虚拟机动态迁移等场景对二层网络接入的需求。
SAN互联：也称为后端存储网络互联。借助传输技术（DWDM、SDH等）实现主中心和灾备中心间磁盘阵列的数据复制。
如下图所示：
三层互联和SAN互联，目前均已有很成熟的通用方案，在此将不再进行描述，本章节重点关注数据中心服务器网络二层互联方案。
对于数据中心与大连灾备中心的二层互联，有两种方案可供选择，这两种方案均为标准协议方案，可以很好的与大连现中心及第三方设备互联。 基于裸纤的DCI方案： 此方案要求数据中心与大连灾备中心的互联链路采用裸纤/DWDM，保证链路的私有性与高性能带宽。方案组网如下图所示：
从主中心和备份中心的网关层（本方案的接入交换机）拉出互联链路，经过“异地集群连通模块”汇聚后上波分设备； 异地集群连通模块将需要进行集群和迁移的服务器VLAN进行Trunk，实现与大连双中心的大二层VLAN互通，保证服务器可以实现跨数据中心的集群（MSCS）和迁移（VMotion）； 数据中心内部端到端部署IRF虚拟化，虚拟化后的网关设备与大连备份中心运行VRRP，保证网关设备跨数据中心热备。
基于IP广域网DCI方案： 此方案可借用广域IP三层传输线路实现与大连双中心的
二层互联，线路成本相对较低，但线路带宽可能成为瓶颈。方案组网如下图所示：
从主中心和备份中心的网关层（本方案的接入交换机）拉出互联链路，经过“DCI PE设备”汇聚后承载到广域IP网络；
在IP核心网上，两端PE间建立GRE隧道，实现两PE背靠背互联，这种方案的好处的可建立 IPSEC 保护私密性与完整性；
综合上述两种方案，推荐采用方案1，避免互联带宽和时延成为应用的瓶颈！
1.8. 新技术应用 1.8.1. FCoE
数据中心网络接入层是将服务器连接到网络的第一层基础设施，这里最常见的网络类型是用于局域网（LAN）连接的以太网，以及用于存储网络（SAN）连接的FC网络。为支持不同类型网络，服务器需要为每种网络配置单独的接口卡，即以太网卡（NIC）和光纤通道主机总线适配器(FC HBA)。多种类型的接口卡和网络设备削弱了业务灵活性，增加了数据中心网络管理复杂性、增加了设备成本、增加了电力等方面的开销。
FCOE技术，实现了用以太网承载FC报文，使得FC SAN和以太网LAN可共享同一个单一的、集成的网络基础设施，很好的解决了不同类型网络共存所带来的问题。然而，传统以太网LAN和传统FC SAN具有不同的技术要求，在拓扑结构、高可用性、传输保障机制、流量模型等方面存在较大差别。
FCOE技术的两种部署模式: FCOE技术在网络中有两种部署模式，如下图所示：
1. 整网端到端（接入—汇聚—核心）的FCOE部署（上图a）。FCoE技术的应用范围扩大到整网，除接入层交换机外，汇聚核心层交换机也支持FCoE功能；除服务器外，存储设备也逐渐支持FCoE接口。由此实现了LAN与SAN的融合，简化了整网基础设施。
2. FCOE只部署在服务器网络接入层（上图b）。目的是实现服务器I/O整合，简化服务器网络接入层的线缆设施。服务器安装支持FCoE的10GE CNA网卡，并连接到接入层FCoE交换机（FCF或NPV），接入层交换机再分别通过10GE链路和FC链路连接到现有的LAN和
SAN。
FCOE整网部署是数据中心网络未来发展趋势，由于FCoE标准发布不久，业界还没有出现较为成熟的支持全网端到端FCOE部署的方案和产品，成本也相对较高，因此FCOE的网络接入层部署是当前的主要应用模式。此外，从保护XX现有投资（已建设的FC SAN）角度出发问题，也建议现阶段只在网络接入层通过FCOE实现服务器IO整合，简化接入层线缆部署，而保留原有LAN骨干与原有FC SAN骨干的独立性。
数据中心FCoE部署： 在数据中心网络设计中，FCoE技术将部署在OA服务器区，一方面为将来做技术储备，另一方面OA服务器的风险及性能压力相对较低，不会影响到企业的生产运作。OA服务器区FCoE部署组网拓扑如下图所示：
OA服务器部署万兆CAN融合网卡，连接FCoE接入交换机，同时在FCoE接入交换机上配置FC接口卡，与FC SAN交换机相连。FCoE上行至核心交换机的链路组网与其它业务区相同。
1.8.2. 虚拟机(VM)部署与迁移
虚拟机在数据中心的部署越来越广泛，虚拟机的部署将会对网络设计产生以下几个方面的影响：
网络流量和突发性加剧。传统一台物理服务器部署一个应用系统，业务流量相对较小而且稳定，网络设计与设备选
型无特别要求。在部署了虚拟机之后，服务器的利用率得以提升，同时一台服务器产生的业务流量将会成倍提升，同时一台物理服务器上部署多个应用系统，业务流的突发性也会加剧。
虚拟机与虚拟交换机的管理难度增大。部署虚拟机之后，虚拟机的部分流量将经过内部虚拟交换机转发，虚拟交换机是位于服务器内的软件，网络管理员配置和监控困难。 虚拟机迁移与网络安全策略的感知。虚拟机从一台物理服务器迁移到另一台物理服务器之后，网络接入交换机上针对原物理服务器的端口策略（ACL、QoS等）将全部失效。 在数据中心网络设计时将分别针对上述几个方面问题，提出相应的解决方案。
1. 服务器千兆接入，多万兆捆绑上行到核心区。核心区
选用分布式入方向大缓存设备，从带宽上解决业务流量倍升问题，从缓存上解决网络突发和拥塞问题； 2. 部署iMC网络管理平台，该平台可以显示VMware虚拟
机与虚拟交换机拓扑，并可以对虚拟机进行性能监
控，对虚拟交换机进行配置和管理。如下图示：
构建无差异虚拟机接入网络，部署VLAN ACL，同时将防火墙策略上移，保证虚拟机在本区域内迁移时，网络和安全策略无差异，如下图所示：
iMC网络管理平台对VMotion的感知。H3C iMC网络管理平台针对VMware vCenter做了API接口，vCenter获得VMotion事件后，会通知iMC平台，iMC平台可将网络设备
上针对VM下发的策略迁移到网络中其它设备或端口上，实现网络策略随VM迁移而动。如下图所示：
1.9. 数据中心管理
1.9.1. 数据中心管理设计原则
人、设备、流程的管理是IT的主要传统任务,数据中心运维管理建设的重点在于利用好现有资源，整合信息及其系统，实现科技的整体规划和标准管理。同时，借助于科技网络化的管理工具，可以达到提高运维日常工作效率和管理效率的双重功效。数据中心运维管理建设需要遵循的基本原则如下： 集中性原则
系统规划、设计和建设要以管理系统集中、数据集中、处理集中为原则，统一规划、统一标准、统一设备、统一开发与应用。
先进性和成熟性原则
用科学的方法（如ITIL）及工具进行系统规划和设计，避免盲目性和随意性；选择技术先进、具有一定代表水平并
且成熟的技术方法和产品来建设数据中心管理系统。 安全、保密性原则
从设备安全、网络安全、数据安全等多角度考虑管理系统的安全性和保密性，采用多种手段对安全性和保密性进行控制来确保企业业务经营信息的安全。 急用先行、稳步实施原则
数据中心管理系统是一个庞大复杂的系统工程，在系统建设过程中，应遵循急用先行的原则，优先建设急需的系统，同时要考虑到信息化建设的全局，逐步完成系统建设。 1.9.2. 网络管理 （1）设备管理
数据中心设备主要包括服务器、路由器、交换机、安全（FW、IPS）等基础设施，建议按照统一管理的原则，由一套管理平台来对数据中心的全局资源进行监控，出现故障或告擎后能够快速找到故障点。这一个全局的平台需要监控机柜、网络安全设备、服务器及虚拟机资源的状态，如下图所示：
对于服务器内运行的数据库、中间件，也需要在这个全局的平台上了解其运行状态，如下图所示：
对服务器的状态监控在部署时应注意避免在服务器上安全客户端软件，以防信息的泄漏。 （2）拓扑管理
数据中心拓扑管理不仅可以自动发现网络物理拓扑结构，还需要提供分区拓扑、机房拓扑、机架拓扑、设备面板、用户拓扑等功能，可将全网设备根据不同的管理区域、楼层、机房、机架、面板、用户等进行划分，建立资源、业务与用户的统一拓扑视图，方便管理员从各个维度对数据中心的各种资源进行管理。 （3）配置管理
1）资源化的配置和软件管理
配置模板库维护网络设备配置模板文件、用户常用的配置模板片段两种资源；配置模板文件可部署为设备的启动配置或者运行配置；配置模板片断可部署为设备的运行配置，也可通过启用“下发命令后将设备运行配置保存为启动配置”选项部署为启动配置，并且配置内容可以带有参数，在部署时根据设备的差异设置不同的值。
2）集中化的设备配置和软件信息展示
提供全网设备的配置文件、软件版本信息集中式展示，包括设备的当前软件版本、最新可用于升级的软件版本、最近备份时间、是否已加入自动备份计划等信息；可提供管理员对设备的集中操作包括设备配置部署、设备配置备份与恢复、设备软件升级与恢复、设备空间管理、设备软件基线化管理功能，极大的方便了管理员直观的掌握当前网络的配置和软件版本。
3）基线化的设备配置变更审计
通过配置备份历史和软件升级历史的管理，实现基线化的设备配置变更审计功能，使配置文件管理和软件升级管理具有了可回溯性。提供设备运行配置和启动配置的基线化版本管理，将每个设备相关的配置文件划分为三种版本：基线、普通、草稿。便于管理员识别、管理。并可快速恢复至基线配置。提供设备软件基线化版本管理，每个设备可以指定一个基线版本，提供基线审计及快速恢复至基线版本功能。 4）自动化的建立可追溯的网络配置
通过启动自动备份功能，帮助管理员周期性自动地完成设备配置的历史备份，自动建立起可追溯的网络配置。用户可以针对不同的设备设置不同的备份周期和备份时间点，支持按天、周、月周期备份。支持网络运行设备的配置变化检查，一旦配置发生变化，立刻以告警方式通知管理员关注。 （4）安全管理 1）智能分析与联动
对来自于网络、安全、操作系统、数据库、存储等设施的安全信息与事件进行分析，关联和聚类常见的安全问题，过滤重复信息，发现隐藏的安全问题，使管理员能够轻松了解突发事件的起因、发生位置、被攻击设备和端口，并能根据预先制定的策略做出快速的响应，保障网络安全。 2）日志管理
采用主动收集、被动接收等多种方式，提供有价值的集中化日志管理，并对不同类型格式的日志进行归一化处理。同时，采用高聚合压缩技术对海量事件进行存储，并可通过自动压缩、加密和保存日志文件到DAS、NAS或SAN等外部存
储系统，避免重要安全事件的丢失。 2）完善的报告
提供设备、主机、应用系统、漏洞、网络流量、主机资产、法规遵从（如SOX、HIPAA、GLBA、FISMA等法案和条例）七大类报告，基本覆盖了所有安全相关的信息，并支持以PDF、HTML、WORD、TXT等多种格式输出；同时可通过Web界面进行定制报告，定制内容包括数据的时间范围、数据的来源设备、生成周期、输出类型等。 1.9.3. 网络监控 （1）流量监控
数据中心是各种流量的汇聚点，流量状态复杂，为了更好的掌握数据中心的实际运行状况，为后续的升级及扩容提供数据支撑。需要在数据中心部署网络流量分析系统。从多个角度对网络流量进行分析，并生成报表，包括基于接口的总体流量趋势报表、应用带宽占用趋势报表、节点（包括源、目的IP）流量报表、会话流量报表共四大类报表。 基于报文内容对应用进行识别和分类，可针对百兆链路提
供对常见P2P应用的网络占用带宽趋势图和流量趋势图及应用的详细信息列表等报表，实现对此类应用流量的监控。 通过流量原始日志对特定节点、协议、端口、时间范围内的流量趋势、来源、目的和会话进行审计，给出对应的通信明细（包括流量、包数、包长等），并可根据来源IP、目的IP、端口等进行分类统计，以便跟踪解决网络流量异常问题。 （2）网络监控
网络监控主要实现以下功能： 1、 故障监控
检测、隔离、更正网络问题并从这些问题中恢复。直观、快速定位问题。 2、 性能监控
分析和控制整个网络的数据吞吐，为终端用户提供连续的可靠的服务，同时为网络优化提供数据支撑。 3、 7层应用审计
提供了七层应用审计功能，基于报文内容对应用进行识别和分类，进而提供对常见P2P应用和即时通讯应用的网络应
用信息列表等报表，实现对此类应用流量的监控，和应用分析功能一起完善的提供对各类应用（包括使用固定协议端口和动态协商端口）的监控分析功能。 4、 NAT地址转换审计
提供用户按照通用审计条件的基础上根据NAT IP和NAT 端口进行日志审计的功能。审计结果支持按照各个字段进行分组排序的功能及审计结果的保存。 5、 Web访问审计
提供用户按照站点地址和URI为条件进行审计的功能。审计结果支持按照各个字段进行分组排序的功能及审计结果的保存。 6、 文件传输审计
提供用户按照FTP用户名、文件名、传输方式为条件进行审计的功能。审计结果支持按照各个字段进行分组排序的功能及审计结果的保存。 7、 邮件审计
提供用户按照发件人、收件人、主题为条件进行审计的功
能。审计结果支持按照各个字段进行分组排序的功能及审计结果的保存。 8、 审计报表
提供专业的报表，包括访问站点、会话数、应用分布、未知应用的TopN报表，SMTP、HTTP、FTP的应用分析报表，每种报表都可以按照天、周等周期和图形、列表等形式输出。通过使用这些自带的报表，管理员可以非常清楚的了解当前用户对网络的使用情况。 （3）日志及事件管理
数据中心内部署了众多的网络和安全设备，一旦出现攻击，将会引起攻击路径上的众多设备产生告警事件及日志，需要一台安全管理中心设备能够对数据中心内部产生的各种日志和事件进行智能的关联分析，便于运维人员能够迅速的找到问题根源。
安全管理中心能够提供对全网海量的安全事件和日志的集中收集与统一分析，兼容异构网络中多厂商的各种设备，对收集数据高度聚合存储及归一化处理，实时监控全网安全状
况，同时能够根据不同用户需求提供丰富的自动报告，提供具有说服力的网络安全状况与政策符合性审计报告，系统自动执行以上收集、监控、告警、报告、归档等所有任务，使IT及安全管理员脱离繁琐的手工管理工作，极大提高效率，能够集中精力用于更有价值的活动，保障网络安全。
因篇幅问题不能全部显示，请点此查看更多更全内容