人工智能、大数据和云计算的融合发展及应用

Technology first 科技创新摘要：当人工智能和大数据技术以及分布式计算相结合以后，计算力和训练数据量等问题得到了有效解决，人工智能开始发挥巨大价值；随着分布式技术、大数据技术不断向人工智能领域发展，平台数据的大量汇集也使得企业大数据平台细化部门服务需求日益迫切；通过融合技术，人工智能、大数据和云计算得到了融合发展。关键词：人工智能；大数据；云计算；融合发展文章编号：2096-4137（2019）17-079-03  DOI：10.13535/j.cnki.10-1507/n.2019.17.06■ 文／闵　锐人工智能、大数据和云计算的融合发展及应用0　引言和云计算在传统企业中的应用越来越1　人工智能、大数据和云计算随着互联网技术发展突飞猛广泛，人们对于人工智能、大数据和概述进，巨大的技术浪潮层叠袭来，而人云计算的需求不断提高，未来随着三1.1　人工智能工智能、大数据和云计算和融合发展者不断融合发展，定将构成崭新的IT人工智能作为计算机科学的以及应用也将为人们的生产生活带来格局。在此背景下，本文对人工智重要内容，以研究机器人、图像识巨大的改变。与此同时，随着社会和能、大数据和云计算的融合发展和应别、语言识别、语言处理等方面为经济的快速发展，人工智能、大数据用进行了深入探析。主，属于研究开发用于人类智能模进行合理的应用，能够对不同的施3.4　信息技术在水利工程验收阶度符合实际需要，必须加强水利工工环节进行明确的分类，并能够为段的应用程建设管理工作的实施，同时在管管理工作建立完善的管理信息数据水利工程竣工阶段同样是重要理的过程中合理地使用信息技术，系统提供帮助。另外，在进行施工的工作环节，在该工作环节中，需来促进管理水平的提高，为水力工设备的管理过程中，信息技术还能要对工程的整体质量及各个方面的程的质量提供保障，以此促进水利够对设备的各种信息进行全面性的工作进行验收，此时，合理地利用工程项目的发展更加完善。统计，并完成详细的记录，而且还信息技术，能够提升验收工作的进能够实现信息的共享，为施工人员度，在该环节中常用的信息技术是参考文献提供正确的引导。数据库处理技术，该技术能够在管[1]李国凡．论信息技术手段在水利工此外，信息技术还能够对设理工作中为管理模式的优化提供帮程建设管理中的应用[J]．工程技术研备的故障进行明确，为维修人员减助。由于工程验收环节会产生大量究，2019，4（8）：159-160．少了故障排查的难度。信息技术能的数据，想要实现全面性的验收，[2]王树成．信息化技术在农田水利工够完成对施工各个环节的全面性监必须对大量的数据进行处理和分程施工管理中的应用[J]．江西农业，控。例如，利用信息控制系统能够析，利用信息技术能够提高数据分2019（8）：61．[3]苗丰慧．信息化技术在水利工程建对相关设备进行监控，便于管理人析及处理的效率，并能合理地控制设管理中的应用[J]．农业科技与信员对设备的运行情况进行及时地掌数据分析的精确性，从而为验收工息，2019（7）：119-120．握，还能利用相关软件对施工人员作提供准确的数据支持，保证工程[4]王兴民．探讨信息自动化技术在水进行监控，了解其施工工艺及施工的质量能够满足社会的需求。利水电工程建设中的应用[J]．科技资讯，2019，17（5）：68-70．技术的操作情况，保证其严格按照要求进行施工，因此，信息技术的4　结语（作者系黄河勘测规划设计研究院利用对水利工程管理水平的提高有综上所述，水利工程是一项复有限公司助理工程师）着重要的作用。杂的工程项目，想要使其质量及进中国高新科技 2019年第53期·79·9月上发网站7.indd 792019/9/6 17:17:54Technology first 科技创新拟、延伸以及拓展的方法、技术和付费的资源共享模式，可以为用户应用系统的计算机科学分支。当提供高效、便捷、按需的互联网访前，随着社会和经济的快速发展，问模式。人们对人工智能的研究不断深入，而人工智能的理论和技术也逐渐趋2　人工智能、大数据和云计算向成熟，并在人们的生活和生产中的融合发展有着十分广泛的应用。从本质上而近几年来，随着信息技术飞言，人工智能即模拟人类思考和意速发展，我国各种运营商、金融企识的信息过程，其目的在于赋予科业、大型央企、国企等诸多领域的技产品人类甚至超越人类智能的思数据量也以几何级的速度不断增考能力。人工智能所涉及的专业领长。海量数据信息的快速膨胀不仅域十分广泛和复杂，从事人工智能使得数据处理性能面对着前所未有研究的人员除了具备优秀的计算机的压力，多样化的数据信息也不断操作能力，还要掌握心理学、哲学对数据处理手段提出新的要求。一等诸多专业方面知识。批批新系统的建设构成了大量的数1.2　大数据据孤岛，这为企业数据运用和挖掘大数据指的是需要经过处理带来了很高的挑战。面对海量的数才能具备更高决策力、洞察力的海据信息，大数据技术在各个领域的量、多样化数据信息。大数据的形应用十分广泛，人们一直在挖掘其式十分多元，通过多种来源汇聚在商业价值。而云计算作为大数据技一起进而构成庞大的数据信息组。术应用的前提，当前其在存储和计大数据技术的核心不在于海量数据算上取得了飞速的发展，尤其是人信息的搜集和掌握，而是通过对海工智能和物联网的逐渐普及使得连量数据信息进行处理和加工来提高接网络设备数量快速增加，使得云其价值，进而使得大数据可以具备服务在智能生活中占据着越来越高较高的决策力、洞察力以及流程优的地位。在“互联网+”时代背景化能力。在技术方面，大数据和云下，云计算已然成为数字经济时代计算有着密不可分的关系，大数据下的基础设备，未来随着云计算应所包含的海量数据信息必须通过云用广度和深度不断提高，“用云计算进行处理才能实现增值，如云量”将成为评估行业数字经济发展计算的云储存、并行计算、分布式水平高低的重要依据。另外，在人处理、分布式数据库都是处理大数工智能方面，其发展完全超乎人类据的常见技术。的预期，除了在内涵上日趋多样1.3　云计算化，其细分领域也十分多元，例如云计算的实现依托于互联网相语音识别、用户画像、无人驾驶关服务的发展、应用和叠加，主要等。在人工智能的发展过程中，大借助互联网提供动态易扩展虚拟资数据可以帮助人工智能作出精准判源。云计算拥有强大的数据计算能断，云网络则可以保存大数据运算力，在气候预测、经济发展等方面结果并进一步推动人工智能。对于有着十分广泛的应用。根据美国国人工智能而言，其只有深度学习才家标准和技术研究院（NIST）的定能为长远发展提供源源不断的动义，云计算即一种结合使用量进行力，而大数据和云计算则为深度学·80·中国高新科技 2019年第53期9月上发网站7.indd 80习提供着重要支持。因此，在整个人工智能、大数据和云计算的发展中，云计算为大数据的发展提供了坚实的基础，而云计算和大数据的融合则为人工智能的发展提供着源源不断的动力，与此同时，人工智能的持续发展又为大数据和云计算发展带来了更多的机遇，这三者之间交叉日渐频繁，界限也日渐模糊，所呈现的融合发展的趋势不可阻挡，人类也必将迎来崭新的信息技术时代。3　人工智能、大数据和云计算的融合应用融合技术的应用不仅体现在企业的IT部门，随着数据处理技术的快速发展，企业中越来越多的项目组和分支结构开始应用数据平台，并用其解决企业面临的各种问题，如基础平台的资源隔离、管理分配等。本文以中国邮政大数据平台建设为例，以Transwarp Data Hub（TDH）和Transwarp Operating System（TOS）为基础架构系统，构建了新型逻辑数据集市和仓库，可以彻底替代Oracle和Teradata。3.1　总体架构中国邮政主要包含储蓄、邮务、理财等业务，大数据平台包含量收、名址、邮务等系统，通过建立从具体业务到高层管理到精准决策的智能分析系统，可以实现邮政各种业务的精细化管理和深度分析，并为各级管理人员评估风险和收益、掌握整体经营情况进而作出精准决策提供数据支持。中国邮政大数据平台的基础服务集群域主要分为５个，分别是数据湖集群域、数据仓库集群域、省服务集群域、机器学习实验室集群域以及“开发+测试+培训”集群域。其中，数据2019/9/6 17:17:55湖集群域主要用于数据归集，数据湖又包含了源数据池、加工清洗数据池、整合数据池；数据仓库集群域属于逻辑数据库，其作用在于迁移改造原数据仓库和数据集市；省服务集群域主要服务于省市分公司开发人员；机器学习实验室集群域属于容器化多租户大数据平台，其可以实现数据查询、算法研究等；“开发+测试+培训”集群域主要为应用开发相关人员提供多租户大数据与机器学习平台。在此基础上，中国邮政大数据平台实现了数据管理、服务管理、运营管理、安全管理4个方面的统一，有效实现了量化风险、决策支撑、流程优化、管理精细、交叉营销等功能。3.2　数据集市和数据仓库的完整迁移中国邮政大数据平台首次采用了Hadoop技术，彻底取代了Oracle和Teradata，构建了崭新的逻辑数据集市和数据仓库系统。当前，中国邮政大数据平台量收系统数据使用空间约30TB，在线用户数量仅5万，可以同时支持约1000张报表的随机查询，单日报表查询频次最高可以达到40万次。在数据集市和数据仓库的迁移过程中，量收管理系统的整个架构，包括ETL、ESB、BI等工具都没有发生改变，这样可以极大降低迁移风险。中国邮政大数据平台全面支持Oracle数据表模型，也支持Teradata模型的大部分，不过在从Teradata数据库向Hadoop平台迁移时，需要修改很多特殊语法，例如Hadoop平台并不支持Sample函数，在遇到类似以下语句：select * from A9月上发网站7.indd 81Technology first 科技创新4　结语综上所述，随着信息技术的快速发展，企业数据处理需求不断提升，从海量数据信息的汇集，到分布式技术处理数据信息，再到大数据、人工智能和云计算不断交叉融合，三者之间不断相互影响并改图1　迁移前后业务测试性能对比变着人们的生活。在崭新的智能时代，大数据、人工智能和云计算融sample(#{level,jdbcType=VARC合以后带来的新模式、新平台、新HAR}) 思维会越来越多，未来科技赋能业务将得到有效落地，资源共享、数Hadoop平台即会出现报错。另据处理和分析、统一管理等也将外，在模型改造上，原有业务逻辑为企业提高管理效率提供更强的不发生改变，知识对基础层、接口支持。层、汇总层模型进行轻微改动，这样可以有效控制迁移成本。数据集参考文献市和仓库的迁移使得中国邮政大数[1]严格非．人工智能、大数据和云计据平台性能有了很好的改善，具体算的融合发展[J]．中国战略新兴产如图1所示。业，2018（8）：1．3.3　基于容器云的大数据和机器[2]朱珺辰，高俊杰，宋企皋．大数据、学习平台的全面应用人工智能与云计算的融合应用[J]．信息基于大数据平台实现的多租技术与标准化，2018（3）：44-47.[3]刘芳．人工智能、大数据和云计算户新模式，实现了容器云和机器学的融合发展研究[J]．计算机产品与流习平台的全面应用。在此基础上，通，2017（11）：161.集团可以对企业内部云平台统一作[4]林梓焕．人工智能大数据和云计算出部署，对集团、省市局等各种租的融合发展[J]．居舍，2018（10）：166.户提供资源分配、存储、计算、隔[5]汪京坪．基于大数据结合云计算的离，不同租户可以拥有独立的资源人工智能创新发展[J]．电子技术与软环境并实现资源共享。例如，集团件工程，2018（20）：242.或省市局租户可以通过平台进行资[6]张力平．人工智能、大数据和云计算的融合发展[J]．电信快报，2017源发布或者搜索申请，大数据分析（9）：27.工具通过数据分析和挖掘具体执行[7]李玉玲．人工智能、大数据和云计数据分析、应用发布等。通过基于算的融合发展初探[J]．电脑编程技巧容器云的大数据和机器学习平台，与维护，2019（5）：106-107，128.集团多样化数据处理、海量数据处（作者系中国电信股份有限公司广东分理、跨板块业务处理、跨专业业务公司高级工程师，硕士）处理的需求均得到了满足，集团通过全面梳理数据信息实现了资产的科学、合理、有效管控。中国高新科技 2019年第53期·81·2019/9/6 17:17:55