浅析大数据技术的发展与应用

2019年4月浅析大数据技术的发展与应用杨家琳（天津市第二十一中学，天津市300052）

起到越来越重要的作用。本文【摘要】大数据的快速发展，以及它在各方面带来的应用也逐渐增多，无形中大数据已经融入到我们的生活中，

以及大数据近代在世界的发展历程和国内发展立场，从中主要介绍大数据的概念，数据大、速度快、数据类型多、价值密度低、真实性五大特点，

医疗、交通行领域的应用及未来面临的挑战。可看出大数据在短短十几年间发展之快，用处之广，简单介绍大数据在教育、

行业应用【关键词】大数据；云计算；发展历程；

【中图分类号】【文献标识码】【文章编号】（2019）TP393.08A1006-422204-0032-02

引言随着云时代的到来袁数据变得庞大渐渐的超出传统数据软件的能力范围袁从而促使人们必须研发一种新的技术与管理体系能快速完成任务袁由此诞生了大数据技术遥大数据已成为我们生活中最熟悉不过的词语袁在各行各业中袁大数据都起到了重要的作用遥与传统数据相比袁大数据的规模更大袁流转速度更快袁数据类型更加多样遥大数据技术的发展使我们的生活更精准尧更科学尧更高效遥通过研究大数据的发展历程和应用领域可以更好地了解大数据技术并将其应用到实际研究中遥

张引在文献[1]中主要介绍了大数据分析方法尧模式及工具袁将大数据应用划分成了六个领域袁并对大数据所面临的困难和挑战进行了总结曰孟小峰在文献[2]中介绍了大数据的产生及应用袁描述了大数据的处理框架和关键技术袁总结大数据发展给人们带来的好处袁理性分析大数据的不足以及未来讲遇到的问题曰陈颖在文献[3]中简单介绍了大数据的概念及特点袁详细描述了大数据主要的发展历程和现状袁以期对大数据研究的相关人员提供一些参考遥

本文首先介绍大数据的概念及特点袁然后详细描述大数据的发展历程袁大数据的产生及发展现状袁重点分析大数据所是任意字符[3]袁比如野123456冶袁野abcd冶等遥但是不建议设置得太简单或者具备某种规律袁这样会比较容易被他人破解遥

约定签名方式院签名方式也是收发双方要事先约定好的袁这个签名是对原始数据的内容进行一些调整遥比如约定在每一项内容中间加竖线遥那么野账户院张三袁方式院存款袁金额院1000元冶就被转化成野张三|存款|1000冶遥签名方式非常灵活袁只要双方约定好就可以袁但是建议不要过于复杂袁最好具备一些规律袁否则容易造成误解遥

加密算法院加密算法就是生成数字签名的加密算法袁可以是可逆加密算法袁也可以是不可逆加密算法遥

具备了以上4个必要条件袁就可以生成数字签名了遥方法就是将原文按照约定签名方式转化后的内容和签名秘钥进行一定的融合袁然后使用加密算法得到密文遥比如原文转化后的内容是野张三|存款|1000冶袁签名秘钥是野123456冶袁将它们两者进行拼接袁得到野张三|存款|1000|123456冶袁再使用加密算法得到密文遥接收方在获得原始数据和签名后袁按照同样的签名方式对原始数据签名袁然后对比与发送过来的签名是否一致袁不一致则认为数据来源不可信赖袁从而保障了系统安全[4]遥

为什么需要如此复杂的签名过程呢钥原因很简单袁密文结合了原始数据袁签名秘钥袁签名方式和加密算法4种因素遥不法分子即使破解了其中的一个因素袁也依然无法得到正确的签名袁除非不法分子同时知道了签名秘钥袁签名方式和签名算法遥使用数字签名大大降低了系统的风险遥

应用的领域袁从各个行业分析大数据与其相结合的应用现状及目前具有的优点和存在的问题及挑战遥

1大数据技术概述1.1大数据的概念

大数据在人们眼中是一个相对抽象的概念袁并没有一个统一的定义袁大数据一般是指传统数据软件无法在一定时间范围之内获取并高效处理分析的大量数据集合袁它具有与传统数据不同的特点遥

1.2大数据的特点

大数据主要分为5个特点袁分别为数据量大渊Volume冤尧速度快渊Velocity冤尧数据类型多渊Variety冤尧价值密度低渊Value冤尧真实性渊Veracity冤遥大数据的特点如图1所示遥

数据量大是指数据的获取尧处理尧存储的规模都很大遥速度快是指对数据的搜集与处理能在很快的时间内完成遥数据类型多是指与传统数据相比袁大数据的数据类型更多袁不仅包括结构化数据袁还包括半结构化尧非结构化数据遥价值密度低是指所拥有的数据量多而复杂袁在大量繁杂的数据中只有少量的有效数据袁若用正确方式利用有效数据袁则将给人们带来

目前互联网环境不是非常健康遥互联网的应用袁如果不采取各种手段来保护自己系统的网络安全袁将会遭到各种各样的恶意攻击遥但是目前的加密算法的安全性取决于当前设备的计算能力遥如果有一台计算力超强的计算机可以在几小时内破解某个加密算法袁那么这个加密算法就不再是一个安全的加密算法遥所以随着设备计算能力的不断提高袁加密算法也需要不断地进行改进和发展袁否则互联网将不再安全可靠袁甚至将成为个人信息泄露的重灾区遥所以研究加密解密算法和网络安全手段目前来看是十分必要的袁长远去看袁这也将是一个持续进行和持续研究的方向遥

[1]张裔智袁赵毅袁汤小斌.MD5算法研究[J].计算机科学袁2008袁35渊7冤院295-297.

[2]管莹袁敬茂华.DES算法原理及实现[J].电脑编程技巧与维护袁2009渊4冤院5-7.

[3]易红军袁佘名高.MD5算法与数字签名[J].计算机与数字工程袁2006袁34渊5冤院44-46.

[4]洪琳袁李展.数字签名尧数字信封和数字证书[J].计算机应用袁2000袁20渊2冤院41-42.

4结论与展望参考文献

收稿日期：2019-3-17

2019年4月图1大数据的特点

2诸多好处遥真实性是指袁数据的质量是真实有效的遥

2.1大数据的成为20国当时世纪际主人们90要主耳年代发展要熟能袁历发展历程详几程

的乎词语各个袁领域从此数据数据爆棚袁从而商业智能员2001年袁美国开发大数据模型袁接着被开始部分被计人重算机视科研遥

人META认可三渊Variety维式集袁渊冤袁3Vs团渐渐地让这冤袁大三其数据在互联网个特分别有点为了它信息技术中有了自己的立场袁后来对速数据度的最渊进Velocity初定义行模型冤尧袁将大数据的定义为描数量述并渊Volume对其未冤尧来种面类临的机遇和挑战进行分析遥云计算有强大的计算能力和存储能力袁对大据量2006数据Hadoop身设计年了袁的发展Google起一套计提到算出了推动作用袁随着时间推移遥

工云具计与算的想法并根据自身的内部数术种类变已得是很多当今袁最具代表性的技术并且具有数据云库计袁尧数据处算并开把源此想数据法理器袁等云对外开放袁诸计多算功的能技袁这都要得及各2008力个领域年于都袁叶Google开始Nature遥

关注曳杂大志数据开始袁发Watts布关在于杂大志数据上的发表专刊文袁章世袁界使大数据成为一门自然科学袁叶Science曳在2011年推出有关大数据的专栏袁两个著名杂志都是围绕着大数据面临的技术上的问题或被认2011者挑战可袁定年义袁由IDC展开言3Vs公司论遥

变发为布4Vs报告袁大袁数据能够表示价值快速收集渊Value冤这一信息特袁点并提取重要信息加以有效分析袁使搜所收集信息完全发挥它的价值袁则将带来巨大经济回复袁同时袁大数据也融入到了人们的生活中袁人们开始计划将大数据运用到各个行业袁而且发布很多insey&Company有关大数据对人们生活影响的文力的前冤发布报告野大数据院下章一遥个麦肯锡创新尧竞争公司和渊McK生产鄄术上2012沿冶袁升为国年对大家袁因战为数据略美袁此国政府的的定义进后大数据宣行完为布政府两善亿遥

服美务元遥的联投合资国发袁大数据布了技一部关于大数据的白皮书叶大数据促发展院挑战与机遇曳袁使用大数据成为书袁鼓励2014全人们使用大年球袁美的国发思想数据布潮叶流大遥

袁让数据大数据院抓住融入生机遇尧活守尧护推动价生值曳的白皮坛2.2都2015把国内大数据年以主要作后为袁发展重要许多历议全程

题球进性行主讨要论会遥

议如达沃斯全球活经遥

济论技术2011被年袁信息部将物联网发布到十二五计划上委员2012提出会袁发年袁布袁其中了中国计包含叶2013算大袁信息处理年中国机数据学会的重要组成部分遥

大渊数据CCF技术冤成立与了产CCF大数据专家信息2014学院尧年国袁家国实务验院室发成立布政府报告中了数据科学首次院袁提业并到发展开始大数据白皮对大遥书数据清曳遥

华未

通信设计与应用33

来的发展据管2017与理机构年挑战袁袁多我国进所大行大数据深入学已成立产研究业进遥

野数据入爆科发学期与大袁国内成立数据技术多家冶大本数科专业33.1大数据的遥

从教育传统行主要应用教业

育到在线教育的变化使大数据在教育方面的应用叹为观止袁作为学生袁它能通过学生学习的反馈准确分析所学知识的掌握程度袁并对每位学生的知识掌握程度推荐有效方法袁使学生完全掌握知识袁不光在课下袁课上袁还能通过摄像头观察每位学生上课时的表情分析课上的吸收效率遥作为老师袁不仅在学生测试成绩上来判断教的好坏袁而且在学生课下的日常反馈也是判断老师教学水平的重要标志袁大数据能在诸多方面进行分析袁对老师进行评价遥

同时大数据也在教育行业面临挑战袁不同数据并不互相协助袁从而无法有效利用数据袁教师及学生的个人数据保护也是3.2当前面临的问题遥

大医疗行数据在业

医疗行业也有许多应用患者能在手机上不仅能自由选择大夫而且能查询病状获得药方袁人们可佩戴智能手环时时监察自己的身体状况从而确保身体健康袁在医院袁患者可对大夫进行反馈袁反馈的结果通过大数据分析决定大夫的工作水平袁大数据可对医生的工作进行简化袁省去看病环节袁直接对患者症状分别推送药方遥得到患者病状描述不完从而不能准确获取有效信息袁不能达到医疗目的袁以及不同感应器获3.3取的大交通数据数据行差异在业

使数据无法完全利用遥

交通行业的应用已完全渗入人们的生活之中袁导航功能的出现解决了人们在道路上的大部分问题袁它可通过卫星地图数据对道路情况进行实时分析袁快速分析出耗时短路径短的道路袁在交通管理上袁及时收集客流量和车流量袁4做好结提前当前大论预警和疏导交通工作遥

数据的发展处于起步阶段袁随着技术不断发展袁大数据技术在未来更多行业中起到重要作用遥本文通过大数据的概念特点进行描述袁发展历程进行介绍袁简单分析当前所应用的教育尧医疗尧交通领域给人们带来的好处遥大数据在当今时代快速发展袁它不知不觉中为人们生活提供更的便利袁悄无声息地改善人们的生活袁让我们一同期待大数据带给我们更好的未来遥

[1]参考文献

展张引袁陈敏袁廖小飞.大数据应用的现状与展[2]袁展孟2013小峰袁50望[J].计算机研究与发袁慈渊S2祥冤院216-233.

[3]袁陈2013颖.袁大50.大数据管理院概念尧技术与挑战[J].计算机研究与发数据渊01冤院发展146-169.

历程综述[J].当代经济袁2015渊08冤院13-15.

收稿日期：2019-3-11