摘要:在市场信息资源竞争环境下,会滋生一些不良行为,对云计算中的数据安全造成严重的威胁、资源流失等,如破解密码、僵尸网络等会使得原有的防火墙系统由最初的账号、密码泄露,导致用户找不到相应的系统文件,对工作、学习造成严重的影响。因此,不能片面的认定云计算技术能够准确无误的保障数据信息安全,需要充分的熟悉掌握存在的安全隐患,防患于未然,做好相应的预防及应对措施,才能保障云计算的顺利运行和可持续发展。该文则对云计算技术下的数据挖掘平台设计及技术展开分析。
对于数据挖掘平台设计中,可以基于当前云计算技术发展优势,而数据挖掘与数据是密不可分的,运用云计算技术,有助于优化数据挖掘平台设计工作,以提升数据挖掘平台设计性能。以下本篇对此做具体分析。
1云计算技术的应用价值
在数据挖掘平台设计中,数据挖掘(Data Mining),就是可以在实际工作中,针对大量、不完全数据,以及有噪声、模糊的实际应用数据之中[1],能够去有效提取在其中的隐含的数据,这些数据均是人们事先所不知道的数据,但是对于这些数据中,又潜在存在有用的信息;而对于这个发现新数据、信息知识过程,就是数据挖掘的过程,也成为数据库中的知识发现KDD(Knowledge Discovery in Databases)。对于数据挖掘平台设计中,运用云计算技术,与传统数据挖掘相比,采取云计算技术设计实现的数据挖掘平台,能够通过“云”中的多个资源,去完成数据挖掘的工作,可以使数据资源在该数据挖掘平台中得到充分的利用,提高当前数据挖掘的效率[2]。同时,基于云计算技术的数据挖掘平台,其设计意义重大,可以提高数据挖掘效率的同时[3],还能够克服实际中网格环境下挖掘数据的弊端,实现面向商业应用的数据挖掘工作,现实中更具实用价值。
2数据挖掘系统设计意义
对于本研究项目中,基于通信资源数据挖掘设计挖掘平台。数据挖掘总体可以分为数据准备、数据挖掘两个大的阶段[4]。数据挖掘平台设计中,根据数据特点运用云计算技术,对数据进行过滤、转换等操作,有助于提升系统设计性能,满足系统设计需求。对于该系统设计中,针对海量用户数据信息,利用数据挖掘技术,基于云计算技术,可在计费数据、业务订购数据、网管数据等海量用户数据中发现商业信息,为通信市场的精准营销打下基础[5]。在系统设计中,运用云计算技术实现数据挖掘, 将云计算技术融入数据挖掘中,采用分布式计算(Map/Reduce)概念,能够将大数据集和挖掘任务分解到多台计算机上并行处理,以确保数据挖掘平台设计符合实际需求。
3云计算技术下的数据挖掘平台设计及技术
3.1 系统总体设计
在云计算技术下,设计数据挖掘平台,采取三层结构,以数据预处理、云计算以及数据挖掘平台为分层,优化提升该平台实现数据挖掘的功能。系统设计结构如下图所示:
图1 数据挖掘系统结构
对于该平台设计中,在数据预处理层,能够存储分布式数据文件,实现对平台的分布式系统管理。对于云计算层,可以对各个数据挖掘步骤及模块总控、调度[6];对原始数据进行预处理以得到挖掘数据。对于数据挖掘平台,可以实现具体应用,以确保该平台设计符合实际需求。
3.2 系统功能设计
运用云计算技术,设计数据挖掘平台,该平台具备多种数据挖掘功能,由数据收集模块、数据预处理模块、模式规则选择模块、应用接口模块四部分组成。如下图所示:
对于该系统的数据收集模块,其主要的功能,就是可以负责收集在该平台服务器端中的数据,同时也包括客户的一些登记资料,然后就能够运用文本方式,返回这些收集的数据。
对于系统中的数据预处理模块,主要功能则是,能够预处理返回数据信息,去除那些信息中无用的、冗余数据,以便节约系统数据挖掘时间[7]。
在数据挖掘平台的模式规则选取模块,可以获取各个站点通用的模式,是一种学习策略。
在系统的应用接口模块,其功能是可以实现数据与该数据挖掘平台的连接。
3.3 平台数据库设计
数据库设计充分利用关系数据库特征,减少数据冗余,数据只在一个地方存储,通过主键和外键对应动态生成所需视图,方便程序编写查询检索代码。部分表键对应关系如下所示:
平台中,Reduce可以接收来自不同的map任务数据,同时,其每一个任务中传来的数据,也均是有序存在的[8]。在该数据挖掘平台中,若其reduce端数据量接受较小,可以将其直接存储到内存中,若是数据量超过缓冲区比例,可以将数据进行合并,将其写到磁盘之中。由于数据库的编程语句太多,限于篇幅,仅在此介绍创建机架表的相关语句:
CREATE TABLE [dbo].[机架表](
[Num] [int] IDENTITY(1,1) NOT NULL,
[所属机房] [int] NULL,
[SSType] [int] NULL CONSTRAINT [DF_机架表_SSType] DEFAULT (0),
[WORLD_X] [float] NULL,
[WORLD_Y] [float] NULL,
[WORLD_Z] [float] NULL,
[PIC_PATH] [nvarchar](50) NULL,
[TEXTURE_TOP] [nvarchar](50) NULL,
[TEXTURE_BOTTOM] [nvarchar](50) NULL,
[TEXTURE_LEFT] [nvarchar](50) NULL,
[TEXTURE_RIGHT] [nvarchar](50) NULL,
[TEXTURE_FRONT] [nvarchar](50) NULL,
[TEXTURE_BACK] [nvarchar](50) NULL,
[XL] [int] NULL,
[YL] [int] NULL,
[ZL] [int] NULL,
[Angle] [int] NULL,
[IsCreated] [int] NULL,
[Vindicator] [int] NULL,
[序号] [int] NULL,
[编号] [nvarchar](100) NULL,
[名称] [nvarchar](100) NULL,
[类型] [int] NULL,
[设备型号] [int] NULL,
[生产厂家] [int] NULL,
[投运日期] [smalldatetime] NULL,
[使用年限] [int] NULL,
[运行状态] [int] NULL,
[备注] [nvarchar](1000) NULL,
CONSTRAINT [PK_机架表] PRIMARY KEY CLUSTERED
( [Num] ASC)WITH
(PAD_INDEX = OFF,
STATISTICS_NORECOMPUTE = OFF,
IGNORE_DUP_KEY = OFF,
ALLOW_ROW_LOCKS = ON,
ALLOW_PAGE_LOCKS = ON)
ON [PRIMARY]
) ON [PRIMARY]
3.4 数据挖掘平台算法实现
将云计算融入数据挖掘,将计算扩展到无限规模的机器集群上进行。在Map/Reduce框架中,每一次计算请求,均是以此作业。其数据挖掘中,可以将数据挖掘作业拆分为若干个不同的Map任务, 然后将其分配到数据挖掘平台中不同的机器中执行;当完成所有的Map任务后,则可以进入下一个数据挖掘步骤,将这些中间文件合并,输出这些文件;同时,该数据挖掘平台中,又将生成若干Reduce任务,循环以上算法,最后可生成所需的数据挖掘目标文件。运用该算法设计数据挖掘平台,大大提高数据挖掘的灵活性,提升数据挖掘效率。明确数据挖掘的目标,并对挖掘目标建立恰当的模型。
4系统设计的相关建议
云安全检测技术是根据文件、邮件以及网页信誉评估数据库,联合安全网关进行全自动、全智能安全防御,所有的数据实现多处服务器部署,最大限度内保障数据安全。其应用规模已经涉及人们日常生活的方方面面,而且在通信、IT产业、各大运营商以及政府的大力扶植下(证词、资金、人力等各方面),应经成为众所周知的“新鲜事物”(获得了广大用户的认同和接受),具有宽广的发展前景,发展态势也比较良好[9]。在其发展中也需要注意以下方面:
1)验证、管理使用客户的身份以及访问权限(方式不受限制)
要建立完善用户身份、使用权限的验证体系,通过各种各样的方式,审核用户的身份及使用权限是否符合相关规定(通过互联网技术,定期地对所有用户进行访问,及时的更新用户资料),如可以进行大型机、移动、联通、社交环境等多方面的在线访问,除此之外,还要不断的提高洞察力,及时的判断是否用用资料的真实性,改善和控制用户的安全操作,规避数据安全风险。
2)建立数据安全威胁扫描机制
建立数据安全威胁扫描机制,保障不影响整个而操作系统的正常运作。具体做法为;架构IT基础,即创设保护服务器,有效地避免数据安全威胁。同时,需要对网络、大型机、虚拟服务器、服务器以及客户终端进行高质量的安全保护,在全方位、多层次的满足用户的各方面需求的基础上,在整个体系上实现根本性的数据安全威胁预防[10]。
3)加强数据管理(实时的更新、升级数据库)
实时的调查、审核、更新数据,适当地进行数据安全保护调整,并且利用多年的工作经验,综合分析评估各项数据,一旦发现数据漏洞,及时的修补(严格的遵循相关规定),做好保密工作,通过各种各样的方式尽可能的保障数据安全。
4)强化云计算相关工作人员的综合素质
在云服务安全管理工作中,不仅要强化工作人员的专业素质,更重要的是强化工作人员的思想道德素质,做好内部质量控制,通过各种各样的方式,锻炼工作人员的综合化素质,避免不安全行为的发生,用强大的、正确的价值观,鞭策工作人员认真工作,提高内部数据安全质量控制率。
总之,需要各个使用环节通力合作,最大限度的延长云安全检测生命周期的安全性,积极努力地控制好每一步的安全使用,将云计算对社会有益的部分充分地发挥出来,从而方便人们的生活,保障数据信息安全,造福人们社会。
5 结论
综上所述,本篇目的在于探讨云计算技术下数据挖掘平台设计及技术应用效益。通过研究设计云计算技术下数据挖掘平台,在云计算技术支持下,优化设计数据挖掘平台,以改革当前数据挖掘技术质量。结果证实,设计基于云计算技术的数据挖掘平台,不仅可以确保提升技术应用效益,也可以提升数据挖掘质量,提升数据挖掘平台稳定性,相比较传统数据挖掘方式,提高云计算机技术下数据挖掘的效率,提高达到20.0%。由此可见设计基于云计算技术的数据挖掘平台,不仅可以满足当前系统设计需求,也可以满足用户规模的扩大、应用目标多样等环境下数据挖掘的应用需求,提高数据挖掘的效率,具有实际应用价值。