泛联官网>>

数据挖掘在电子商务中的应用与实现

时间:2008-06-07 14:57来源:互联网 作者:佚名 点击:
分享到:
  • 点击图标下载本文附件-->:       注:若已有正文则附件为空
数据挖掘技术作为解决“数据爆炸”时代出现的最有效手段之一,受到了企业界的极大关注。如何最大限度地利用企业各个部门多年来在数据库系统上积累下来的大量数据进行整合及二次开发,本文针对数据库营销系统,研究了数据挖掘工具、统计分析工具和客户关系管理工具的协同运用,以及对数据挖掘所采用的技术框架、数据资源等进行了深入的分析。
  近十几年来,无数个数据库被用于商业管理、政府办公、科学研究和工程开发等,这一势头仍将持续发展下去。于是,一个新的挑战被提了出来:在这被称之为信息爆炸的时代,如何才能不被信息的汪洋大海所淹没,从中及时发现有用的知识,提高信息的有效利用率呢?要想使数据真正成为一个公司的资源,只有充分利用它为公司自身的业务决策和战略发展服务才行,否则大量的数据将可能成为包袱,甚至成为垃圾。因此,面对“人们被数据淹没,却饥饿于知识”的挑战,数据挖掘和知识发现(DMKD)技术应运而生,并得以蓬勃发展,越来越显示出其强大的生命力。
  同时在日常生活中我们经常会遇到这样的情况:超市的经营者希望将经常被同时购买的商品放在一起,以增加销售;保险公司想知道购买保险的客户一般具有哪些特征;医学研究人员希望从已有的成千上万份病历中找出患某种疾病的病人的共同特征,从而为治愈这种疾病提供一些帮助。
  对于以上问题,现有信息管理系统中的数据分析工具无法给出答案。因为无论是查询、统计还是报表,其处理方式都是对指定的数据进行简单的数字处理,而不能对这些数据所包含的内在信息进行提取。随着信息管理系统的广泛应用和数据量激增,人们希望能够提供更高层次的数据分析功能,从而更好地对决策或科研工作提供支持。
  正是为了满足这种要求,从大量数据中提取出隐藏在其中的有用信息,将机器学习应用于大型数据库的数据挖掘(Data Mining)技术得到了长足的发展。
  
  一、数据挖掘技术和电子商务的概念
  
  数据挖掘(Data Mining)就是从大量的、不完全的、有噪声的、模糊的、随机的原始数据中,提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。或者说是从数据库中发现有用的知识(KDD),并进行数据分析、数据融合(Data Fusion)以及决策支持的过程。人们把数据看作是形成知识的源泉,数据挖掘就像从矿石中采矿、沙石中采金一样,从浩瀚的原始数据海洋中,淘出自己所需要的一点点信息。同时原始数据可以是结构化的,如关系型数据库中的数据;也可以是半结构化的,如文本、图形、图像数据;甚至是分布在网络上的异构型数据。发现知识的方法可以是数学的,也可以是非数学的;可以是演绎的,也可以是归纳的。发现了的知识可以被用于信息管理、查询优化、决策支持、过程控制等,还可以用于对数据自身的维护。因此,数据挖掘是一门广义的交叉学科,它汇聚了不同领域的研究者,尤其是数据库、人工智能、数理统计、可视化、并行计算等方面的学者和工程技术人员。
  电子商务是指以Internet网络为载体、利用数字化电子方式开展商务活动。随着网络技术和数据库技术的飞速发展,电子商务正显示越来越强大的生命力。电子商务的发展促使公司内部收集了大量的数据,并且迫切需要将这些数据转换成有用的信息和知识,为公司创造更多潜在的利润。利用数据挖掘技术可以有效地帮助企业分析从网上获取的大量数据,发现隐藏在其后的规律性,提取出有效信息,进而指导企业调整营销策略,为客户提供动态的、个性化的高效率服务。
  数据挖掘概念就是从这样的商业角度开发出来的。数据挖掘涉及的学科领域和方法很多,其核心技术历经了数十年的发展,其中包括统计、近邻、聚类、决策树、神经网络和规则等方法。今天,这些成熟的技术在电子商务中已进入了实用阶段,并取得了良好的效果。本文结合数据挖掘技术在电子商务中的应用,从挖掘任务和数据信息两个角度进行分析,指出各种数据挖掘技术适用的场合,以便开发出切实可用的数据挖掘系统。
  
  二、数据库与数据挖掘技术的发展与研究
  
  数据库技术在经过了80年代的辉煌之后,已经在各行各业成为一种数据库文化或时尚,数据库界目前除了关注分布式数据库、面向对象数据库、多媒体数据库、查询优化和并行计算等技术外,已经在开始反思。数据库实质的应用仅仅是查询吗?理论根基最深的关系型数据库最本质的技术进步点,就是数据存放和数据使用之间的相互分离。查询是数据库的奴隶,发现才是数据库的主人。
  由于数据库文化的迅速普及,用数据库作为知识源具有坚实的基础;另一方面,对于一个感兴趣的特定领域——客观世界,先用数据库技术将其形式化并组织起来,就会大大提高知识获取起点,以后从中发掘或发现的所有知识都是针对该数据库而言的。因此,在需求的驱动下,很多数据库学者转向对数据仓库和数据挖掘的研究,从对演绎数据库的研究转向对归纳数据库的研究。
  专家系统曾经是人工智能研究工作者的骄傲。专家系统实质上是一个问题求解系统,目前的主要理论工具是基于谓词演算的机器定理证明技术——二阶演绎系统。领域专家长期以来面向一个特定领域的经验世界,通过人脑的思维活动积累了大量有用信息。
  在研制一个专家系统时,知识工程师首先要从领域专家那里获取知识,这一过程实质上是归纳过程,是非常复杂的个人到个人之问的交互过程,有很强的个性和随机性。因此,知识获取成为专家系统研究中公认的瓶颈问题。其次,知识工程师在整理表达从领域专家那里获得的知识时,用if-then等类的规则表达,约束性太大,用常规数理逻辑来表达社会现象和人的思维活动局限性太大,也太困难,勉强抽象出来的规则有很强的工艺色彩,差异性极大,知识表示又成为一大难题。此外,即使某个领域的知识通过一定手段获取并表达了,但这样做成的专家系统对常识和百科知识出奇地贫乏,而人类专家的知识是以拥有大量常识为基础的。人工智能学家Feigenbaum估计,一般人拥有的常识存入计算机大约有100万条事实和抽象经验法则,离开常识的专家系统有时会比傻子还傻。例如战场指挥员会根据“在某地发现一只刚死的波斯猫”的情报很快断定敌高级指挥所的位置,而再好的军事专家系统也难以顾全到如此的信息。
  以上这3大难题大大限制了专家系统的应用,使得专家系统目前还停留在构造诸如发动机故障论断一类的水平上。人工智能学者开始着手基于案例的推理,尤其是从事机器学习的科学家们,不再满足自己构造的小样本学习模式的象牙塔,开始正视现实生活中大量的、不完全的、有噪声的、模糊的、随机的大数据样本,也走上了数据挖掘的道路。
------分隔线----------------------------
顶一下
(310)
100%
踩一下
(0)
0%
最新评论 查看所有评论
发表评论 查看所有评论
请自觉遵守互联网相关的政策法规,严禁发布色情、暴力、反动的言论。
评价:
表情:
用户名: 密码: 验证码:
发布者资料
admin 查看详细资料 发送留言 加为好友 用户等级:注册会员 注册时间:2010-07-19   最后登录:2014-09-10
推荐内容