大数据和数据挖掘的区别

数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的数据中提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。数据挖掘流程:定义问题:清晰地定义出业务问题,确定数据挖掘的目的。数据准备:数据准备包括:选择数据–在大型数据库和数据仓库目标中 提取数据挖掘的目标数据集;数据预处理–进行数据再加工,包括检查数据的完整性及数据的一致性、去噪声,填补丢失的域,删除无效数据等。

数据挖掘:根据数据功能的类型和和数据的特点选择相应的算法,在净化和转换过的数据集上进行数据挖掘。结果分析:对数据挖掘的结果进行解释和评价,转换成为能够最终被用户理解的知识。数据挖掘的技术,可粗分为:统计方法、机器学习方法、神经网络方法和数据库方法。统计方法,可细分为:回归分析(多元回归、自回归等)、判别分析(贝叶斯判别、CBR、遗传算法、贝叶斯信念网络等。

数据分析(数据挖掘)有什么用?

数据分析和数据挖掘在本质上是有一定区别的数据分析:是指运用合适的统计分析方法对采集来的规模巨大的数据进行分析,是一个为提取有用信息和形成结论而对数据加以详细研究和概括的过程;数据挖掘:是指用相关算法从大量的数据中探索隐藏在其中的信息的过程。我们可以简单的理解为,一个是从广度上对数据的处理过程,一个是从深度上对数据的处理过程。

数据分析和数据挖掘两者是相辅相成的一个可以通过大量数据的整理和解读来对企业的现状进行分析,并通过数据来反映目前企业管理的问题,并可将相应的问题原因进行深入追踪,最后确认相关的责任人,保证了数据的可追溯性,来辅助企业的整体管理和运营;而数据挖掘通过对企业隐藏价值数据的深耕,可以对企业未来发展导向,做出预判,为企业高层提供相应的参考支持;一个企业想要发展的更好,处理好当下企业发展中的问题是必要的,着眼于未来企业的发展是重要的,而数据分析和数据挖掘在企业中的实际运用,可以更好的支撑企业的运营管理,提供决策分析,帮助企业走的更高、更远。

人工智能这么火,数据挖掘和机器学习有什么区别?

工作后,我首先知道的概念是数据挖掘,而不是机器学习。因此我想数据挖掘这个概念更加广泛,属于工程应用范畴。5年前,我单位谈的都是数据挖掘,也举办这类竞赛,我们也掌握了数据挖掘的应用软件和数据挖掘标准流程,比如sas,clementine等数据挖掘平台。这些平台多数基于图形化操作,应用门槛较低。最近两年才开始谈机器学习,深度学习和人工智能等概念。

从我工作经历来讲,数据挖掘是比较大众化的说法,单位业务部门都知道这个概念,而机器学习属于专业化的说法,现在业务部门还不清楚机器学习究竟是什么。其实很难严格去区分两者的关系,看看最权威的数据挖掘和机器学习的教材,你会发现它们大部分都是重复的。既然是两个名称,那么它们的侧重点应该是不一样的。我的理解是数据挖掘的后端与机器学习的前端重复,机器学习的后端与深度学习的前端重复。

数据挖掘的前端是数据收集,清洗和处理等,和大数据有关,都涉及数据仓库等内容,但机器学习并不关心这些,也就是说数据这种原材料对机器学习来说应该要事先准备好了,机器学习更加注重学习问题,努力像人类一样学习知识,理解世界。它们最大的区别是:数据挖掘注重挖掘数据中的规律和知识,但不关心数据为什么会产生这些规律和知识,也就说你只看到表象,并不知道本质原因。

而机器学习恰恰相反,机器学习更加注重学习数据的生成机制,即数据究竟由什么概率模型生成的。有时机器学习也叫统计学习就是这个原因。数据的生成机制出来了,那么数据中的规律自然而然就知道了。正是因为机器学习注重数据的生成机制学习,产生大量的研究内容,发展出核机器,极大似然估计,最大熵模型,最大后验估计,期望最大化算法,高斯过程,概率图模型,变分推理等工具。


文章TAG:浅谈数据挖掘与机器学习  数据挖掘有什么用  浅谈  数据  数据挖掘  
下一篇