数据挖掘算法跟数据结构中的算法有区别吗

学习数据挖掘算法也有一段时间了,某天小伙伴问我,你学的这个跟我们之前学校学的数据结构算法有什么区别吗。我很快回答:当然有区别啊。其实过后细想,究竟有啥区别。就是因为这个问题,才有了今天这篇文章。

那么在我们开始前,可以先暂停阅读一分钟,回忆下已了解数据结构的算法还有数据挖掘算法,思考下这两种算法有区别吗。

下面我们称数据结构算法为经典算法。

首先我们来看看算法是什么

看看维基百科的定义

算法(algorithm),在数学(算学)和计算机科学之中,为任何良定义的具体计算步骤的一个序列,常用于计算、数据处理和自动推理。精确而言,算法是一个表示为有限长列表的有效方法。

好吧有点拗口,解释成大白话就是:

是解决问题的一系列步骤。

image

经典算法是什么

是对存储的数据进行处理,最终得到问题的答案。

再翻译成大白话就是

是对确定的数据 使用如数组,链表,队列,图等一系列存储结构进行存储,通过优化时间复杂度以及空间复杂度提高效率来对数据进行处理,得出问题答案的过程。

下面是一些重要的经典算法类别

搜索,排序,插入,更新。

常见的经典算法有

分治法,动态规划法,贪心算法等。

image

下面我们看下例子,加深理解。

例如,对已知的一组乱序的数字进行排序。又或者如果一个数组包含多个重复元素,如何找到这些重复的数字?

像上面的问题我们就可以运用选择我们熟悉的排序算法进行排序。对于第二个问题可以运用哈希表这种数据结构进行存储,然后遍历统计元素出现次数得出我们问题的答案。

我们可以发现,经典算法主要针对确定的数据进行合适的存储处理,并通过增删改查一系列操作后达到一个比较确定的结果,不存在不确定成分。同时非常注重效率。

数据挖掘算法是什么

数据挖掘算法是一类从数据中运用数学工具自动分析获得规律,并利用规律对未知数据进行预测的算法,注重数据来源以及数据规律。

一般分为三类:监督学习( Supervised Learning ),非监督学习( Unsupervised Learning ),还有强化学习( Reinforcenment Learning )。比较常见的数据挖掘算法有KNN算法,决策树,贝叶斯,线性回归,支持向量机,神经网络等等

image

下面我们看下例子,加深理解。

例如根据已有的房价信息预测某一楼盘的房价;或者给某部电影分类

像上面的问题我们可以运用线性回归方法对房价进行预测。可以根据电影特征使用KNN或者决策树等分类算法进行分类。

我们可以发现数据挖掘算法要解决的问题一般是没有精确解的,并侧重于从已有数据里面挖掘出未知的知识。像上面的例子,我们一开始并不知道房价 具体是有哪些影响因素,电影分类有哪些影响特性,全都是算法依据统计原理,数据规律自己在‘学习’中得出的,而且最后得出的结果也不一定确定

下面我们从不同角度再具体比较两种算法

从目的做比较

经典算法:对确定的数据进行显而易见的操作,并注重效率(时间复杂度和空间复杂度)。例如排序。

数据挖掘算法:建立一个模式,学会对未知的数据进行预测或者分类。

从应用数学的深度以及广度做比较

经典算法:初等数学;简单概率论,简单离散数学。

数据挖掘:高等数学;概率论,线性代数,数理统计,微积分,运筹学,信息论,最优化方法。

从评价标准做比较

经典算法:执行效率;时间复杂度,空间复杂度。

数据挖掘: 准确率;泛化能力,经验风险,结构风险。例如正确率,召回率。

从解决问题的种类做比较

经典算法:解决传统 CS 领域问题;对数据进行组织并进行'CURD'操作。

数据挖掘:预测,分类等未知问题;研究数据内在的规律。

举个通俗的例子,比如你要去某个风景区,经典算法可以跟你说怎么走最快,数据挖掘算法告诉你在那个风景区哪个地方可能最好玩。

总结

区分它们二者是为了让我们更好得运用它们解决问题。 实际操作上,运用数据挖掘算法时会大量应用经典算法来提升计算效率。

算法的核心是创建问题抽象的模型和明确求解目标,之后可以根据具体的问题选择不同的模式和方法完成算法的设计。 而经典算法和数据挖掘算法就是运用了不同的模式和方法去解决不同的问题而已,各司其职。

所以最后我们可以得出,经典算法和数据挖掘算法本质都是算法,但是运用的底层逻辑以及解决的问题的种类不一样。不同的时代有不同的问题要解决,没有高低之分,没有说哪个更重要哪个更不重要的说法。

本文首发微信公众号“哈尔的数据城堡”.

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 211,884评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,347评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 157,435评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,509评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,611评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,837评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,987评论 3 408
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,730评论 0 267
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,194评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,525评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,664评论 1 340
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,334评论 4 330
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,944评论 3 313
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,764评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,997评论 1 266
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,389评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,554评论 2 349

推荐阅读更多精彩内容