数据挖掘学习报告

1

数据挖掘的流程有,数据预处理、建立模型、构建网络、训练模型和加载模型预测。上面的代码显示了一个很简单的数据挖掘流程,模型使用的是Keras,并建构了多层神经网络。下面根据数据挖掘的流程,一个个步骤的详细说明。

2

数据预处理分为,数据清洗、数据集成和数据归约。数据清洗主要用来处理无关数据、噪声数据。筛选掉相关的缺失值和异常数据,为数据分析提供便利、提升精准度。而数据集成则是实体识别,将一个表的唯一性约束识别为某个具体的实物,并且将异名而同义的属性字段划上等号。而数据冗余在不恰当数据库设计里面很常见,不管是不满足第一范式的属性唯一约束,还是第二范式的传递依赖约束,都会造成数据的冗余,在数据处理环节对冗余的数据加以识别判断。而数据变换则是对数据进行规范化处理,使之处于一定的范围,方便进行综合分析。属性构造则是为了帮助用户提取更有用的信息,利用已有的属性集,并加入现有属性集合中。数据归约分为属性归约和数值归约,属性归约常见的有合并归约、逐步向前选择、逐步向后删除、决策树归纳和主成分分析等。而数据归约常见的方法有直方图、聚类、抽样、参数回归等。

3

上面就是一个很好的数据清洗的例子,首先通过需要的参数,选择对数据分析有影响的数据列,减少了分析时的负载和干扰,然后将异常值剔除,处理空值。

4

以上的图片就是一个参数归一化的例子,进行数据范围约束,减小分析干扰。

5
6

完成了数据的处理,下面就是模型的选取。

常见的模型有分类预测、聚类分析、关联规则分析、时序分析和离群点检测。常见的方法有回归分析、决策树和人工神经网络等。

回归分析又分为线性回归、非线性回归、逻辑回归、岭回归和主成分回归。线性回归是一种相对简单的回归模型。它是一个或多个自变量与因变量之间的线性关系,常使用最小二乘法求解模型系数。而非线性回归则说的是多个自变量与因变量之间的非线性关系。逻辑回归是将因变量的取值控制在1-0范围之间,表示取值为1的概率。而主成分分析法是根据主成分分析的思想提出来的,是对最小二乘法的一种改进,它是参数估计的一种有偏估计,可以消除自变量之间的多重共线性。

而图片使用的是基于神经网络的分析预测模型。dense是神经网络的一个常见的层,Dense(32, input_shape=(4,), activation='relu')表示的是输出维度是32,而输入维度是4,而激活函数使用的是relu。

model.add(Dropout(0.5))表示隐藏掉一半的神经元,

model.add(Dense(2, activation="sigmoid"))则是用于分类输出,激活(分类)函数使用的是sigmoid。

7
8

以上就是一个构建神经网络的过程。

9

输出模型再加载模型,进行预测。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,324评论 5 476
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,303评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,192评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,555评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,569评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,566评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,927评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,583评论 0 257
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,827评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,590评论 2 320
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,669评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,365评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,941评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,928评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,159评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,880评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,399评论 2 342

推荐阅读更多精彩内容

  • 单选题 1. 某超市研究销售纪录数据后发现,买啤酒的人很大概率也会购买尿布,这种属于数据挖掘的哪类问题?(A) A...
    山的那边是什么_阅读 33,420评论 2 59
  • 我是黑夜里大雨纷飞的人啊 1 “又到一年六月,有人笑有人哭,有人欢乐有人忧愁,有人惊喜有人失落,有的觉得收获满满有...
    陌忘宇阅读 8,520评论 28 53
  • 信任包括信任自己和信任他人 很多时候,很多事情,失败、遗憾、错过,源于不自信,不信任他人 觉得自己做不成,别人做不...
    吴氵晃阅读 6,178评论 4 8
  • 步骤:发微博01-导航栏内容 -> 发微博02-自定义TextView -> 发微博03-完善TextView和...
    dibadalu阅读 3,125评论 1 3
  • 人工智能是什么?什么是人工智能?人工智能是未来发展的必然趋势吗?以后人工智能技术真的能达到电影里机器人的智能水平吗...
    ZLLZ阅读 3,763评论 0 5