5.12 决策树回归

1. 多输出问题

多个y值,y也为VSM结构

from sklearn.tree import DecisionTreeRegressor
X(VSM) y
X Y(VSM)
X(x1, x2, x3.. xn) Y(y1,y2,...yn) # 目标列为多列,可以用此建模。 # 拓展:人脸自动补全问题。拟合能力约大,越真。

2. 决策树回归

2.1 波士顿房价,获取X,Y

from sklearn.datasets import load_boston
boston = load_boston()

data = boston.data
target = boston.target

2.2拆分数据集,建模

from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(data, target, test_size=0.2, random_state=1) # 拆分数据集

dt_rgr = DecisionTreeRegressor() # 构建算法模型

dt_rgr.fit(X_train, y_train) # 训练数据

算均方误差
from sklearn.metrics import mean_squared_error
mean_squared_error(y_test, dt_rgr.predict(X_test)) #18.550588235294118

2.2多输出问题

2.2.1 构建X,y

标签列为圆上的点的横纵坐标, X为半径的角度


image.png

X = np.sort(np.random.random(size=200)*200 - 100).reshape(-1,1) # 从[-100 100]的弧度
X # X 为弧度

image.png
image.png

噪声数据
bias = np.random.random(size=200)*0.5 - 0.25
bias = bias.reshape(-1,1)

构建Y
y = np.sin(X)
x = np.cos(X)
Y = np.concatenate((x, y), axis=1)
Y.shape # (200, 2)

弧度转角度


image.png

2.2.2 绘图

import numpy as np
import pandas as pd
plt.scatter(Y[:,0], Y[:,1], color='green')
plt.axis('equal')
plt.show()

image.png

2.2.3建模

决策树建模
dt = DecisionTreeRegressor()
dt.fit(X, Y)
X_test = np.linspace(-100,100,100).reshape(-1,1)
Y_ = dt.predict(X_test)

Y_.shape # (100, 2)
绘图:
plt.scatter(Y[:,0], Y[:,1], color='blue')
plt.axis('equal')
plt.show()


image.png

2.2.3 查看不同深度的决策树,回归效果

depth_list = [2, 7, 18, None]
plt.figure(figsize=(16,4))
for index, depth in enumerate(depth_list):
    dt = DecisionTreeRegressor(max_depth=depth)
    dt.fit(X, Y)
    
    X_test = np.linspace(-100,100,100).reshape(-1,1)
    Y_ = dt.predict(X_test)
    
    axes = plt.subplot(1,len(depth_list),index+1)
    plt.scatter(Y_[:,0], Y_[:,1], color='blue')
    plt.axis('equal')
    plt.title("max_depth={}".format(depth))
plt.show()
image.png
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 217,907评论 6 506
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,987评论 3 395
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 164,298评论 0 354
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,586评论 1 293
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,633评论 6 392
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,488评论 1 302
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,275评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,176评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,619评论 1 314
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,819评论 3 336
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,932评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,655评论 5 346
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,265评论 3 329
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,871评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,994评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,095评论 3 370
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,884评论 2 354

推荐阅读更多精彩内容

  • 谷歌、百度或许搜到了很多关于决策树的文章(回归又可以分类的)。好吧,不喜欢看那些公式的朋友请看这里: 这就是一个决...
    AI_Engine阅读 24,399评论 0 7
  • 【关键词】Logistics函数,最大似然估计,梯度下降法 1、Logistics回归的原理 利用Logistic...
    郑某人_03a6阅读 829评论 0 0
  • 1. 线性回归原理 2.线性回归实现(对比knn) 2.1 导包 from sklearn.linear_mode...
    蓝天下悠闲的云朵阅读 158评论 0 0
  • 1.原理 线性回归,如果数据不满秩,以及存在多重共线性无法求解,通过L1正则项(lasso)和L2正则项(Ridg...
    蓝天下悠闲的云朵阅读 2,168评论 0 0
  • 第一部分: 1.行业现状 在今天产品高度同质化的阶段,市场竞争不断加剧,企业与企业之间的竞争,主要集中在对客户...
    余三书阅读 13,827评论 8 32