数据预处理

1、数据清洗

缺失值处理(删除?填充?)

填充(固定值?均值?上下数据?插值函数?最可能的值?)

2、数据集成

(放一下import requests

from bs4import BeautifulSoup

import re

r=requests.get("https://book.douban.com/subject/1084336/comments/")

soup=BeautifulSoup(r.text,'lxml')

pattern=soup.find_all('span',{'class':'short'})

for itemin pattern:

print(item.string)

pattern = re.compile('<span class="user-stars allstar(.*?) rating"')

p = re.findall(pattern, r.text)

print(p)


3、数据变换(规范化,连续属性离散化,属性构造)

最小-最大规范化(sklearn-preprocessing)

z-score规范化(使用最多,均值为0)

小数定标规范化

连续属性离散化

数据规约

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

  • 1、引言 数据预处理的主要任务如下:(1)数据清理:填写空缺值,平滑噪声数据,识别,删除孤立点,解决不一致性(2)...
    文哥的学习日记阅读 6,882评论 0赞 11
  • 前提 在数据挖掘中,海量的原始数据中存在大量不完整(有缺失值)、不一致、有异常的数据,会严重影响到数据挖掘建模的执...
    神奇的考拉阅读 2,175评论 0赞 3
  • 数据预处理的主要步骤包括数据清理、数据集成、数据归约和数据变换。数据清理可以用来清除数据中的噪声,纠正不一致。数据...
    cccshuang阅读 1,883评论 0赞 0
  • 数据集成 数据挖掘需要的数据往往分布在不同的数据源中,数据集成就是将多个数据源合并存放在一个一致的数据存储(如数据...
    冰度猎魂阅读 1,760评论 0赞 0
  • 小区门口有家饭店,最近人来人往,很是热闹,我和母上被人流吸引,抽空去尝了一下。本来以为是换了个老板,原来是之...
    Morgen现在叫Hilda阅读 464评论 0赞 1

友情链接更多精彩内容