机器学习1

什么是机器学习aa

从数据集——>模型——>预测的一个过程
数据集的构成：特征值(feature) + 目标值(target)

机器学习算法的分类

-监督学习(有目标值)：
1.目标值为类别-分类问题：k-近邻算法、贝叶斯分类、决策树与随机森林、逻辑回归
2.目标值为连续的数据-回归问题：线性回归、岭回归
-无监督学习(没有目标值)：聚类 k-means

机器学习的开发流程

获取数据->处理数据->特征工程->机器学习的算法训练->模型评估->应用

数据集介绍

学习阶段可使用的数据集：sklearn，kaggle，uci(我们这里使用的是sklearn)

sklearn数据集

 #!/usr/bin/env python3
 sklearn.dataset.load_*：#获取小规模的数据集
 #如：sklearn.dataset.load_iris()
 sklearn.dataset.fetch_*：#获取大规模的数据集
 #如：sklearn.datasets.fetch_20newsgroups(data_home=None,subset=‘train’)

获取数据集的返回值

sklearn.dataset.Bunch #继承自字典
dict['key'] = value
Bunch.key = value

数据集的划分

训练数据：用于训练，构建模型
测试数据集：在模型检验时使用，用于判断模型是否正确(20%~30%)

x_train,x_test,y_train,y_test = sklearn.model_selection.train_test_split(arrays, *options)

特征工程

pands做数据处理，数据清洗
sklearn做特征工程

特征提取

字典类型的特征提取

如下使用sklearn中的字典类型的转换器返回的是one-hot编码

sklearn.feature_extraction.DictVectorizer(sparse=True,…)
data = [{'city': '北京','temperature':100}, {'city': '上海','temperature':60}, {'city': '深圳','temperature':30}]
    # 1、实例化一个转换器类
    transfer = DictVectorizer(sparse=True)

    # 2、调用fit_transform()
    data_new = transfer.fit_transform(data)
    print("data_new:\n", data_new.toarray(), type(data_new))
    print("特征名字：\n", transfer.get_feature_names())

data_new是ndarray类型

文本类型的特征提取

-CountVectorizer
统计文本中每个特征词出现的个数
stop_words标识停词不计入统计

data = ["life is short,i like like python", "life is too long,i dislike python"]
    # 1、实例化一个转换器类
    transfer = CountVectorizer(stop_words=["is", "too"])

    # 2、调用fit_transform
    data_new = transfer.fit_transform(data)
    print("data_new:\n", data_new.toarray())
    print("特征名字：\n", transfer.get_feature_names())

-TfidfVectorizer
表示特征词的重要程度
TF：词频
IDF：逆向文档频率

 # 将中文文本进行分词  aa
    data = ["text"]

    data_new = []
    for sent in data:
        data_new.append(cut_word(sent))
    # print(data_new)
    # 1、实例化一个转换器类
    transfer = TfidfVectorizer(stop_words=["一种", "所以"])

    # 2、调用fit_transform
    data_final = transfer.fit_transform(data_new)
    print("data_new:\n", data_final.toarray())
    print("特征名字：\n", transfer.get_feature_names())

特征预处理

无量纲化
主要就是将一些比较大的数值全部转化为某个区间的数值
-归一化(用的较少容易受到一些异常值的影响)

# 1、获取数据
    data = pd.read_csv("dating.txt")
    data = data.iloc[:, :3]
    print("data:\n", data)

    # 2、实例化一个转换器类
    transfer = MinMaxScaler(feature_range=[2, 3])

    # 3、调用fit_transform
    data_new = transfer.fit_transform(data)
    print("data_new:\n", data_new)

-标准化(用的较多，使用的标准差计算不容易受到异常值得影响表示集中程度)

data = pd.read_csv("dating.txt")
    data = data.iloc[:, :3]
    print("data:\n", data)

    # 2、实例化一个转换器类
    transfer = StandardScaler()

    # 3、调用fit_transform
    data_new = transfer.fit_transform(data)
    print("data_new:\n", data_new)

特征降维

通常数据都是多维的，不利于处理，降维就是尽量减少数据的特征数得到一组‘不相关’的主变量过程，就是降低随机变量的个数

-Filter过滤式
方差选择法：低方差特征过滤
相关系数-特征与特征的相关程度

# 1、获取数据
    data = pd.read_csv("factor_returns.csv")
    data = data.iloc[:, 1:-2]
    print("data:\n", data)

    # 2、实例化一个转换器类
    transfer = VarianceThreshold(threshold=10)

    # 3、调用fit_transform
    data_new = transfer.fit_transform(data)
    print("data_new:\n", data_new, data_new.shape)

    # 计算某两个变量之间的相关系数
    r1 = pearsonr(data["pe_ratio"], data["pb_ratio"])
    print("相关系数：\n", r1)
    r2 = pearsonr(data['revenue'], data['total_expense'])
    print("revenue与total_expense之间的相关性：\n", r2)

皮尔逊相关系数：
-1 < r < 1 r靠近0则相关性小 靠近-1则呈现负相关 +1反之
如果特征与特征之间相关性很高
选取其中一个
加权求和
主成分分析

-Embeded嵌入式
决策树(后面提到)
正则化(后面提到)
深度学习(后面提到)

主成分分析

PCA降维

sklearn.decomposition.PCA(n_components=None)

n_components属性：
如果是小数则表示保留百分之多少的信息
如果是整数则表示减少到多少特征