机器学习：问题设置
一般来说，学习问题会考虑一组n个数据样本，然后尝试预测未知数据的属性。 如果每个样本不止一个数字，例如多维条目（也称为多元数据），则称其具有多个属性或特征。
我们可以将学习问题分为几大类：
- 监督学习，其中数据带有我们想要预测的其他属性。这个问题可以是：
1 分类：样本属于两个或两个以上的类别，我们希望从已标记的数据中学习如何预测未标记数据的类别。 分类问题的一个例子是手写数字识别的例子，其目的是将每个输入向量分配给有限数量的离散类别之一。 另一种考虑分类的方法是作为一种离散的（而不是连续的）形式的监督学习，其中一个分类的数量有限，对于提供的n个样本中的每一个，一个是试图用正确的分类或类别来标记它们。
2 回归：如果所需的输出由一个或多个连续变量组成，则该任务称为回归。 一个回归问题的例子是鲑鱼长度作为其年龄和体重的函数的预测。 - 无监督学习，其中训练数据由一组没有任何相应目标值的输入向量组成。 这些问题的目标可能是发现数据中类似例子的集合，称为聚类，或者确定输入空间内的数据分布（称为密度估计），或者将数据从高维 为了可视化的目的，将空间降低到二维或三维。
训练集和测试集:
机器学习是关于学习数据集的一些属性并将其应用于新数据。 这就是为什么在机器学习中评估算法的一个常见做法是将手头的数据分成两组，一组称为训练组，我们称其为学习数据属性的训练集，另一组称为用于测试这些测试集的测试集属性。
加载示例数据集
scikit-learn带有一些标准数据集，例如用于分类的iris和digits数据集以及用于回归的波士顿房价数据集。
from sklearn import datasets
iris = datasets.load_iris()
digits = datasets.load_digits()
print digits.data
print digits.target
print digits.images[0]
学习和预测
在数字数据集的情况下，任务是预测给定的图像，它代表了哪个数字。 我们给出了10个可能类别（从0到9的数字）中的每一个的样本，我们拟合了一个估计器能够预测未看见的样本属于的类别。
在scikit学习中，分类估算器是一个Python对象，实现了fit（X，y）和predict（T）方法。
from sklearn import svm
clf = svm.SVC(gamma=0.001, C=100.)
估计器的一个例子是实现支持向量分类的sklearn.svm.SVC类。 估计者的构造函数将模型的参数作为参数，但是目前我们将估计器看作一个黑盒子：
我们称之为估计器实例clf，因为它是一个分类器。 它现在必须适合这个模型，也就是说，它必须学习模型。 这是通过将我们的训练集传递给fit方法来完成的。 作为训练集，让我们使用除最后一个之外的数据集的所有图像。 我们用[：-1] Python语法选择这个训练集，它产生一个新的数组，其中包含除了digits.data的最后一个条目以外的所有数据：
clf.fit(digits.data[:-1], digits.target[:-1])
SVC(C=100.0, cache_size=200, class_weight=None, coef0=0.0, decision_function_shape='ovr', degree=3, gamma=0.001, kernel='rbf', max_iter=-1, probability=False, random_state=None, shrinking=True, tol=0.001, verbose=False)
现在，您可以预测新的值，特别是可以向分类器询问数字数据集中最后一个图像的数字，我们还没有用它来训练分类器：
clf.predict(digits.data[-1:])
array([8])
模型持久性
通过使用Python内置的持久化模型，即pickle，可以在scikit中保存一个模型：
from sklearn import svm
from sklearn import datasets
import pickle
clf = svm.SVC()
iris = datasets.load_iris()
X, y = iris.data, iris.target
clf.fit(X, y)
s = pickle.dumps(clf)
clf2 = pickle.loads(s)
clf2.predict(X[0:1])
在scikit的特定情况下，使用joblib替换pickle（joblib.dump＆joblib.load）可能会更有意思，它对大数据更有效，但只能pickle到磁盘而不是字符串：
from sklearn.externals import joblib
joblib.dump(clf, 'filename.pkl')
稍后，您可以使用以下方式加载pickled模型（可能在另一个Python进程中）：
clf = joblib.load('filename.pkl')
Note joblib.dump and joblib.load functions also accept file-like object instead of filenames.
Conventions
scikit-learn估计者遵循一定的规则，使他们的行为更具有预测性。
Type casting
除非另有规定，输入将被转换为float64：
import numpy as np
from sklearn import random_projection
rng = np.random.RandomState(0)
X = rng.rand(10, 2000)
X = np.array(X, dtype='float32')
X.dtype # dtype('float32')
transformer = random_projection.GaussianRandomProjection()
X_new = transformer.fit_transform(X)
X_new.dtype # dtype('float64')
在这个例子中，X是float32，它被fit_transform（X）强制转换为float64。
回归目标投到float64，维护分类目标：
from sklearn import datasets
from sklearn.svm import SVC
iris = datasets.load_iris()
clf = SVC()
clf.fit(iris.data, iris.target) # SVC(C=1.0, cache_size=200, class_weight=None, coef0=0.0, decision_function_shape='ovr', degree=3, gamma='auto', kernel='rbf', max_iter=-1, probability=False, random_state=None, shrinking=True, tol=0.001, verbose=False)
list(clf.predict(iris.data[:3])) # [0, 0, 0]
clf.fit(iris.data, iris.target_names[iris.target]) # SVC(C=1.0, cache_size=200, class_weight=None, coef0=0.0, decision_function_shape='ovr', degree=3, gamma='auto', kernel='rbf', max_iter=-1, probability=False, random_state=None, shrinking=True, tol=0.001, verbose=False)
list(clf.predict(iris.data[:3])) # ['setosa', 'setosa', 'setosa']
在这里，由于iris.target（一个整数数组）在fit中被使用，所以第一个predict（）返回一个整数数组。 第二个predict（）返回一个字符串数组，因为iris.target_names是拟合的。
Refitting and updating parameters
估计器的超参数可以在通过sklearn.pipeline.Pipeline.set_params方法构建后更新。 不止一次调用fit（）会覆盖之前fit（）所学到的内容：
import numpy as np
from sklearn.svm import SVC
rng = np.random.RandomState(0)
X = rng.rand(100, 10)
y = rng.binomial(1, 0.5, 100)
X_test = rng.rand(5, 10)
clf = SVC()
clf.set_params(kernel='linear').fit(X, y)
clf.predict(X_test)
clf.set_params(kernel='rbf').fit(X, y)
clf.predict(X_test)
这里，在通过SVC（）构造估计器之后，默认的内核rbf首先变为线性，并且变回到rbf以重新估计器并进行第二次预测。
Multiclass vs. multilabel fitting
使用多类分类器时，执行的学习和预测任务取决于适合的目标数据的格式：
from sklearn.svm import SVC
from sklearn.multiclass import OneVsRestClassifier
from sklearn.preprocessing import LabelBinarizer
X = [[1, 2], [2, 4], [4, 5], [3, 2], [3, 1]]
y = [0, 0, 1, 1, 2]
classif = OneVsRestClassifier(estimator=SVC(random_state=0))
classif.fit(X, y).predict(X)
在上述情况下，分类器适合于多类标签的1d阵列，因此predict（）方法提供相应的多类预测。 二进制标签指示符也可以适用于二维数组：
y = LabelBinarizer().fit_transform(y)
classif.fit(X, y).predict(X)
在这里，使用LabelBinarizer，分类器在y的2d二进制标签表示上是fit（）。 在这种情况下，predict（）返回代表相应多标记预测的二维数组。
请注意，第四个和第五个实例返回全零，表示它们没有匹配三个标签中的任何一个。 对于多标签输出，同样可以为一个实例分配多个标签：
from sklearn.preprocessing import MultiLabelBinarizer
y = [[0, 1], [0, 2], [1, 3], [0, 2, 3], [2, 4]]
y = MultiLabelBinarizer().fit_transform(y)
classif.fit(X, y).predict(X)
在这种情况下，分类器适用于每个分配多个标签的实例。 MultiLabelBinarizer用于对二维多标签数组进行二值化以适应。 结果，predict（）为每个实例返回一个具有多个预测标签的二维数组。
