多标签问题
比如音乐，同一首歌曲有不同的标签，比如流行，pop，R&B，民族等
每个实例所属于的类别不是唯一的，同一个实例可以同时属于多个类别。
多类别问题
每个实例所属于的类别是唯一的，同一个实例不能同时属于多个类别。
软件包
sklearn提供了独立的用于多标签问题的软件包 scikit-multilearn
多标签数据集
多标签数据集(by MULAN )
这些数据集的格式：arff
利用scipy加载数据集:
import scipy
from scipy.io import arff
data, meta = scipy.io.arff.loadarff('yeast-train.arff')
df = pd.DataFrame(data)
image.png
Attr: 表示属性，class：表示类别
sklearn.dataset 模块可以生成人工多标签数据集
from sklearn.datasets import make_multilabel_classification
# this will generate a random multi-label dataset
X, y = make_multilabel_classification(sparse = True, n_labels = 20,
return_indicator = 'sparse', allow_unlabeled = False)
解决多标签问题的技术
- 转换问题为多分类问题
- 调整多分类算法适应多标签问题
- Ensemble 方法
转换问题
- Binary Relevance (二值相关)
- Classifier Chains (分类器串联)
- Label Powerset (标签集合)
Binary Relevance
将多标签问题转换为多个分类问题。例如，
image.png
image.png
# using binary relevance
from skmultilearn.problem_transform import BinaryRelevance
from sklearn.naive_bayes import GaussianNB
# initialize binary relevance multi-label classifier
# with a gaussian naive bayes base classifier
classifier = BinaryRelevance(GaussianNB())
# train
classifier.fit(X_train, y_train)
# predict
predictions = classifier.predict(X_test)
多标签问题不能使用通常的多分类问题的 metrics，我们使用 accuracy_score 计算预测标签集合和真实标签集合的准确性
from sklearn.metrics import accuracy_score
accuracy_score(y_test,predictions)
Classifier Chains
image.png
黄色区域为输入空间，白色区域代表学习目标。
该方法和 Binary relevance很相似，区别在于：考虑了标签之间的相关性
# using classifier chains
from skmultilearn.problem_transform import ClassifierChain
from sklearn.naive_bayes import GaussianNB
# initialize classifier chains multi-label classifier
# with a gaussian naive bayes base classifier
classifier = ClassifierChain(GaussianNB())
# train
classifier.fit(X_train, y_train)
# predict
predictions = classifier.predict(X_test)
accuracy_score(y_test,predictions)
Label Powerset
image.png
image.png
相同颜色表示对应的标签一致，因此可以讲他们看成同一类。转化成多分类问题。
缺点：当数据集很大时，类别数目非常多，会增加模型复杂度，导致精确度降低
# using Label Powerset
from skmultilearn.problem_transform import LabelPowerset
from sklearn.naive_bayes import GaussianNB
# initialize Label Powerset multi-label classifier
# with a gaussian naive bayes base classifier
classifier = LabelPowerset(GaussianNB())
# train
classifier.fit(X_train, y_train)
# predict
predictions = classifier.predict(X_test)
accuracy_score(y_test,predictions)
Adapted Algorithm
多标签knn算法
from skmultilearn.adapt import MLkNN
classifier = MLkNN(k=20)
# train
classifier.fit(X_train, y_train)
# predict
predictions = classifier.predict(X_test)
accuracy_score(y_test,predictions)
Ensemble Approaches
通常能够提供更好的效果。
参见 Scikit-Multilearn library
