一. hyperopt
# 定义一个目标函数(去最小化)
def objective(args):
case, val = args
if case == 'case 1':
return val
else:
return val ** 2
# 定义超参数的寻找范围
from hyperopt import hp
space = hp.choice('a',
[
('case 1', 1 + hp.lognormal('c1', 0, 1)),
('case 2', hp.uniform('c2', -10, 10))
])
# 在某个space内, 用tpe.suggest算法, 最多迭代100次, 寻找objective函数的最小值
from hyperopt import fmin, tpe, space_eval
best = fmin(objective, space, algo=tpe.suggest, max_evals=1000)
print(best)
# -> {'a': 1, 'c2': 0.01420615366247227}
print(space_eval(space, best))
# -> ('case 2', 0.01420615366247227}
# 原本例子里迭代100次, 改成1000次后的结果, 更接近0了
# {'a': 1, 'c2': 0.0014051587902801626}
# ('case 2', 0.0014051587902801626)
二. Quora Question Pair
2.1 探索
import pandas as pd
df = pd.read_csv('/home/lyq/Downloads/quora_train.csv')
# 训练集行数
df.shape[0]
404290行
# 正负样本数
vc = df['is_duplicate'].value_counts()
vc
0 255027
1 149263
Name: is_duplicate, dtype: int64
不重复的255027个
重复的149263个
# 正负样本的比例
vc/vc.sum()
0 0.630802
1 0.369198
Name: is_duplicate, dtype: float64
不重复的63%,重复的37%
# distinct问题数
import numpy as np
qs = np.append(df['qid1'],df['qid2'])
len(np.unique(qs))
537933
404290对样本中共包含537933个不重复的问题
# 多次出现的问题数
unique_elements, counts_elements = np.unique(qs, return_counts=True)
sum(counts_elements>1)
111780
404290对样本中111780个问题重复出现
# 出现几次的问题有多少个
import matplotlib.pyplot as plt
import seaborn as sns
%matplotlib inline
plt.hist(counts_elements, bins=50)
plt.yscale('log', nonposy='clip')
频率直方图
2.2 特征
A. 词嵌入
把one-hot表示的词向量用不同方法降维， 变成稠密的表示。调用gensim包实现。向量化之后用各种距离（余弦距离，jaccard距离，hamming距离，dice距离等）即可计算相似度。
2.2.1 LSI 矩阵分解
利用SVD做矩阵分解，保留num_topics个最大的奇异值，对应num_topics个主题。 不同主题中每个词的权重不同，不同样本（文档）中每个主题的权重不同。
2.2.2 LDA（Latent Dirichlet Allocation）
同样是求解每个样本的主题分布， 每个主题的词分布。但是建模基于贝叶斯网络，概率分布， 和LSI比权重都是正数。
2.2.3 Word2vec
用三层神经网络模型预测上下文。已经上下文单词预测中间的一个（CBOW）或者已经中心词预测上下文词（skip-gram）
2.2.4 Glove（Global vectors for word representation）
哪些词经常同时出现，说明他们的含义接近。比word2vec覆盖的范围更广，word2vec只能覆盖上下文的几个词。
B. NER命名实体识别
找出问题中重要的实体，比如名人名字，机构名字等等
2.2.5 题目中的重要实体
问题中包含哪个人/行业/学科.......
C. POS-tag词性标注
2.2.6 问题中是否包含动词
如何做一件xx事？
xxx为什么是xx？
如何评价xxx？
几种问题的形式有很大区别
2.2.7 问题中包含的疑问词是哪个
what why when who where how
2.2.8 问题中是否包含数字
D. 其他补充
2.2.9编辑距离
每增删一个字母+1，看变更多少次可以把两个问题变成一样的
2.2.10特征组合
比如：问题中包含的疑问词是哪个&是否包含数字。总共6*2=12种取值
