Life is short. You need Python.
我们的机器学习课和文本分析课的老师
（好吧是同一个老师）
一直坚持着一个信条
就是Project-Oriented Learning
我不知道这样的好处是什么
也许是做出来一个东西确实会很有成就感
但是
学习的过程真的很痛苦
尤其是
像我这样的笨蛋
而且还是paranoid的笨蛋
没有TA 我也就不愿意请教其他人
就
很痛苦
今天学了几个python的方法
权当mark一下加深记忆
免得像某人一样把去年实训的东西都忘掉了
os.walk()
- 概述：os.walk() 方法用于通过在目录树中游走输出在目录中的文件名，向上或者向下。
- 语法
os.walk(top[, topdown=True[, onerror=None[, followlinks=False]]])
好的这些语法格式我一向是看不懂的
总之传入1~4个参数
- top ：你所要遍历的目录的地址
- (可选) topdown True，则优先遍历 top 目录，否则优先遍历 top 的子目录(默认为开启)
- (可选)onerror看不懂
- (可选)followlinks看不懂
不管了反正我也只用了前两个
-
返回值 该方法没有返回值。会生成一个三元组(root,dirs,files)。
root 所指的是当前正在遍历的这个文件夹的本身的地址
dirs 是一个 list ，内容是该文件夹中所有的目录的名字(不包括子目录)
files 同样是 list , 内容是该文件夹中所有的文件(不包括子目录)
今天用到它，是因为我的120个txt文档没有放在同一个文件夹里，而是分别装在120个文件夹里，这120个文件夹再装在一个文件夹里。所以好像不能直接遍历。
看我写的扣！
def read_files(root):
texts = []
for path, dirs, names in os.walk(".", topdown=False):
for name in names:
filename = os.path.join(path, name)
if re.match(".* .txt", filename): # 找到所有章节的txt文档
with open(filename, "r", encoding='utf-8') as f:
lines = f.readlines() # readlines()返回一个list
texts.extend(lines) # 每个文件的文本存到list中
return texts
以及我今天又被强迫症程序员diss了
哼
jieba
https://github.com/fxsjy/jieba
jieba是一个强大的中文分词module
- 基于前缀词典实现高效的词图扫描，生成句子中汉字所有可能成词情况所构成的有向无环图 (DAG)
- 采用了动态规划查找最大概率路径, 找出基于词频的最大切分组合
- 对于未登录词，采用了基于汉字成词能力的 HMM 模型，使用了 Viterbi 算法
它的算法以后再说（mark住先），先用起来！
支持繁体分词，支持自定义词典
这就已经很棒棒了
-
安装 安装很简单，
pip install jieba就ok了。当然出了bug不要找我，嘻嘻。 -
功能 有很多，我都没用过。
我只用了jieba_cut()但是它还有关键词提取和词性标注等等功能，以后再说。
jieba.cut以及jieba.cut_for_search返回的结构都是一个可迭代的 generator，可以使用 for 循环来获得分词后得到的每一个词语(unicode)，或者用jieba.lcut以及jieba.lcut_for_search直接返回 list。 -
载入词典
jieba.load_userdict(file_name) # file_name
词典格式和 dict.txt 一样，一个词占一行；每一行分三部分：词语、词频（可省略）、词性（可省略），用空格隔开，顺序不可颠倒。file_name 若为路径或二进制方式打开的文件，则文件必须为 UTF-8 编码。
因为我要繁体分词所以导入了它提供的繁体辞典:
jieba.set_dictionary('data/dict.txt.big') -
调整词典
add_word()和del_word()
lambda
lambda就是匿名函数。
好的其实我并不是很懂
你们自己顾名思义去吧
（photo）
简单讲，就是没有具体名称的函数
它允许快速快速定义单行函数
语法：
lambda [arg1 [, agr2,.....argn]] : expression
我今天用lambda时结合了一个过滤器，这是常见的用法。
word_tokens = list(filter(lambda token: token.isalpha(), tokens))
勉强看懂是说在tokens这个list的元素（字串）token里，只保留字符，把其他奇怪的符号剔除掉。emm我的表达能力真是不敢恭维
编码格式
这个真的好迷！
各种很迷的bug
等我搞懂了再来写！
collections
这个等我明天写完作业再来写！
嘻嘻，周末大家过得怎样？
明天又是新的一周咯。
