由于这几天没有多少闲暇时间用来看书，今天才将《暗时间》完结。《暗时间》最后几节内容是介绍数学方面的方法论，出神入化的讲解简直让我大呼过瘾。总体来接有这样几个收获：

1.《哥德尔、埃舍尔、巴赫——集异璧之大成》这本书一定会看，同时会进一步深入探索计算机起源——编程语言理论与lisp

2.一个不错的博客：负暄琐话；

  一个经常被刘未鹏提及的牛人徐宥；

  一本经典算法书：Knuth的TAOCP

3.颠覆了我对统计学和机器学习的传统认知。接下来，就具体来对第三点进行展开。

这个世界复杂的表象

统计机器学习方法所统计的东西往往处于相当表层（shallow）的层面，在这个层面机器学习只能看到一些非常表面的现象，有一点科学研究的理念的人都知道：越是往表层去，世界就越是繁复多变。从机器学习的角度来说，特征（feature）就越多，成百上千维度都是可能的。特征一多，好了，高维诅咒就产生了，数据就稀疏得要命，不够用了。而我们人类的观察水平显然比机器学习的观察水平要更深入一些，为了避免数据稀疏我们不断地发明各种装置（最典型就是显微镜），来帮助我们直接深入到更深层的事物层面去观察更本质的联系，而不是在浅层对表面现象作统计归纳。举一个简单的例子，通过对大规模语料库的统计，机器学习可能会发现这样一个规律：所有的“他”都是不会穿 bra 的，所有的“她”则都是穿的。然而，作为一个男人，却完全无需进行任何统计学习，因为深层的规律就决定了我们根本不会去穿 bra 。至于机器学习能不能完成后者（像人类那样的）这个推理，则是人工智能领域的经典问题。至少在那之前，声称统计学习方法能够终结科学研究（原文）的说法是纯粹外行人说的话。

我们人是如何认知的

还是那个问题：难道我们人类真的是用这种方式进行翻译的？highly unlikely 。这种计算复杂性非常高的东西连三位数乘法都搞不定的我们才不会笨到去使用呢。根据认知神经科学的认识，很可能我们是先从句子到语义（一个逐层往上（bottom-up）抽象的 folding 过程），然后从语义根据另一门语言的语法展开为另一门语言（一个逐层往下（top-down）的具体化 unfolding 过程）。如何可计算地实现这个过程，目前仍然是个难题。

我的思考

1.越是往表层去，世界就越是繁复多变。更深入地去观察更本质的联系，世界就没有想象的那么复杂。

人体的细胞分裂不就是么，从最初的受精卵开始，分化出各种组织器官，越从表象看，越纷繁复杂与不同，可是这些细胞的DNA不都是一样么。

能量不也是么，风、水、煤等等不都是能量的各种载体和表达形式，最终来源都是从太阳能。

在数学上，有很多不同领域的证明都会采用归纳法、反证法，虽然题目看上去各异，但是采取的思维本质却是一样的。

2.以前在某种程度上也相信这句话：统计学习方法能够终结科学研究。终于在这里看到了一个更为全面的视角和看法。统计学终究是个工具，它能揭示出数据之间的某种联系和规律，当然这个规律和联系在大部分时候是足够有价值的。但是在这个表层的规律和联系后面隐藏的更深层次的本质联系，是统计学无法达到的。

3.认知神经学认为我们大脑处理翻译的方式是先抽象（将一门语言的语义抽象出来）再具体（再将语义表达成另外一门语言）。这个过程很有启发性，这不正是举一反三、触类旁通的学习机制么。如果学习任何东西，都能将其背后的机制、原理、思维方式抽象出来，何愁知识不能灵活运用与迁移（到其他领域）。