今天某开源大牛来公司技术分享,很享受地度过了一个下午。
听真正的大牛(化名Xman)做技术分享,如同看一场精彩绝伦且能让人回味不绝的电影,非常满足。
在这里记录几件大牛分享的几件我比较感兴趣的事情
- 拆解MVC
曾经把MVC(Model, View, Control)模型的VC模块拆开扔到客户端,服务端只负责M模块。这种纯天然的分布式架构极大地解放了服务端的压力,使得整个CS交互速度特别快。甚至快到当页面刷新后,用户都没反应过来页面已经刷新了,他们只能在代码里面加入了delay延时,让页面不要加载这么快,给用户一个意识缓冲时间。
整个分享过程既然人觉得满满的都是干货,又令人觉得新鲜有趣,这是因为Xman是个又能钻研又爱玩的人,他也鼓励程序员玩,玩出花样来,创造力就是玩出来的。
当Xman给我们讲这种拆解VC到客户端的时候,我的第一反应是“哇噻还可以这么玩!”,但是随之而来的是“咦,对啊,不正是应该这样吗”。是的,在某些场景下确实是可以吧VC或者MV放到客户端的,但为什么之前我完全没想到过呢?或许是因为我们都不会“玩”,没有“玩”的习惯,没有“玩”的信心。
-
DSL/抽象层次
除了“玩”,Xman提到最多的就是“抽象层次”!他分享的很多精彩的点子到最后都
总归为项能力:抽象层次。其中抽象层次的最酷的一件事情是DSL。数据业务是件很琐碎的东西,如果不将其抽象化,则容易钻进业务无底洞,那样更会痛不欲生。DSL(Domain Specific Langrage)在业务繁杂、容易出错的场景下尤能发挥其威力。
Xman在淘宝时面向的业务数据极为琐碎,而程序又要根据这些琐碎的数据去做琐碎的数据库查询,虽然数据都做了归一化处理,但整个查询/处理过程仍繁杂琐碎。他们之前是用php手写sql代码的方式去查询数据库,这种原始的硬编码方式的最大缺点是sql语句容易写错、难以做抽象优化、重复劳动力。于是他就把整个业务sql查询/处理整合成了一门dsl语言,使用者只要用dsl去查询sql就行了,整个查询变得抽象、不易出错,而且还可以在dsl内部针对每种查询做优化。
dsl生成测试数据
新项目在未上线之前没有线上的测试数据集。一般我们开发都是手动造测试集来测,这种传统的造数据办法的缺陷就是数据单一、难以发掘极端数据,没有极端数据就暴露不了隐藏bug。
Xman就又根据项目接受的数据格式写了一个dsl,dsl规则就是该项目接受的数据格式。以此来随机生成数据,咋一看,还有模有样的,同时这种数据生成方式有也能发现极端数据。- dsl做配置语言
想在很多项目的配置文件都是建立在编程语言规范的,例如riemann的配置文件是要clojure写,erlang的配置文件要符合erlang语言规范。这种以编程语言作为配置规范极大地增强了配置文件的功能。
如果我们的客户想要在我们的服务上自定义配置,而我们的配置也是在编程语言的规范下。但客户又不一定了解这款编程语言,或者客户有心hack你的项目,那他就可以在配置文件里写比如无限递归、alloc大内存之类的损事。
想给予客户相应的自由度来自定义配置文件,又担心有潜在的危险,最好的办法就是造一个针对业务的有功能限制的dsl。总的来说我觉的Xman真是熟练把玩dsl,用dsl来做特别酷的事情。之前在微信公众平台上还看到一篇借组ast混淆js源代码的博文,先用工具生成js源代码的ast,再在这个ast上遍历,边遍历边乱写一些乱七八糟的东西,这些东西部影响源代码的逻辑,纯粹噪音而已。加噪为了防爬虫。
测试
虽然Xman提测试没有提得比“玩”和“抽象层次”多,但讲测试的时间是最多的。他强调测试的重要性,不仅能保证程序的正确性,保证修改不带入新bug,还能推进项目的提升。对于测试,Xman讲得最多的是,“工具很重要”。
Xman对测试的重视程度和对工具的熟练运用,解释了我一直以来的心头之惑:这些大项目都是怎么测试的啊?这么复杂的逻辑怎么测啊?
那就是,想办法搞测试数据集,想办法模拟极端情况,想办法让测试发现bug,想办法复现,想办法获取事故现场的第一手资料,想办法跟踪查找真正的事发地点。
不过他介绍的工具都太深了,我都没听说过,systemtab是啥?可以吃吗?
跟测试靠边的一点,是报表分析。
Xman也写了好多报表分析,和结果评判工具。
"要把测试变得有趣,这样你才不会想要跳过它”!金玉良言!
后话
想起来蜀黍跟他好像,玩很多东西,都玩得很好,一些大家平常不注意的东西,一旦他们发现了这东西的好玩点,就有可能钻进去玩玩,就比如Xman在做ppt的时候竟然还自己画插图,虽说画得不怎样,但很有趣,感觉这个人的世界也都很有趣;讲东西的时候完全沉醉在自己的世界,很愉快地把己做的事情分享给其他人;讲话都很快,脑子转得也非常快,很活跃。天生爱玩..