射雕中桃花岛主黄药师是一个很特别的人，在五绝之中他所学最广，琴棋书画，莳花种草，奇门遁甲，诸子百家他几乎样样精通，尤其是在这种情况下他的武功又是出神入化。在金庸创作出来的武侠人物中只有天龙八部中的逍遥子和无崖子能够与之媲美。王重阳虽然也是个由儒转道的大家，但在博学上还是比不上黄药师。
这样一个博学的人还能练成如此高的武功，这可不是一般的人能够做到的。关于黄药师的家世连载版和三联版中都没有交代，到了新编版中才对黄药师的家世做了交代：
“师父（黄药师）是浙江世家，书香门第，祖上在太祖皇帝时立有大功，一直封侯封公，历朝都做大官。师父的祖父在高宗绍兴年间做御史。”
说起来黄药师所在的黄家不仅是书香门第，还是官宦世家。黄家是开国功臣，一直是公侯之家，是赵宋王朝最顶层的统治阶级重要成员之一。他们的利益与皇家利益高度一致，所以维护赵宋皇朝的利益就是维护他们自己的利益。于是当黄家发现有人危害赵宋皇朝的时候，他们必然会挺身而出，因为那是维护自己的利益：
“这一年奸臣秦桧冤害大忠臣岳飞，师父的祖父一再上表为岳飞伸冤，皇帝和秦桧大怒，不但不准，还将他贬官。太师祖忠心耿耿，在朝廷外大声疾呼，叫百官与众百姓大伙儿起来保岳飞。秦桧便将太师祖杀了，家属都充军去云南。”
秦桧陷害岳飞危害的是整个赵宋朝廷的利益，所以黄家当时的当家人黄药师的祖父自然不会旁观。黄药师的祖父试图挽救岳爷爷但没有成功，于是他自己也陷入了危局。他本人遇害，而家眷则被流放云南，官宦世家加上书香门第便在黄药师祖父这一代结束了。但百足之虫，死而不僵，世家没有那么容易被打倒，所以黄药师的成长环境还是可以的。
“师父是在云南丽江出生的，他从小就读了很多书，又练成了武功。”
黄药师能够读书就超过了许多人，没有坚实的物质基础是读不了书的。所以黄家虽然流放到云南了，但黄家对于子弟的培养并没有受到影响。至于黄药师的武功是怎样练成的则不得而知。黄药师仿佛是一个无师自通的人，读着读着书自然就练成了绝世武功。这就像《雪中悍刀行》中微山轩辕世家的轩辕敬城读书读成了天象境，最后带着轩辕大磐一同升了天。
轩辕敬城表面只读书，但他把轩辕世家的武功秘籍其实都练得差不多了，只是外人不知而已。而黄家让黄药师读书的目的是科举，所以他读的书应该是以四书五经为主的。但作为武侠世界的世家，家族里收集一些武功秘籍也不是不可能的。黄家族内可能就有一些练了武功用于维护家族安全的子弟。
武侠世界里也不是没有只读书就读成了武功高手的，留下了《九阴真经》的黄裳就是这样的人。他一个对武功一窍不通的中年文人只是读了几年道藏就领悟并练成了绝世武功，可见任何世界都有妖孽的天才。也许射雕里的黄裳也是黄药师的主人，既然有黄裳这个妖孽的先驱者在前，那么再出一个读书读成武功高手的黄药师也没有什么奇怪的。
如果真是这样，那黄药师就是天生的武功高手，他对于武功属于那种看一遍就几乎精通的人。别人练一年的武功黄药师可能一天就练成了。一目十行过目不忘，我们普通人可能做不到，但不能因为我们做不到就认为所有人都做不到。黄药师是人中之龙，习武天才，所以他才能在把书读好的同时练成了绝顶武功。至于师父，黄裳不需要师父，那黄药师也不需要师父，这样的黄药师应该才是射雕世界里的黄药师。
