之前在公司的项目用了tf的分布式，但是效率一直很低，经过一些简单的调试也没有解决问题。还是得把基础概念一一搞清，才能有针对性地解决问题。所以开始看《Hands On Machine Learning with Scikit Learn and TensorFlow》里的相关章节，并做下记录。
单机多卡
分布式可以理解为把计算分配到多个设备上，并让他们协同工作。最简单的模式就是在一台机器上的多个设备。
tensorflow分配计算单元的默认规则就是优先分配到GPU0上（如果没有GPU就是CPU0），如果用户设定了条件就按用户的设定放置。
未完待续...
