起因 最近信息流推荐的业务方在使用tensorflow进行分布式训练时,反馈说程序有内存泄露的情况。详细了解之后,现场情况是这样的: 数据从hd...
0. 写在前面 tensorflow分布式训练时,grpc的慢一直都被很多人所诟病。在早期的版本中,由于实现的一些原因,的确存在一些性能问题(可...
写在前面 借着公司内和其他小组的一个分享,把自己几年来C++开发的一点思考总结一下。全篇没有高屋建瓴的观点,基本都是些细节方面的注意事项。希望能...
背景 在开发系统的时候,我们可能会有把数据备份到HDFS的需求。如果我们自身的系统是用Java开发的,那么直接用HDFS的Java API就可以...
原理介绍 kerberos主要是用来做网络通信时候的身份认证,最主要的特点就是“复杂”。所以在入坑kerberos之前,最好先熟悉一下其原理。这...
经济激励:挖矿 有了这几个规则后,我们似乎可以松口气了:这么变态的考试,也算也有点眉目了。可深究下去后,却会发现大家很容易陷入“三个和尚没水喝”...
维持人群账本的一致 接下来我们看如何使分散在世界各地的计算机节点维持账户余额保持一致。 回到最开始的理想模型,大家的记账过程是这样的: 在最开始...
写在前面 写这篇文章的动机,缘于一次对比特币原理科普性质的分享。讲的过程中发现,想把比特币真正讲明白,是非常困难的。所以决定把分享的内容记录下来...
最近在公司的分布式项目pegasus中用到了zookeeper的c客户端,在此记录下使用zookeeper c client时的一些心得。 zo...