tushare历史数据读取开销比较

本方法测试使用get_k_data更新某一单项历史数据(比如60分钟线),计算耗时。

测试用服务器使用amazon web service+cloud9云编程平台,使用两种不同的服务器配置,服务器物理地址为美西俄勒冈。

测试结果:

T2.micro 20.10 开始 20.45结束 耗时35分钟
T2.small 20.57 开始 21.34结束 耗时37分钟

备注:

T2.micro使用1vCPU,1G内存;T2.smallT2.micro使用1vCPU,2G内存,通过监控平台可知数据更新占用系统开销几乎忽略不计,CPU 5%以内,虽然有频繁的读取和保存数据动作,但硬盘几乎没有读写开销,网络开销也很低。

两台服务器差距不大的原因可能提示瓶颈在于中美两国网络连接延迟的问题。

半小时左右的更新时间属于基本不可接受范围,后续想办法进行改进。

windows版测试结果

用本机使用VS CODE跑下来的结果是运行3个时间段的全部数据,总耗时22分钟,平均单个例如5分钟的数据需要7分钟左右,速度还是比较理想的。
当然,本机性能还是很强劲的,I7 6700HQ+16MB内存+SSD
根据linux版的测试结果,硬件条件不是瓶颈,估计还是和网络有关,国内网络速度相对比较快。

彩蛋

后续增加对对于T2.nano的测试,服务器0.5vCPU,0.5G内存

T2.nano 21.55 开始 22.32结束 耗时37分钟,使用时间和前面两台服务器基本一致

使用T2.nano跑下来的服务器开销,可用内存剩余20MB,服务器也蛮不容易的,一种被榨干的感觉


未命名图片.png
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 1.ios高性能编程 (1).内层 最小的内层平均值和峰值(2).耗电量 高效的算法和数据结构(3).初始化时...
    欧辰_OSR阅读 29,929评论 8 265
  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 135,833评论 19 139
  • 转 # https://www.cnblogs.com/easypass/archive/2010/12/ 08/...
    吕品㗊阅读 13,317评论 0 44
  • 零零散散的一件件小事无法撑起一篇文章,因而用一个个片段的形式将它们东拼西凑,汇成一篇小小的杂谈。 一、学骑单车 在...
    陌水笔阅读 2,563评论 0 0
  • @所有人!欢迎各位,正在建群中,请保持沉默…多谢!相关通知明早会陆续滚动发放,注意看群信息就好。 各位早上好,我们...
    美玉空间阅读 1,405评论 0 0

友情链接更多精彩内容