背景：
某场景中需要多次运算与外部交互，要求每次运算的时间尽可能少。当前使用的运算方法为spark 内存运算将大量数据加载到集群内存中，按行计算。
实际上，这些数据是按某一种类别区分的，可以按类别组织成一个一个张量，通过矩阵运算来实现快速计算。
（小区切换）
核心：快速读，快速算，一些可以提前算的提前算好
结果：比spark2.5快了30%
实现方法：
1、常用的矩阵运算一般为numpy来实现。因此以python作为主要语言。通过多进程来实现不同类别的区分。
2、不同的外部参数也矩阵化便于矩阵运算。整体抽象出13个矩阵（每个类别），类别中数据量较大时，矩阵会比较大。
3、多个矩阵之间串行计算，包括求和，求积，按行求最大值等操作。并引入爱因斯坦求和公式进行加速。
4、通过python共享内存提前把数据加载好，在多进程使用的时候通过数据索引定位到数据取出计算。
5、把每个进程的结果合并到一起返回
6、通过pandas等做一些整合分类等交互
瓶颈所在：
1、python语言本身是相对比较慢的，会吃掉矩阵运算的收益；
2、不同进程中的数据量不一，数据量最大的类别会拖慢整个计算进度。
3、多进程使用时，不要从外部传入数据，序列化和反序列化会消耗很多时间。
4、拿到多进程结果后，一些结果会需要pandas做一些运算，如数据分类等，耗时比numpy多。
5、ray并行框架并未真正提升速度
使用的算法参考
1、爱因斯坦求和公式https://zhuanlan.zhihu.com/p/476279989
2、python共享内存https://zhuanlan.zhihu.com/p/146769255?utm_source=wechat_session
3、ray框架https://blog.csdn.net/u012925804/article/details/128040276
