240 发简信
IP属地:北京
  • 2022-10-12

    最近的又把异常翻出来看了看。dubbo的rpc异常attachment,还需要再仔细看看。有时候需要自己自定义处理

  • SparkSQL多次检索大表

    业务需要检索一个大表的几个字段。方法一:一次性检索出需要的字段,然后cache。方法二:多次检索,每次只检索一个字段。(推荐) 先过滤再计算 并...

  • Spark优化的小细节,堆和栈

    堆和栈的使用。堆是内存存储对象,有较大的内存空间。栈是内存存储方法,内存空间分配较少。当程序多次调用一个方法时,可以将方法当做一个对象放入堆中,...

  • Spark-Core和SparkSQL的不同应用场景

    项目中采用了这两种方案。首先采用的Spark-Core,从云端读取Avro类型的数据。存入HBase数据库。但是由于业务逻辑关系,HBase的r...

  • 项目方案的改进策略

    Avro -> spark-core -> hbase Avro -> spark-core -> hbase加盐分region Avro ->...