[Python 分布式任务队列 celery] flask-loginflask_sqlalchemy
发简信
IP属地：云南
-
分布式Alluxio配置部署alluxio 分布式 配置分布式Alluxio： 1.下载Alluxio发布版本并解压到各个节点2.进入各个节点的解压后的文件夹，该文件夹中包含所有的Alluxio源文件和...
-
2023-11-13 优化tidb写操作
tidb集群，版本5.2 ，24个节点，全SSD配置，单机4个tikv实例，对应4块2T的SSD。 yto-bigdata-tidb-TiKV-Details/Schedul...
-
2023-11-13 测试任务并发大小对HADOOP集群的性能影响
集群使用CDH5.16.1版本。hadoop2.6.0 spark1.6 hive1.1规模290节点 ，单台分配384G内存，48VCORE （内存:CORE比 8:1）n...
-
2023-09-14 hive on spark执行RunningTasksCount数逐渐减少问题
目前发现hive on spark任务执行时，有几率会在执行过程中RunningTasksCount数逐渐减少，导致任务执行效率降低。通过排查资源，未发现资源不足，hdfs ...
-
2023-09-11 为什么在hadoop中会出现大量冗余块产生？
为什么在hadoop中会出现大量冗余块产生？在hive中，使用动态分区方式在hdfs中写入大量数据（5T），namenode出现service rpc线程队列顶满排队，数据无...
-
2023-09-06 max process参数过小异常与hive配置文件更改
CDH 在修改了hive-site.xml中的参数后，需要在hive配置修改后，点击【操作】->【部署客户端配置】，将所有gateway节点进行同步。 在ulimit中修改了...
-
2023-05-22 presto加载多个mysql数据源
只需要在配置etc/catalog中配置多个mysql相关properties,前缀名字区分。内部connect.name统一都配置mysql 使用时通过配置文件前缀进行区分...
-
2022-11-14cdh5.16环境下使用spark3,Kyuubi 环境搭建
只记有问题的点。 首先配置spark3的环境变量在$KYUUBI_HOME/conf/kyuubi-env.sh 配置$KYUUBI_HOME/conf/kyuubi-def...
-
2023-03-29 split-table
1、split-table为每个 table 建立单独的 Region。 针对创建表（新生数据） ：此table下的regions（多个），每个region都只保存此tabl...
-
2023-03-29参数SHARD_ROW_ID_BITS = 4
聚簇索引 (clustered index) 是 TiDB 从 v5.0 开始支持的特性，用于控制含有主键的表数据的存储方式。通过使用聚簇索引，TiDB 可以更好地组织数据表...
-
2023-03-16 dbeaver连接kyuubi时kerberos认证出现问题
目前我们的kyuubi提供了JDBC服务，通过dbeaver作为客户端进行连接。但是出现了无法认证的情况，连接日志没有到kyuubi服务端就异常了。但是如果在dbeaver上...
-
2023-03-03 Prometheus Alertmanager Webhook与钉钉结合
首先配置alertmanager.yml 其次配置alertmanager与prometheus相结合，在prometheus.yml中增加 然后还是配置prometheus...
-
2023-03-03 服务发现
在prometheus.yml中配置的静态功能static_configs 来手工添加主机IP地址与端口。首先在应用JVM中配置，例如在namenode中配置 在promet...
-
2023-02-16 tispark使用时需要注意分区裁剪问题
tispark使用时需要注意分区裁剪问题，在tispark中的分区裁剪只能使用在to_day方式进行的分区表。不能用unix_timestamp限制的。而且在tidb中产生的...
-
2022-12-30 加载外部表
创建资源。StarRocks 支持创建以下资源：Apache Spark™、Apache Hive™、Apache Iceberg、 Apache Hudi 和 JDBC。其...
-
2022-12-22数据倾斜问题排查explain分析Explainselect order_channel_code,order_date,rpt_date,count(seller_id) as wa...
-
2022-12-22 建表参数解析
replication_num 副本数 dynamic_partition.enable 开启动态分区dynamic_partition.start 动态分区的开始时间。以...
-
2022-12-20开发小窍门
在 StarRocks 中提供了三种不同类型的 join： 当小表与大表关联时，可以使用 boardcast join，小表会以广播的形式加载到不同节点的内存中当大表与大表关...
