学师大术

1.使用telnet工具可以测试TCP端口连通 2.使用nc工具测试TCP和UDP的连通性 3.nc测试是否可以开启端口

学师大术

问题现象 cpu使用率高 分析过程 使用top命令获取cpu的高的进程编号PID。op显示信息，需要关注的相关信息： load average：反映了任务队列的平均长度。如果...

学师大术

问题描述 yarn的app没有显示，hdfs上存在其app的日志 处理过程 1.检查配置yarn.resourcemanager.max-completed-applicat...

学师大术

1.查看topic的情况kafka-topics.sh --describe --zookeeper 172-16-56-31:24002/kafka --topic TOP...

学师大术

运行完成的任务日志收集 运行结束的日志会自动归集到hdfs日志目录：/tmp/logs/*/logs/appid路径下，需要使用hdfs客户端进行日志收集。 步骤一：首先在y...

学师大术

问题描述 spark1.5中，使用spark-sql无法使用replace函数 问题原因 目前版本兼容性问题 解决措施 spark不支持replace函数。使用regexp_...

学师大术

版本 U10SPC005 kafka 问题描述 kafka单broker故障，提示异常如下： 分析过程 1.对比这个文件/srv/BigData/kafka/data1/...

学师大术

问题描述 distcp跨集群拷贝文件，失败异常如下。 分析过程 1.找到application_1562833599927_0815 在yarn上，存在节点问题。2.增加de...

学师大术

问题描述 运行一天发现访问hbase失败，异常如下token cant be found In cache。 分析 1.检查配置项，怀疑是缓存导致，spark.inputFo...

学师大术

版本 70版本 Spark2.1 问题描述 使用spark on hbase特性时候，开启spark.yarn.security.credentials.hbase.enab...

学师大术

1.修改regionserver参数的参数：hbase.regionserver.hfile.durable.sync falsehbase.regionserver.wal...

学师大术

1.检查hdfs状况hdfs fsck /2.检查文件位置hdfs fsck / -files -blocks -locations3.检查损坏的块位置hdfs fsck -...

学师大术

固定消费补丁包位置 1.检查下所有spark节点，如下路径的jar包/opt/huawei/Bigdata/FusionInsight/FusionInsight-Spark...

学师大术

set role amdin;ALTER TABLE hb_d02_phy_inc_half.table_signs RENAME TO table_signs_bak;cr...

学师大术

问题描述 hive执行sql包含join时候，提示异常: ERROR | main | Hive Runtime Error: Map local work exhauste...

学师大术

版本：C80问题处理：1.先统计句柄数量：统计下系统句柄数量排行：lsof -n|awk '{print $2}'|sort|uniq -c|sort -nr|more统计进...