【学习】hadoop各种问题

1、端口指南
https://blog.csdn.net/u011563666/article/details/79026114
用于 https服务的端口就是直接可以通过网址访问的,比如
NameNode - http://localhost:9870 (原来是50070,改为了9870)
ResourceManager - http://localhost:8088

2、python权限
用python上传文件到hadoop显示没有权限,直接在终端里面是可以操作的,查看了一下,hadoop文件价原本的权限是:
rw-r--r--,第一部分RW-代表当前用户具有读写的权限。第二部分的R--代表当前用户所在的用户组中其他成员只有读得权限,最后一个R--表示额外的其他用户只有读得权限。
所以用命令更改文件夹权限为rwx rwx rwx那么普通用户就可以成功的访问hdfs了,可以执行写入hadoop 分布式文件系统。
https://blog.csdn.net/OldDirverHelpMe/article/details/90144986

3、mysql权限
mysql执行导出任务时,显示报错:

select * from top_value into outfile '/Users/ranmo/Desktop/数据分析案例/top_value.csv';

OS errno 13 - Permission denied

所以是权限问题:https://www.cnblogs.com/puloieswind/p/5845638.html
要么是导出目标文件夹没有权限,要么是数据库没有权限。
用ls -l命令查看目标文件夹权限后,执行chmod -R 777 /Users/ranmo/Desktop/数据分析案例/ ,此时目标文件夹有权限但是仍旧无法导入。
推测是数据库没有权限,执行cd /usr/local/mysql/data/ 竟然都无法进去,用chmod -R 777 /usr/local/mysql/data/ 赋予权限也不行,只能采用手动前往目录文件夹——显示简介—更改权限的方法人工调整,之后数据库能进来了,但是也只有采用人工调整的办法更改所有文件权限,更改之后:

(base) ranmodeiMac:data ranmo$ ls -l
total 338248
drwxrwxrwx   12 _mysql  _mysql       408  7 23 23:51 #innodb_temp
-rw-r-----    1 _mysql  _mysql        56  7 23 02:52 auto.cnf
-rw-r-----    1 _mysql  _mysql       667  7 23 02:52 binlog.000001
-rw-r-----    1 _mysql  _mysql     83865  7 23 20:26 binlog.000002
-rw-r-----    1 _mysql  _mysql       178  7 23 23:40 binlog.000003
-rw-r-----    1 _mysql  _mysql       178  7 23 23:44 binlog.000004
-rw-r-----    1 _mysql  _mysql       178  7 23 23:48 binlog.000005
-rw-r-----    1 _mysql  _mysql       178  7 23 23:51 binlog.000006
-rw-r-----    1 _mysql  _mysql       155  7 23 23:51 binlog.000007
-rw-r-----    1 _mysql  _mysql       112  7 23 23:51 binlog.index
-rw-------    1 _mysql  _mysql      1676  7 23 02:52 ca-key.pem
-rw-r--r--    1 _mysql  _mysql      1112  7 23 02:52 ca.pem
-rw-r--r--    1 _mysql  _mysql      1112  7 23 02:52 client-cert.pem
-rw-------    1 _mysql  _mysql      1676  7 23 02:52 client-key.pem
drwxrwxrwx   77 _mysql  _mysql      2618  7 23 03:16 hive
-rw-r-----    1 _mysql  _mysql      3858  7 23 23:51 ib_buffer_pool
-rw-r-----    1 _mysql  _mysql  50331648  7 23 23:51 ib_logfile0
-rw-r-----    1 _mysql  _mysql  50331648  7 23 02:52 ib_logfile1
-rw-r-----    1 _mysql  _mysql  12582912  7 23 23:51 ibdata1
-rw-r-----    1 _mysql  _mysql  12582912  7 23 23:51 ibtmp1
drwxrwxrwx    8 _mysql  _mysql       272  7 23 02:52 mysql
-rw-r-----    1 _mysql  _mysql  24117248  7 23 23:51 mysql.ibd
-rw-r-----    1 _mysql  _mysql      7959  7 23 23:51 mysqld.local.err
-rw-r-----    1 _mysql  _mysql         5  7 23 23:51 mysqld.local.pid
drwxrwxrwx  105 _mysql  _mysql      3570  7 23 02:52 performance_schema
-rw-------    1 _mysql  _mysql      1680  7 23 02:52 private_key.pem
-rw-r--r--    1 _mysql  _mysql       452  7 23 02:52 public_key.pem
-rw-r--r--    1 _mysql  _mysql      1112  7 23 02:52 server-cert.pem
-rw-------    1 _mysql  _mysql      1676  7 23 02:52 server-key.pem
drwxrwxrwx    3 _mysql  _mysql       102  7 23 02:52 sys
-rw-r-----    1 _mysql  _mysql  11534336  7 23 23:51 undo_001
-rw-r-----    1 _mysql  _mysql  11534336  7 23 23:40 undo_002

几个库,包括hive库是全权限啊,然而还是无法导出。。。
最后参考这个办法,成功了:
https://blog.csdn.net/zx1245773445/article/details/82316268
http://www.360doc.com/content/15/1231/20/1073512_524491459.shtml
所以其实还是数据库权限问题,只能先导出到临时目录,再进行转换了。

4、shell中操作mysql问题:
https://blog.csdn.net/long12310225/article/details/77521957
在shell中进入mysql然后单独执行sql语句没有任何问题,最后也可以用quit;退出,
但是如果是执行sh脚本,脚本中用eof执行sql语句的话,就不一样了?!!一个是创建新表列名不能喊引号’,还有最后退出是exit 不是quit; ??目前遇到这些问题,可能之后还有更多问题。

5、mac shell定时
https://www.jianshu.com/p/bc3441f88e36

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 216,496评论 6 501
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,407评论 3 392
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 162,632评论 0 353
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,180评论 1 292
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,198评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,165评论 1 299
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,052评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,910评论 0 274
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,324评论 1 310
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,542评论 2 332
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,711评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,424评论 5 343
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,017评论 3 326
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,668评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,823评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,722评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,611评论 2 353

推荐阅读更多精彩内容