mysql

  • 今天有一个给数据库中插入700w数据的小脚本,最后选择用source xx.sql实现,这里看记录一下实现的过程
  • 1 使用进入mysql 中后source xx.sql,客户端一直在刷,做不了其他事情,放弃;
    2 选择在mysql外运行source 命令,具体如下:
    mysql -hlocalhost -uroot -ppassword db_name < "d:\\db_bak.sql"
    但是运行一段时间,会因为insert语句错误导致中断结果
    3 下面查到可以强制运行,忽略错误,语句如下:
    mysql -hlocalhost -uroot -ppassword db_name --force < "d:\\db_bak.sql"
    4 但是700w数据太大,因此运行时间太长,并且中间尝试过一次mac上的securt的客户端断开以后就会出现insert 数据停止的问题。最后想到将数据切片以后再后台进行运行:
nohup mysql -h10.99.196.227 -P8306 -utest -pxxxxx -Daodfeed --force< title_1.sql > out_1.file 2>&1 &
nohup mysql -h10.99.196.227 -P8306 -utest -pxxxxx -Daodfeed --force< title_2.sql > out_2.file 2>&1 &
nohup mysql -h10.99.196.227 -P8306 -utest -pxxxxx -Daodfeed --force< title_3.sql > out_3.file 2>&1 &
nohup mysql -h10.99.196.227 -P8306 -utest -pxxxxx -Daodfeed --force< title_4.sql > out_4.file 2>&1 &
nohup mysql -h10.99.196.227 -P8306 -utest -pxxxxx -Daodfeed --force< title_5.sql > out_5.file 2>&1 &
nohup mysql -h10.99.196.227 -P8306 -utest -pxxxxx -Daodfeed --force< title_6.sql > out_6.file 2>&1 &
nohup mysql -h10.99.196.227 -P8306 -utest -pxxxxx -Daodfeed --force< title_7.sql > out_7.file 2>&1 &
数据切片命令如下:
split -l 1000000 ../titles_sql_all.sql -d -a 4 title_

5 nohup
用途:不挂断地运行命令。
语法:nohup Command [ Arg ... ] [ & ]
描述:nohup 命令运行由 Command 参数和任何相关的 Arg 参数指定的命令,忽略所有挂断(SIGHUP)信号。在注销后使用 nohup 命令运行后台中的程序。要运行后台中的 nohup 命令,添加 & ( 表示“and”的符号)到命令的尾部。

6 操作系统输入流
操作系统中有三个常用的流:
  0:标准输入流 stdin
  1:标准输出流 stdout
  2:标准错误流 stderr
  一般当我们用 > console.txt,实际是 1>console.txt的省略用法;< console.txt ,实际是 0 < console.txt的省略用法。

7 命令解释
nohup ./start-dishi.sh >output 2>&1 &
解释:

  1. 带&的命令行,即使terminal(终端)关闭,或者电脑死机程序依然运行(前提是你把程序递交到服务器上);
  2. 2>&1的意思
      这个意思是把标准错误(2)重定向到标准输出中(1),而标准输出又导入文件output里面,所以结果是标准错误和标准输出都导入文件output里面了。 至于为什么需要将标准错误重定向到标准输出的原因,那就归结为标准错误没有缓冲区,而stdout有。这就会导致 >output 2>output 文件output被两次打开,而stdout和stderr将会竞争覆盖,这肯定不是我门想要的.
  • 小结:
    期间问过一个运维大哥,说是:
    一般常见的后台执行语句格式是 command & > out.file &
    但是有些系统或者shell这样执行的话还是会中断,最保险的方式是这个 nohup command > out.file 2>&1 &
    好像&可以保证后台运行,但是nohup貌似更好用,我理解的nohup相当于是linux开了多个线程进行insert,反正速度比单一一道命令快很多。
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。