curl 备忘录

参考文档:curl 的用法指南

1、二进制上传内容

curl -X PUT -T {{file_path}} {{url}}

等同于js

// base64的图片内容
var data = "data:image/png;base64,iVBORw0KGgoxxxxxxxxxxxxxxxxxx9NcTqB0H/oAAAAASUVORK5CYII=";

var xhr = new XMLHttpRequest();
xhr.withCredentials = true;
// 上一步获取的上传地址
xhr.open("PUT", "https://example.com/xxxxxxxc", true);
xhr.send(convertBase64UrlToBlob(data));

/**  
 * 将以base64的图片url数据转换为Blob  
 * @param urlData  
 *            用url方式表示的base64图片数据  
 */  
function convertBase64UrlToBlob(urlData){  
    var bytes=window.atob(urlData.split(',')[1]);        //去掉url的头,并转换为byte  
    //处理异常,将ascii码小于0的转换为大于0  
    var ab = new ArrayBuffer(bytes.length);  
    var ia = new Uint8Array(ab);  
    for (var i = 0; i < bytes.length; i++) {  
        ia[i] = bytes.charCodeAt(i);  
    }  
    return new Blob( [ab] , {type : 'image/png'});  
} 

2、指定请求method

curl -X POST https://www.example.com

默认是get

curl https://www.example.com

3、添加header

-H参数添加 HTTP 请求的标头,可添加多个

curl -H 'Accept-Language: en-US' -H 'Secret-Message: xyzzy' https://google.com
  • -A参数指定User-Agent
curl -A 'Mozilla/5.0' https://google.com
等同于
curl -H 'User-Agent: Mozilla/5.0' https://google.com
  • -b参数用来向服务器发送 Cookie
curl -b 'foo1=bar;foo2=bar2' https://google.com
等同于
curl -H 'cookie: foo1=bar' -H 'cookie: foo2=bar2' https://google.com

4、添加cookie

  • -c参数将服务器的 HTTP 回应设置的 Cookie 写入一个文件。
curl -c cookies.txt https://www.google.com
  • -b读取cookie文件
curl -b cookies.txt https://www.google.com

5、请求体

-d参数用于发送 POST 请求的数据体

curl -d 'login=emma&password=123' -X POST https://google.com/login
或者
curl -d 'login=emma' -d 'password=123' https://google.com/login
或读取本地文本文件内容作为数据体
curl -d '@data.txt' https://google.com/login

使用-d参数以后,HTTP 请求会自动加上标头Content-Type : application/x-www-form-urlencoded 并且会自动将请求转为 POST 方法,因此可以省略-X POST

6、文件上传

-F参数用来向服务器上传二进制文件。

curl -F 'file=@photo.png;type=image/png;filename=me.png' https://google.com/profile

上面命令:

  • 指定 MIME 类型为image/png,否则 curl 会把 MIME 类型设为application/octet-stream
  • 自动给 HTTP 请求加上标头Content-Type: multipart/form-data,然后将文件photo.png作为file字段上传。
  • 原始文件名为photo.png,但是服务器接收到的文件名为me.png

7、文件下载

-o参数将服务器的回应保存成文件,等同于wget命令;
-O参数将服务器回应保存成文件,并将 URL 的最后部分当作文件名

curl -o example.html https://www.example.com
或
curl -O https://www.example.com/foo/bar.html

8、限流

--limit-rate用来限制 HTTP 请求和回应的带宽,模拟慢网速的环境。

 curl --limit-rate 200k https://google.com

上面命令将带宽限制在每秒 200K 字节

9、请求详情

-v参数输出通信的整个过程,用于调试

 curl -v https://www.example.com

10、请求耗时明细

参考文档:
使用 curl 命令分析请求的耗时情况
A Question of Timing

  • vim curl-format.txt
    输入内容
time_namelookup:  %{time_namelookup}\n
time_connect:  %{time_connect}\n
time_appconnect:  %{time_appconnect}\n
time_redirect:  %{time_redirect}\n
time_pretransfer:  %{time_pretransfer}\n
time_starttransfer:  %{time_starttransfer}\n
----------\n
time_total:  %{time_total}\n
  • 参数说明:

time_namelookup:DNS 域名解析的时间,就是把 https://zhihu.com 转换成 ip 地址的过程
time_connect:TCP 连接建立的时间,就是三次握手的时间 ,计算方式:time_connect - time_namelookup
time_appconnect:SSL/SSH 等上层协议建立连接的时间,比如 connect/handshake 的时间
time_redirect:重定向时间,包括到内容传输前的重定向的DNS解析、TCP连接、内容传输等时间
time_pretransfer:从请求开始到向服务器发送第一个GET请求开始之前的耗时
time_starttransfer:从请求开始到响应内容传输前的时间
time_total:从请求开始到完成的总耗时

image.png
  • 其中的运算关系:

DNS请求耗时 = time_namelookup
-------域名的NS及本地使用DNS的解析速度
TCP三次握手耗时 = time_connect - time_namelookup
-------服务器网络层面的速度
SSL握手耗时 = time_appconnect- time_connect
-------服务器处理HTTPS等协议的速度
服务器处理请求耗时 = time_starttransfer - time_pretransfer
-------服务器处理HTTP请求的速度
TTFB耗时 = time_starttransfer - time_appconnect
-------服务器从接收请求到开始到收到第一个字节的耗时
服务器传输耗时 = time_total - time_starttransfer
-------服务器响应第一个字节到全部传输完成耗时
总耗时 = time_total

  • curl命令
curl -w "@curl-format.txt" -o /dev/null -s 'https://example.com/file1" \
  -H 'accept: */*' \
  -H 'cache-control: no-cache' \
  -H 'cookie: my-token=abcs342340okcasdc=' 
  • sh脚本统计耗时
#!/bin/bash

Default_URL=https://www.baidu.com
URL=${1:-$Default_URL}

Result=`curl -o /dev/null -s $URL \
        -w \
        'time_namelookup=%{time_namelookup}
time_connect=%{time_connect}
time_appconnect=%{time_appconnect}
time_redirect=%{time_redirect}
time_pretransfer=%{time_pretransfer}
time_starttransfer=%{time_starttransfer}
time_total=%{time_total}
'`


declare $Result

curl_timing(){
    printf "\e[92mcURL Timing: \e[0m\n"
    for i in $Result
    do  
            IFS='='
            printf "\e[96m%18s \e[0m: %10s \n" $i
    done
}
stat_timing(){

    Result_TCP=`printf "%.6f" $(echo $time_connect - $time_namelookup |bc -l)`
    Result_TLS=`printf "%.6f" $(echo $time_appconnect - $time_connect |bc -l)`
    Result_Server=`printf "%.6f" $(echo $time_starttransfer - $time_pretransfer |bc -l)`
    Result_TTFB=`printf "%.6f" $(echo $time_starttransfer - $time_appconnect |bc -l)`
    Result_Transfer=`printf "%.6f" $(echo $time_total - $time_starttransfer |bc -l)`

    printf "\n\e[92mResource Timing: \e[0m\n"
    printf "\e[96m%18s \e[0m: %.6f \n" "DNS Lookup" $time_namelookup
    printf "\e[96m%18s \e[0m: %.6f \n" "TCP Connection" $Result_TCP
    
    if  [ `echo "$time_appconnect == 0"|bc` -eq 0 ]
    then
        printf "\e[96m%18s \e[0m: %.6f \n" "TLS Handshake" $Result_TLS
    fi

    printf "\e[96m%18s \e[0m: %.6f \n" "Server Processing" $Result_Server
    printf "\e[96m%18s \e[0m: %.6f \n" "TTFB" $Result_TTFB
    printf "\e[96m%18s \e[0m: %.6f \n" "Content Transfer" $Result_Transfer
    printf "\e[96m%18s \e[0m: %.6f \n" "Finish" $time_total
}

curl_timing
stat_timing 

使用方法:

./curl_stat.sh https://www.baidu.com
结果

image.png

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 216,258评论 6 498
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,335评论 3 392
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 162,225评论 0 353
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,126评论 1 292
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,140评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,098评论 1 295
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,018评论 3 417
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,857评论 0 273
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,298评论 1 310
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,518评论 2 332
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,678评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,400评论 5 343
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,993评论 3 325
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,638评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,801评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,661评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,558评论 2 352

推荐阅读更多精彩内容