.Net 无法请求三方HTTPS接口的问题记录

最近同事在工作中遇到一件非常离奇的事件,通过HttpClient请求三方的HTTPS接口,在自己的电脑上运行一切正常,在服务器上一直报错:
The SSL connection could not be established,但是PostMan和Chrome却可以正常请求,这个问题已经卡了好久找不到原因。

1.背景

  • 本机系统:Windows 11
  • 服务器系统:Windows Server 2012
  • .Net版本:.Net Core 3.1
  • IE访问:握手失败
  • Chrome:握手成功
  • PostMan:握手成功
  • 程序使用HttpClient:握手失败

2. 问题分析

在网上找了很多方案,这些代码完全没有任何作用,类似下面这种

  1. 添加证书:
//Certificates
X509Certificate2 x509Certificate2 = new X509Certificate2("C:\\Users\\linpa\\Desktop\\预生产证书认证导入教程\\cnooctrm.pem");
myReq.ClientCertificates.Add(x509Certificate2);                
ServicePointManager.ServerCertificateValidationCallback = new RemoteCertificateValidationCallback(CheckValidationResult);
  1. 忽略证书
var handler = new WebRequestHandler();
handler.ServerCertificateValidationCallback = delegate { return true; };
var httpClient = new HttpClient(handler);
httpClient.BaseAddress = new Uri("https://www.baidu.com");
var response = await httpClient.GetAsync("https://www.baidu.com");
  1. 指定protocol使用TLS12 | TLS13

用powershell 通过 invoke-webrequest请求也无法建立连接
之后用Java的程序写了个最简单的请求,秒通。这就强烈的激发了我的好奇心,为什么Java可以,.net不可以呢?

既然powershell和ie都无法成功请求,那么最先怀疑的就是操作系统,2012来说却是有点老了,但是为什么有的程序又能正常请求呢?

基于这个切入点,去网上查阅了大量资料,研究了一下SSL的通信原理,因为服务器本身已经开启了TLS 1.2,并且服务端的协议也是基于TLS1.2的。所以问题应该出在加密套件上了。

3.求证

  1. 通过MySSL对要访问的API域名进行检测,得到的信息如下:
    确定协议是TLS1.2
    加密套件是TLS_ECDHE_RSA_WITH_AES_128_GCM_SHA256,TLS_ECDHE_RSA_WITH_AES_256_GCM_SHA384

    image.png

  2. IISCrypto在.net程序所在的服务器进行检测,这时候TLS1.2是开启的

    image.png

    接着看一下加密套件,可以看到并没有我们要请求的连接对应的加密套件
    image.png

那既然系统里不存在加密套件,那么其他应用为什么能正常请求呢?在查阅了微软的文档之后得出了结论:
.net请求使用的SSLStream是依赖于操作系统本身的,而Chrome、Postman等软件是不依赖操作系统的

Ok,到此为止我们的问题是比较清晰了,那么难道说在.net runtime下难道没有其他办法了么?

4. 解决方案

  1. 升级操作系统,至少到Windows server 2016
    不过这个显然不可能实现,客户也不答应(人Java不是跑的好好地,不行就换Java团队来)
  2. 用Java去请求,然后我们去请求Java。。。。,走http请求应该是ok的,当然也不可能真这么搞
  3. 使用其他语言搞一个DLL让C#来调用,比如Go 语言提供了 CGO 机制,不过这个开发成本不太划算

既然HttpClient和WebRequest都不行,有没有不依赖runtime的原生实现呢?类似于第三种方案,答案是有
GitHub上有这么一个项目:https://github.com/stil/CurlThin
它不依赖于操作系统的密码套件,可以自己指定,相关代码如下:

CurlResources.Init();
    var global = CurlNative.Init();
    var easy = CurlNative.Easy.Init();
    string content;

    try
    {
        var dataCopier = new DataCallbackCopier();

        CurlNative.Easy.SetOpt(easy, CURLoption.URL, "https://someendpoints.net/thatendpoint?fake=true");
        CurlNative.Easy.SetOpt(easy, CURLoption.WRITEFUNCTION, dataCopier.DataHandler);
        //This string is needed when you call a https endpoint.
        CurlNative.Easy.SetOpt(easy, CURLoption.CAINFO, CurlResources.CaBundlePath);

        var headers = CurlNative.Slist.Append(SafeSlistHandle.Null, "Authorization: Bearer blablabla");
        CurlNative.Easy.SetOpt(easy, CURLoption.HTTPHEADER, headers.DangerousGetHandle());
        //Your set of ciphers, full list is here https://curl.se/docs/ssl-ciphers.html
        CurlNative.Easy.SetOpt(easy, CURLoption.SSL_CIPHER_LIST, "ECDHE-RSA-AES256-GCM-SHA384:ECDHE-RSA-AES128-GCM-SHA256");

        CurlNative.Easy.Perform(easy);

        content = Encoding.UTF8.GetString(dataCopier.Stream.ToArray());
    }
    finally
    {
        easy.Dispose();

        if (global == CURLcode.OK)
            CurlNative.Cleanup();
    }

    return content;

至此,这个问题总算是被解决了,虽然算不上完美,不过至少不需要因此而升级操作系统或者弃用.NET。
DotNet的官方github仓库曾经有人提过类似的issue,不过被不能复现、不是NET的问题等close了。不过我确实没想明白微软这么做的目的是什么?为什么一定要强依赖操作系统,难道会更安全?

以下是分过程中用到的一些工具链接,希望对你有帮助,如果有更好的方案一定要分享

myssl:https://myssl.com/
IISCrypto:https://www.nartac.com/Products/IISCrypto/Download
CurlThin:https://github.com/stil/CurlThin

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 213,099评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,828评论 3 387
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 158,540评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,848评论 1 285
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,971评论 6 385
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,132评论 1 291
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,193评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,934评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,376评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,687评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,846评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,537评论 4 335
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,175评论 3 317
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,887评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,134评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,674评论 2 362
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,741评论 2 351

推荐阅读更多精彩内容