OPENSSL的TLS有两种证书验证方式，本文主要对使用callback的方式进行探讨。
验证方式
- 指定CA文件：
SSL_load_client_CA_file - 通过callback：
SSL_CTX_set_cert_verify_callback
在客户端通过指定CA文件的方式进行验证，有很多安全隐患，比如：文件可以被篡改，无法读取，或者文件内容没有及时刷新。因此我们主要讨论第二种方案，即：通过callback来验证证书。在 callback里面获取证书内容，然后调用OS相关API进行验证。
获取证书内容
这里以iOS举例里说明如何进行验证。
我们看下callback的方法原型：int (*cb) (X509_STORE_CTX *ctxstore, void *arg)，我们能处理的数据在 ctxstore参数里面。而在iOS 上验证证书，我们可以通过API SecCertificateCreateWithData 创建证书对象进行后续的验证操作。注意这个API从一个opaque buffer 创建证书。那么对于 X509_STORE_CTX ，哪些字段是用于证书验证的呢？
struct x509_store_ctx_st { /* X509_STORE_CTX */
......
/* The cert to check */
X509 *cert;
/* chain of X509s - untrusted - passed in */
STACK_OF(X509) *untrusted;
......
};
注意 SecCertificateCreateWithData 的参数需要 "DER encoded X.509 certificate. "，而X509_STORE_CTX.cert和 X509_STORE_CTX.untrusted是一个X509的struct，需要转换成一个DER encoded X.509 的buffer才能使用。
同时，我们需要校验的是证书链，而不是单个证书，因此我们需要用到的是 X509_STORE_CTX.untrusted 参数。不要被X509_STORE_CTX.cert和 X509_STORE_CTX.untrusted 迷惑，X509_STORE_CTX.cert 就是X509_STORE_CTX.untrusted[0]。
验证证书
iOS上系统定义了验证证书的3种策略：
SecPolicyRef SecPolicyCreateBasicX509(void)，
SecPolicyRef SecPolicyCreateSSL(Boolean server, CFStringRef __nullable hostname)
SecPolicyRef SecPolicyCreateRevocation(CFOptionFlags revocationFlags)
并定义了一个自定义策略
SecPolicyRef SecPolicyCreateWithProperties(CFTypeRef policyIdentifier,CFDictionaryRef __nullable properties)
其中 SecPolicyCreateBasicX509 缺少域名校验，不建议在TLS中使用。
SecPolicyCreateRevocation 检查域名是否吊销，不建议使用，除非你需要改变默认的证书验证行为。
这里我们只需要跟系统默认行为保持一致，因此我们选择 SecPolicyCreateSSL作为我们的policy.
验证证书有效性
iOS 上验证证书比较简单：先创建证书对象 SecCertificateCreateWithData ，然后创建验证策略 SecPolicyCreateSSL，最后调用 SecTrustEvaluate 验证证书即可。
验证域名有效性
ANDROID 上需要额外验证域名是否有效，虽然系统有接口 javax.net.ssl.HostnameVerifier，但在我们的场景中是无法使用的，因为我们自己接管了SSL的握手过程，没有verify接口所需的SSLSession 对象。因此我们需要自己解析证书里面的SAN(subject alternative names)列表和DN名称，然后校验域名是否匹配SAN和DN。
遇到的问题及解决思路
-
SecTrustEvaluate返回错误码 kSecTrustResultRecoverableTrustFailure返回这个错误码的原因很多：证书过期，域名不匹配等等。可以先用浏览器打开对应URL，查看证书详情。如果浏览器上证书正常，那么多半是因为SVR多域名的问题。具体原因是：如果SVR配置了多个域名，那么对应的就会有多个证书。而如果CLIENT握手的时候没有指定域名，则SVR返回的证书，里面的域名和CLIENT请求的可能不一致，从而导致这个问题。举个例子，假设SVR有两个域名 www.host1.com, www.host2.com。 如果CLIENT请求的时候，连接的SVR域名为 www.host1.com，并且握手时没有指定域名，那么SVR有可能返回www.host2.com 的证书，从而导致域名校验失败。这里建议无论SVR是否是多域名，都在SSLConnect之前，调用 SSL_set_tlsext_host_name 设置握手过程的域名。
代码片段
// openssl tls handleshake
struct context{
......;
char szhost[256]; // max hostname len is 255
};
context verifyctx;
strncpy(verifyctx.szhost, _svr_host.c_str(), 255);
verifyctx.szhost[255] = '\0';
//callback
auto verifycb = [](X509_STORE_CTX *ctx, void *arg) -> int{
context* verifyctx = reinterpret_cast<context*>(arg);
//
std::vector<std::string> certschain;
for(int i = 0; i < sk_X509_num(ctx->untrusted); i++){
unsigned char* certout = nullptr;
int certsize = i2d_X509(sk_X509_value(ctx->untrusted, i), &certout);
xassert2(certsize > 0);
certschain.push_back(std::string((const char*)certout, certsize));
OPENSSL_free(certout);
}
ctx->error = doCertificateVerify(std::string(verifyctx->szhost), certschain);
return X509_V_OK == ctx->error ? 1 : 0;
};
SSL_CTX_set_cert_verify_callback(ssl_ctx_, verifycb, &verifyctx);
.........
SSL_Connect(...);
// certificate verify
int doCertificateVerify(const std::string& hostname, const std::vector<std::string>& certschain){
#if __APPLE__
CFMutableArrayRef certlist = CFArrayCreateMutable(kCFAllocatorDefault, 0, &kCFTypeArrayCallBacks);
for(int i = 0; i < certschain.size(); i++){
CFDataRef dataref = CFDataCreateWithBytesNoCopy(kCFAllocatorDefault, (const uint8_t*)certschain[i].data(), certschain[i].size(), kCFAllocatorNull);
CFArrayAppendValue(certlist, SecCertificateCreateWithData(nullptr, dataref));
}
CFStringRef label = CFStringCreateWithCString(NULL, hostname.c_str(), kCFStringEncodingUTF8);
SecPolicyRef policy = SecPolicyCreateSSL(true, label);
CFRelease(label);
SecTrustRef trustref;
OSStatus status = SecTrustCreateWithCertificates(certlist, policy, &trustref);
if (0 != status){
CFRelease(certlist);
CFRelease(policy);
return X509_V_ERR_OUT_OF_MEM;
}
SecTrustResultType result = kSecTrustResultInvalid;
status = SecTrustEvaluate(trustref, &result);
CFRelease(certlist);
CFRelease(policy);
CFRelease(trustref);
int rv = X509_V_ERR_UNSPECIFIED;
if (0 == status){
rv = (kSecTrustResultUnspecified == result || kSecTrustResultProceed == result) ? X509_V_OK : X509_V_ERR_UNSPECIFIED;
}
return rv;
#else
#error not impl
#endif
return X509_V_ERR_INVALID_CA;
}
