Flutter 填坑笔记:从flutter pub get error 开始,定位Dart SDK问题

  在使用Flutter开发应用的时候,有时需要使用pub工具获取依赖的包。但是国内的开发者往往会遇到下载失败的问题,现象为pub进程崩溃,堆栈如下:

Running "flutter packages get" in startup_namer...
The setter 'readEventsEnabled=' was called on null.
Receiver: null
Tried calling: readEventsEnabled=false
package:pub/src/source/hosted.dart 344   BoundHostedSource._throwFriendlyError
package:pub/src/source/hosted.dart 144   BoundHostedSource.doGetVersions

长文预警:TLDR版本如下,如果你只想解决下载问题,方案如下:
关闭代理,设置环境变量,使用国内镜像下载。

export PUB_HOSTED_URL=https://pub.flutter-io.cn
export FLUTTER_STORAGE_BASE_URL=https://storage.flutter-io.cn

  GitHub上已经有多个Issue,例如/flutter/issues/25068
Dart Team回复的官方解决方案就是上面的办法。

  如果你对问题根因感兴趣,请往下看。

  作为一个程序员要有所追求,我是不满足Dart team这样的回复的 ^^。

  因为有以下疑问:

  1. 我的机器上使用了某灯,fluter的官网和dart官网访问都没有障碍,为何pub不行;
  2. pub需要下载的文件,例如https://pub.dartlang.org/packages/bsdiff/versions/0.1.0.tar.gz,从浏览器中是可以快速下载的。pub只能从中国镜像下载,而且非常慢,项目初始化时太浪费时间。
  3. 即使连接不上,pub也不能崩溃处理,从Log看肯定是代码逻辑有问题。

  从以上三点出发,我猜想pub没有使用代理,还是走原来的网络链接,所以我决定跟踪一下这个问题的根本原因。

STEP 1: 分析入口:flutter pub get 的处理流程 (flutter_tools)

   要想解决问题,首先需要需要找到入口,Android Studio工程中,更新package使用的是命令行命令:

flutter pub get

flutter 是FLUTTER SDK 中提供的脚本,封装了各个工具,作为SDK的总入口,真正生效的是如下语句:

"$DART" --packages="$FLUTTER_TOOLS_DIR/.packages" $FLUTTER_TOOL_ARGS "$SNAPSHOT_PATH" "$@"

运行时变量如下:

dart --packages=~/flutter/packages/flutter_tools/.packages  /~/flutter/bin/cache/flutter_tools.snapshot pub get

解释一下:

  • flutter 作为一个shell脚本,最终通过dart命令调用flutter_tools执行pub get命令;
  • --packages是命令运行时依赖的package路径,这个场景没有用到;
  • .snapshot 文件是DART程序预编译生成的快照文件,可执行,可以简单类比JAVA中的.jar文件。
  • $@ 把后续命令原封不动转发给fluter_tools处理。

flutter_tools代码路径在FLUTTER SDK目录下, 是一个DART语言编写的CLI命令行工具:

~/flutter/packages/flutter_tools

在IDE中可以建立DART Command Line Tool工程查看,编译这个工具,具体可以参考:/flutter/wiki/The-flutter-tool

简单分析一下flutter_tool 的代码逻辑:

  • 项目入口:./bin/flutter_tools.dart; IDE中,配置运行时的文件指定这个,就可以在IDE中运行起来。
void main(List<String> args) {
  executable.main(args);
}
  • 命令处理流程:和JAVA, C常见的CLI程序结构类似,就是分析命令行输入的字符串,路由到对应模块进行处理,例如常用的flutter doctor 命令就在 commands/doctor.dart 中处理:
class DoctorCommand extends FlutterCommand {......}
  • pub命令 :pub命令比较特殊,flutter_tools通过系统命令行接口,调用外部命令实现的:
main() ->
     Executable.main-> 
     FlutterCommandRunner.runCommand -> 
     PackageGetCommand._runPubGet ->
     pubGet() (lib/src/dart/pub.dart)

最终通过SDK的pub组件执行的命令

/// The command used for running pub.
List<String> _pubCommand(List<String> arguments) {
  return <String>[ sdkBinaryName('pub') ]..addAll(arguments);
}

也就是说,代理连接失败,问题不在flutter_tools中,需要继续分析pub流程。

STEP 2: 缩小范围:pub get 的处理流程 (pub)

  • pub 的二进制文件路径在~/flutter/bin/cache/dart-sdk/bin/pub,同样,这是一个shell脚本,最终执行的是。./flutter/bin/cache/dart-sdk/bin/snapshots/pub.dart.snapshot
  • 为了解决问题,我们需要pub的源码,pub 是dart sdk提供的工具,所以源码在dart-lang中,./dart-lang/pub
  • 在Android Studio中同样配置Dart Comman Line工程,不再赘述。pug get -v 可以打印详细log.
  • pub流程分析限于篇幅这里省略,根据崩溃堆栈分析和代码逻辑,pub使用的是dart:io 中的HttpClient

STEP 3: 问题定位:DEMO复现, 编译SDK,跟踪SDK逻辑

  既然问题在dart:io中,我于是单独写了一个DEMO,使用 dart:io 中的 HttpClient 测试,发现问题竟然可以简单复现,激动不已,绕了一大圈终于找到了责任人:

import "dart:io";
import 'dart:convert';
main() async {
  var google = "https://www.google.com/";
  var httpClient = HttpClient();
//  // Lantern proxy, cause crash
  httpClient.findProxy = (uri) {
    return "PROXY 127.0.0.1:45653";
  };
  HttpClientRequest request = await httpClient.getUrl(Uri.parse(baidu));
  HttpClientResponse response = await request.close();
  var responseBody = await response.transform(Utf8Decoder()).join();
  print(responseBody);
}

解释:

  • 测试OS:Ubuntu 18.04
  • 开启某灯:HttpClient使用某灯作为代理(HttpClient. findProxy()设置)
    执行,崩溃日志如下, 可以看到和pub崩溃的日志类似都有 The setter 'readEventsEnabled=' was called on null. 姑且认为是同一个问题导致的。
Unhandled exception: NoSuchMethodError: 
    The setter 'readEventsEnabled=' was called on null. 
    Receiver: null Tried calling: readEventsEnabled=false 
#0 _rootHandleUncaughtError.<anonymous closure> (dart:async/zone.dart:1112:29) 
#1 _microtaskLoop (dart:async/schedule_microtask.dart:41:21) 
#2 _startMicrotaskLoop (dart:async/schedule_microtask.dart:50:5) 
#3 _runPendingImmediateCallback (dart:isolate-patch/isolate_patch.dart:116:13) 
#4 _RawReceivePortImpl._handleMessage (dart:isolate-patch/isolate_patch.dart:173:5)

这里吐槽以下Dart的StackTrace,崩溃日志完全没有打印出现场,T_T,但是可以明确的是问题肯定发生在Dart SDK 的 dart:io library中。
于是,为了定位问题,下载SDK代码,编译,跟踪:

cd dart-sdk/sdk
./tools/build.py --mode debug --arch x64 create_sdk

这里再一次吐槽一下Dart,SDK编译以后,调试时竟然不能打断点跟踪,后续有时间需要分析一下原因。
此处省略定位流程(后续补充HttClient源码分析,敬请期待)。
通过跟踪代码逻辑,最终定位到崩溃地址如下:

  static Future<RawSecureSocket> secure(RawSocket socket,
      {StreamSubscription<RawSocketEvent> subscription,
      host,
      SecurityContext context,
      bool onBadCertificate(X509Certificate certificate),
      List<String> supportedProtocols}) {
    **//crashed at the following line. socket == null**
    socket.readEventsEnabled = false;
    **//crashed at the following line. socket == null**
    socket.writeEventsEnabled = false;
    ......
  }

HttpClient设置代理,此处socket == null;但是socket为什么为null未知;

STEP 4 根本原因定位:

问题已经定位,但是根本原因并不清楚:socket为什么为null,正常的代理流程应该是什么样。
因此,我考虑抓一个正确的场景日志作参考:
本机建立了两个proxyserver, 一个是tinyproxy,一个是lantern。
根据Http协议,客户端首先向proxy server 发送Connect 请求:

CONNECT www.google.com:443 HTTP/1.1
user-agent: Dart2.5(dart:io)
accept-encoding:gzip
content-length:0
host:www.google.com:443

tinyproxy 回复:程序正常运行

HTTP/1.0 200 Connection established
Proxy-agent: tinyproxy/1.8.4

lantern 回复:

HTTP/1.1 200 OK
Date: Wednesday, 14-Aug-19 16:13:22 CST
Keep-Alive: timeout=58
Content-Length: 0

崩溃!
于是,跟踪HttpResponse解析流程,发现 http_parser.dart, _HttpParser._onData 中在处理Http响应有差异。收到lantern的响应后,由于"Content-Length: 0",_HttpParser关闭了socket,从而导致上述socket == null。而tinyproxy走不同的分支,socket得以保留,所以没有问题。

 http_parser.dart

bool _headersEnd() {
......
if (_transferLength == 0 ||
(_messageType == _MessageType.RESPONSE && _noMessageBody)) {
_reset();
var tmp = _incoming;
 *****socket will closed here as "Content-Length: 0"
_closeIncoming();
_controller.add(tmp);
return false;
} else if (_chunked) {
_state = _State.CHUNK_SIZE;
_remainingContent = 0;
} else if (_transferLength > 0) {
_remainingContent = _transferLength;
_state = _State.BODY;
} else {
*****tinyproxy will go to this branch. not closing socket
// Neither chunked nor content length. End of body
// indicated by close.
_state = _State.BODY;
}

因此,修改方案也很简单,增加一个_keepAlive flag,当Http Response 中有 Keep-Alive 字段时,走tinyproxy分支,不关闭socket。

void _doParse() {
...
if (headerField == "keep-alive") {
_keepAlive = true;
}
...

if ((_transferLength == 0 && !_keepAlive) // 不走这个分支,走else
...

本地测试,问题解决。

最后

  洋洋洒洒一大篇,如流水帐一样记录了一下Dart SDK的问题定位流程。回头来看,pub使用了代理,只不过dart:io 使用代理时出现了兼容性问题。目前这个问题已经提了issues/37808,因为涉及到HttpResponse字段的解析,需要对HTTP协议详细分析后才能修改。所以,待最终方案入库后SDK更新才能解决pub error的问题。不过对于我本地而言,使用本地SDK编译的pub已经可以正常工作了。
  写几点学习DART的体会吧:

  • Dart的优点:
    现代化的编成语言,拥有最流行的语言特性(async-await, stream, future),单线程模型降低编码难度,提升gc效率。最关键的是基于dart的flutter框架真正的支持跨平台,Android,iOS,Fuchsia一统天下,前景无限光明。
  • Dart的不足:太年轻,不够成熟稳重
    例如本文这个问题可以归类为一个兼容性问题。目前DART还很年轻,有很多类似的兼容性的问题可能还会出现。我使用 JAVA 的 APACHE HttpClient写了一个测试程序就没有这样的问题。JAVA生态成熟度要远高于Dart
  • DART 还需要在易用性问题上作更好的修改,例如目前遇到的StackTrace不太友好,SDK中的文件不能单步跟踪调试等,对开发人员都形成了一些障碍。
  • 一点建议:对于dart:io 这个lib,大量的代码还是以Future<>.then 的方式写的,如果用async await方式改写,会更好理解些。

总之,DART 有风险,如坑需谨慎,道路或曲折,前途很光明。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 211,948评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,371评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 157,490评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,521评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,627评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,842评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,997评论 3 408
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,741评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,203评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,534评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,673评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,339评论 4 330
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,955评论 3 313
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,770评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,000评论 1 266
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,394评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,562评论 2 349

推荐阅读更多精彩内容