文章名称
Adapting Neural Networks for the Estimation of Treatment Effects
核心要点
文章主要针对binary treatment的场景，能够用来估计ATE和CATE。作者提出Dragonnet网络架构，并采取两阶段的学习架构。首先，估计outcome和propensity score，随后，在这个基础上利用targeted regularization，估计causal effect。targeted regularization是非参估计理论中被广泛应用到神经网络的一种正则化方法。
方法细节
问题引入
在unconfoundedness的假设下，我们可以通过调整covariates来从观测数据中无偏的估计因果效应。当propensity score的估计充分且模型假设正确的情况下，对propensity score的调整，可以代替covariates的调整，用来进行causal effect的无偏估计。也就是说，只调整covariates中和treatment assignment相关的covariates就可以。
但是，只是上边这种方法是不能很好估计causal effect的。因为，并没有直接限制两种不同的treatment下covariates或者propensity score的分布具有相似性（balancing）。因此，作者引入targeted regularization，
具体做法
为了模仿通过propensity score来调整covariates，可以利用神经网络来估计propensity score，随后删除掉最后一层预测网络，利用学到的embedding 来作为特征来构建outcome prediction网络。这种方法“很”表示学习（或者说深度学习），通过这个网络，预测outcome相当于基于propensity score来进行outcome预测。但是，这种方法是两阶段的，会导致propensity score的估计误差传递给outcome prediction。深度学习炼丹师自然想到multitask learning，通过多个输出头，由数据决定应该学习哪些特征，放弃哪些特征，并且同时考虑propensity score估计和outcome prediction。Dragnnet的网络结构如下图所示，
是propensity score预测层，
是最后的embedding。
具体的输出预测损失如下图所示。
（To be continued...）
代码实现
（留坑待填...）
心得体会
condition on propensity score predictor？
Dragonnet利用propensity score prediction网络的嵌入学习能力纠正偏差。其实，就是调整confounder，但是，看过RSB-Net，我们不应该去在乎其他只和treatment assignment相关的元素，却和outcome prediction没关系的covariates。从这个角度看，Dragonnet其实有引入和outcome prediction无关的噪音covariates。同时，其实还有一些covariates是只和outcome prediction有关系，也应该被用来predict outcome。这部分在Dragnnet中体现在两个outcome prediction的head上。
