这是Netflix关于实验和决策的系列文章，系统介绍了实验对于Netflix的重要性，实验的最主要工具--A/B测试，数据科学和文化在实验与决策过程中的重要性等。整个系列共七篇文章，这是第一篇。原文：Decision Making at Netflix[1]
- Netflix的决策制定👈
- 什么是A/B测试？
- A/B测试结果之假阳性和显著性统计
- A/B测试结果之假阴性和统计功效
- 在做决定时建立信心
- 实验是数据科学的主要关注点
- 学习的文化
本文是关于Netflix如何基于A/B测试来做出决定的系列文章的第一篇。基于A/B测试做出的决策，Netflix可以不断改进产品，从而不断提升会员的满意度，让我们的会员享受更快乐的生活。后续文章将涵盖A/B测试的基本统计概念、实验在Netflix中的作用、Netflix如何投资基础设施来支持和扩大实验、以及实验文化在Netflix中的重要性。
从创立开始，Netflix的理念就是将消费者的选择和控制置于娱乐体验的中心。作为一家公司，我们不断改进产品，以改善这一价值主张。例如，Netflix的用户界面在过去十年中经历了彻底的转变。早在2010年，用户界面是静态的，只有有限的导航选项，呈现方式的灵感来自于VCD租赁店的显示器。如今，用户界面具有沉浸感和视频预览功能，导航选项更丰富但不那么突兀，方框设计更是充分利用了数字体验。
Netflix做出了无数的决策，才从2010年的用户体验过渡到了我们今天的用户体验。在大显示屏上显示一个视频标题还是显示多个视频标题？视频比静态图像更好吗？如何在受限网络上提供无缝的视频传输体验？如何选择要显示哪些标题？导航菜单放在哪里，应该包含什么？这样的例子不胜枚举。
做决定很容易，难的是做正确的决定。我们如何才能确信做出的决定能够为现有会员提供更好的产品体验，并帮助发展新会员？按照传统的方式，Netflix为了给会员提供更多乐趣，可以采用下面这些方式来决定如何改进产品：
- 让领导来做所有的决定。
- 聘请一些设计、产品管理、用户体验、流媒体交付和其他领域的专家，然后采纳他们最好的想法。
- 进行内部辩论，让我们最有魅力的同事的观点占据上风。
- 抄袭竞争对手。
不管用上面的哪种方式，决策都是依赖于少数人的观点和看法。领导小组就几个人，小组辩论的规模也不大，Netflix在每个需要做决策的领域也只有这么多专家，也许有几十个流媒体或相关服务可以作为我们的灵感来源。此外，这些模式并没有提供系统的方法来做决定或解决冲突的观点。
在Netflix，我们相信有更好的方法来决定如何改善向用户提供的体验：A/B测试。这是基于实验的方式，与由高管或专家组成的小团体参与决策不同，实验让我们所有成员都有机会通过自己的行动，就如何继续发展愉快的Netflix体验进行投票。
更广泛的说，A/B测试，以及其他因果推理方法，如准实验[2]，是Netflix使用科学方法[3]为决策提供信息的方式。我们做出假设，收集实验数据，提供证据支持或反对我们的假设，然后得出结论并产生新的假设。正如我的同事Nirmal Govind所解释的[4]，实验在支撑科学方法的演绎（从普遍原则中得出特定结论）和归纳（从特定结果和观察中形成普遍原则）的迭代循环中发挥着关键作用。
后续文章将深入A/B测试的细节，以及Netflix如何使用测试来为决策提供信息。
References:
[1] Decision Making at Netflix: https://netflixtechblog.com/decision-making-at-netflix-33065fa06481
[2] Quasi Experimentation at Netflix: https://netflixtechblog.com/quasi-experimentation-at-netflix-566b57d2e362
[3] Scientific Method: https://en.wikipedia.org/wiki/Scientific_method
[4] A/B Testing and Beyond Improving the Netflix Streaming Experience with Experimentation and Data: https://netflixtechblog.com/a-b-testing-and-beyond-improving-the-netflix-streaming-experience-with-experimentation-and-data-5b0ae9295bdf
你好，我是俞凡，在Motorola做过研发，现在在Mavenir做技术工作，对通信、网络、后端架构、云原生、DevOps、CICD、区块链、AI等技术始终保持着浓厚的兴趣，平时喜欢阅读、思考，相信持续学习、终身成长，欢迎一起交流学习。
微信公众号：DeepNoMind
