搞定Spark 源码单元测试

在Spark源码上添加了些代码,想做个单元测试,倒弄了半天,发现怎么着都会跑所有的单测,好浪费时间。

找了半天,解决方法:

mvn test -DwildcardSuites=org.apache.spark.io.CompressionCodecSuite -Dtest=nothing -DfailIfNoTests=false

当然,你可以把pom.xml中你不需要的Module先临时去掉,这样可以节约一部分编译依赖时间。


回头看上述方法还是有问题,参考:https://spark.apache.org/developer-tools.html,单个测试说的很明白,如下:

build/sbt
project core
testOnly org.apache.spark.scheduler.DAGSchedulerSuite

TODO: 同时在sql package下有着许多压测,可以尝试着测试下。

参考:

  1. https://stackoverflow.com/questions/32510133/how-to-run-only-a-single-scalatest-via-wildcardsuites-in-spark-when-including
  2. https://issues.apache.org/jira/browse/SPARK-4159
  3. https://spark.apache.org/docs/latest/building-spark.html#pyspark-tests-with-maven
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容