BigDL是一个基于Apache Spark的开源分布式深度学习框架,可以直接在现有的大数据集群上用深度学习技术来分析大数据,而不需要对数据进行任何拷贝。让深度学习和大数据平台能够无缝、非常容易地结合在一起,使得深度学习更易于被大数据的社区和数据科学的社区使用。Analytics Zoo是Spark和BigDL的扩充,它的目的是方便用户开发基于大数据端到端学习的应用,除了内置的模型、内置的一些非常简单的操作之外,它里面还提供了大量的高级的流水线的支持,能够使用Spark DataFrames、ML Pipelines的深度学习流水线,能够通过迁移学习的API构建API模型的定义,在这个基础上就可以很方便地将我们提供的Model Zoo的模型甚至端到端的参考应用。
宝信软件研发并推出的具有自主知识产权的大数据平台软件 xInsight 及一体机产品 xIncube,率先应用在智能制造和智慧城市领域。宝信软件组建了AI(人工智能)研究团队,通过与业界领先的大数据和AI研发团队合作,探索数据应用的新模式。
近期,宝信软件和英特尔团队共同对Analytics Zoo深度学习平台在研发环境中做了适配和测试,并利用该平台开发了设备故障自动预测的验证模型。该模型基于业界公开的设备全生命周期数据,利用循环神经网络(RNN)特别是长短期记忆模型(LSTM),实现了时间序列的异常检测(Time series anomaly detection),并可以在数据上进行无监督深度学习和预测。