当下的几个机器学习框架，ref:https://blog.csdn.net/admans/article/details/139256616
DL：深度学习
常用的工具PyTorch，TensorFlow，Keras，Caffe，Caffe2，MegEngine，MindSpore，OneFlow，ScikitLearn，Mathworks，Theano，Torch，MLLib，Ray
ML：机器学习
常用的工具XGBoost，LightGBM，LibSVM
DML：分布式机器学习
AutoML：自动化机器学习
RL：强化学习
常用的工具RLlib，TorchRL，PaddleRL，TF-Agents
MLaaS：机器学习即服务
SR：语音识别领域的学习框架
3.相关组件
[图片上传失败...(image-59a1e-1729504594727)]
Elasticsearch ：Elasticsearch 是一个分布式搜索和分析引擎，ClearML 使用 Elasticsearch 主要用于以下目的：
强大的搜索功能：Elasticsearch 提供高效的全文搜索和数据查询能力，使得用户可以快速查找实验、模型和数据集等元数据。
数据分析与可视化：结合 Kibana，Elasticsearch 能够对存储的数据进行实时分析和可视化，帮助用户洞察实验结果和模型性能。
高效存储：Elasticsearch 以索引的方式存储数据，适合处理大规模的查询请求，提升数据访问速度。
MongoDB：文档型数据库，ClearML 使用 MongoDB 作为后端数据库来存储各种元数据。它的主要作用包括：
实验记录：MongoDB 用于存储所有实验（任务）的配置、参数、状态、输出和其他元数据。这使得用户能够追踪实验的历史，方便回溯和对比。
任务管理：每个实验都在 MongoDB 中有对应的记录，包括执行状态、开始和结束时间、资源使用情况等信息。这些数据帮助用户有效管理和监控多个实验任务。
数据集和模型存储：ClearML 支持将数据集和模型与实验关联，这些信息同样存储在 MongoDB 中，便于后续查找和重用。
Redis：Redis 是一个开源的内存数据结构存储系统，ClearML 使用 Redis 主要用于以下功能：
任务队列：Redis 作为任务的消息队列，支持异步任务执行。这意味着用户可以提交多个实验，而系统会在后台处理它们，不会阻塞用户的操作。
实时监控：通过 Redis，ClearML 可以实现对任务状态和进度的实时监控，用户可以即时获得任务的更新信息。
缓存机制：Redis 可以缓存一些频繁访问的数据，减少对 MongoDB 的请求次数，从而提升性能。通过缓存，用户可以加快任务的执行和管理速度。
