一、安装conda,FATE框架下也有不同的python版本,安装一个conda以方便python版本的管理
wget -c https://repo.continuum.io/miniconda/Miniconda3-latest-Linux-x86_64.sh
安装到了 /root/miniconda3下
下载完成后,使用vim工具,编辑.bashrc文件
vim ~/.bashrc
在最后面添加
export PATH="/root/miniconda3/bin:"$PATH
输入命令使.bashrc文件生效
source ~/.bashrc
查看conda命令如下表示成功
添加清华大学的镜像源
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/bioconda/
conda config --set show_channel_urls yes
conda config --get channels
使用命令“conda create -n 环境名称 python=版本号”创建环境
先创建一个fate3.6.7
查看环境列表 conda env list
激活环境 conda activate
退出环境
conda deactivate
二、FATE TEST
1、下载fate-test
查看帮助列表
fate_test --help
2、编辑默认配置文件
使用系统默认编辑器编辑优先级配置文件
根据注释填写某些字段
fate_test_config.yaml
配置fate-pipeline 和fate-flow服务器设置
ip 127.0.0.1 port 9380
# configure FATE-Pipeline server setting
pipeline init --port 9380 --ip 127.0.0.1
# configure FATE-Flow Commandline server setting
flow init --port 9380 --ip 127.0.0.1
3、测试一下 fate_test 套件
fate_test suite -i <path contains *testsuite.json>
报错:出现语法错误,应该是编码格式不对?
哦,群里老哥说这个<path contains testsuite.json>应该是包含这个testsuite.json的路径,例如找到一个
K均值聚类算法,尝试着跑一下
报错我的路径有问题? 看一下配置文件
在目录 /root/miniconda3/envs/fate3.7/lib/python3.7/site-packages/fate_test下的fate_test_config.yaml文件中
查一下fate的存放数据的文件:
那就是替换掉/example*之前的路径就行
用fate_test 执行secureboost算法
‘’‘fate_test suite - i *’‘’
上传数据:
一直卡在数据上传阶段
换个算法试试
还是同样的问题,上传不了数据
看一下配置文件有没有关于数据上传的配置,发现没有,那我找一下数据存放的目录
可以看到都是4月17号也就是前天上传的测试数据,并没有今天用fate_test工具所上传的数据,说明还是数据传输出了问题
看一下 fate board
可是显示 submit job successfully 。。。
去上面目录找下这个.csv文件
也能找到这个数据集。。。
等了好久也没解决,先做做下面的
4、run some fate_test benchmark,也就是基准测试,对比一下fate算法与其他算法的精度
fate_test benchmark-quality -i <path contains *benchmark.json>
还是一样的问题。。。卡在数据上传就不动了
三、开发模式
1、使用可编辑模式,先下载fate_client 和 fate_test
pip install -e ${FATE}/python/fate_client && pip install -e ${FATE}/python/fate_test
2、一些常用的命令
1>suite: used for running testsuites, collection of FATE jobs
用来进行一些testsuites和jobs的测试
fate_test suite -i <path contains *testsuite.json>
<path contains *testsuite.json>指包含testsuite.json文件的绝对路径
2>benchmark-quality used for comparing modeling quality between FATE and other machine learning systems
bq 用来比较fated 的算法模型和其他机器学习模型的好坏
fate_test bq -i <path contains *benchmark.json>
这个路径在 /examples/benchmark_quality 文件夹下
3、进行配置
因为是进行的单机部署,guest 和 host 是同一台机器,所以不需要ssh隧道
9999, service: service_a
10000, service: service_b
得保证service_a 和 service_b能直接通信