2021-04-19

一、安装conda,FATE框架下也有不同的python版本,安装一个conda以方便python版本的管理

wget -c https://repo.continuum.io/miniconda/Miniconda3-latest-Linux-x86_64.sh

安装到了 /root/miniconda3下
下载完成后,使用vim工具,编辑.bashrc文件

vim ~/.bashrc

在最后面添加

export  PATH="/root/miniconda3/bin:"$PATH

输入命令使.bashrc文件生效

source ~/.bashrc

查看conda命令如下表示成功


image.png

添加清华大学的镜像源

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/bioconda/
conda config --set show_channel_urls yes 
conda config --get channels

使用命令“conda create -n 环境名称 python=版本号”创建环境
先创建一个fate3.6.7
查看环境列表 conda env list

image.png

激活环境 conda activate

image.png

退出环境 conda deactivate

二、FATE TEST

1、下载fate-test

image.png

查看帮助列表 fate_test --help
2、编辑默认配置文件
使用系统默认编辑器编辑优先级配置文件
根据注释填写某些字段
fate_test_config.yaml
配置fate-pipeline 和fate-flow服务器设置
ip 127.0.0.1 port 9380

# configure FATE-Pipeline server setting
pipeline init --port 9380 --ip 127.0.0.1
# configure FATE-Flow Commandline server setting
flow init --port 9380 --ip 127.0.0.1
image.png
image.png

3、测试一下 fate_test 套件

fate_test suite -i <path contains *testsuite.json>

报错:
image.png

出现语法错误,应该是编码格式不对?
哦,群里老哥说这个<path contains testsuite.json>应该是包含这个testsuite.json的路径,例如找到一个

image.png

K均值聚类算法,尝试着跑一下
image.png

报错我的路径有问题? 看一下配置文件
在目录 /root/miniconda3/envs/fate3.7/lib/python3.7/site-packages/fate_test下的fate_test_config.yaml文件中
image.png

查一下fate的存放数据的文件:
image.png

那就是替换掉/example*之前的路径就行
image.png

用fate_test 执行secureboost算法
‘’‘fate_test suite - i *’‘’


image.png

上传数据:


image.png

一直卡在数据上传阶段
换个算法试试


image.png

还是同样的问题,上传不了数据
看一下配置文件有没有关于数据上传的配置,发现没有,那我找一下数据存放的目录


image.png

可以看到都是4月17号也就是前天上传的测试数据,并没有今天用fate_test工具所上传的数据,说明还是数据传输出了问题
看一下 fate board


image.png

可是显示 submit job successfully 。。。
去上面目录找下这个.csv文件


image.png

也能找到这个数据集。。。
等了好久也没解决,先做做下面的

4、run some fate_test benchmark,也就是基准测试,对比一下fate算法与其他算法的精度

fate_test benchmark-quality -i <path contains *benchmark.json>
image.png

还是一样的问题。。。卡在数据上传就不动了

三、开发模式

1、使用可编辑模式,先下载fate_client 和 fate_test

pip install -e ${FATE}/python/fate_client && pip install -e ${FATE}/python/fate_test

2、一些常用的命令

1>suite: used for running testsuites, collection of FATE jobs
用来进行一些testsuites和jobs的测试
fate_test suite -i <path contains *testsuite.json>
<path contains *testsuite.json>指包含testsuite.json文件的绝对路径

2>benchmark-quality used for comparing modeling quality between FATE and other machine learning systems
bq 用来比较fated 的算法模型和其他机器学习模型的好坏
fate_test bq -i <path contains *benchmark.json>
这个路径在 /examples/benchmark_quality 文件夹下

3、进行配置
因为是进行的单机部署,guest 和 host 是同一台机器,所以不需要ssh隧道

9999, service: service_a
10000, service: service_b

得保证service_a 和 service_b能直接通信

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 之前写的R脚本用于筛选fit小于0.8的值 scp报错:not a regular file原因是 这样是相当于下...
    L6511阅读 344评论 0 0
  • 第一课:安装与基本操作 R的扩展包在R官网CRAN;另外,R官网还包含很多扩展资料,包括源代码,手册,FAQ,推荐...
    lizi_sjtu阅读 686评论 0 0
  • 今天感恩节哎,感谢一直在我身边的亲朋好友。感恩相遇!感恩不离不弃。 中午开了第一次的党会,身份的转变要...
    迷月闪星情阅读 10,620评论 0 11
  • 彩排完,天已黑
    刘凯书法阅读 4,331评论 1 3
  • 表情是什么,我认为表情就是表现出来的情绪。表情可以传达很多信息。高兴了当然就笑了,难过就哭了。两者是相互影响密不可...
    Persistenc_6aea阅读 126,225评论 2 7