FastDFS单机部署 + Nginx

分布式文件系统对比见这篇文章

FastDFS原理详解见这篇文章

注意：建议安装5.10以上版本

安装环境依赖

CentOS

yum install git gcc gcc-c++ make automake autoconf libtool pcre pcre-devel zlib zlib-devel openssl-devel wget vim -y

Debian

apt-get -y install git gcc g++ make automake autoconf libtool pcre2-utils libpcre2-dev zlib1g zlib1g-dev openssl libssh-dev wget vim

注意：以下涉及的所有安装包如果下载不下来，建议先下载到本地，再上传到服务器部署

安装 libfastcommon

wget https://github.com/happyfish100/libfastcommon/archive/V1.0.7.tar.gz
tar -xvf libfastcommon-1.0.7.tar.gz
cd libfastcommon-1.0.7
./make.sh
./make.sh install

libfastcommon.so 安装到了/usr/lib64/libfastcommon.so，但fastDFS主程序设置的lib目录是/usr/local/lib，所以需要创建软链接

ln -s /usr/lib64/libfastcommon.so /usr/local/lib/libfastcommon.so
ln -s /usr/lib64/libfastcommon.so /usr/lib/libfastcommon.so
ln -s /usr/lib64/libfdfsclient.so /usr/local/lib/libfdfsclient.so
ln -s /usr/lib64/libfdfsclient.so /usr/lib/libfdfsclient.so

安装 & 配置 FastDFS

wget https://github.com/happyfish100/fastdfs/archive/refs/tags/V5.05.tar.gz
tar -xvf fastdfs-5.05.tar.gz
cd fastdfs-5.05/
./make.sh && ./make.sh install

注意：FastDFS 默认安装方式安装后启动路径为

/etc/init.d/fdfs_storaged 
/etc/init.d/fdfs_trackerd

FastDFS 服务脚本设置的 bin 目录是 /usr/local/bin，但实际命令安装在 /usr/bin/

#创建软链接
ln -s /usr/bin/fdfs_trackerd   /usr/local/bin
ln -s /usr/bin/fdfs_storaged   /usr/local/bin
ln -s /usr/bin/stop.sh         /usr/local/bin
ln -s /usr/bin/restart.sh      /usr/local/bin

配置 FastDFS tracker

#进入/etc/fdfs目录，复制FastDFS样例配置文件tracker.conf.sample，并重命名为tracker.conf
cp tracker.conf.sample tracker.conf
mkdir -p fastdfs/tracker_data
vim /etc/fdfs/tracker.conf

# Annotation start-----------------------------------------------
# 配置文件是否不生效，false 为生效
disabled=false

#后面为绑定的IP地址 (常用于服务器有多个IP但只希望一个IP提供服务)。如果不填则表示所有的
bind_addr=10.200.14.55

# 提供服务的端口
port=22122

# Tracker 数据和日志目录地址(根目录必须存在,子目录会自动创建)
base_path=/home/dingfuxiao/fastdfs/tracker_data

# HTTP 服务端口
http.server_port=80
# Annotation end -----------------------------------------------

#启动Tracker 
/etc/init.d/fdfs_trackerd start

#监听端口 22122 (Tracker服务安装成功)
netstat -nvlpt|grep fdfs

配置 FastDFS Storage

# 进入/etc/fdfs目录，复制FastDFS样例配置文件storage.conf.sample，并重命名为storage.conf
cp storage.conf.sample storage.conf
mkdir -p /fastdfs/storage
vim /etc/fdfs/storage.conf

# Annotation start-----------------------------------------------
# 配置文件是否不生效，false 为生效
disabled=false 

# 指定此 storage server 所在 组(卷)
group_name=group1

#storage server 服务端口
port=23000

#心跳间隔时间，单位为秒 (这里是指主动向 tracker server 发送心跳)
heart_beat_interval=30

#Storage 数据和日志目录地址(根目录必须存在，子目录会自动生成)
base_path=/fastdfs/storage

#存放文件时 storage server 支持多个路径。这里配置存放文件的基路径数目，通常只配一个目录。
store_path_count=1


#逐一配置 store_path_count 个路径，索引号基于 0
#如果不配置 store_path0，那它就和 base_path 对应的路径一样
store_path0=/fastdfs/storage

# FastDFS 存储文件时，采用了两级目录。这里配置存放文件的目录个数。 
# 如果本参数只为 N（如： 256），那么 storage server 在初次运行时，会在 store_path 下自动创建 N * N 个存放文件的子目录。
subdir_count_per_path=256

# tracker_server 的列表 ，会主动连接 tracker_server
# 有多个 tracker server 时，每个 tracker server 写一行
tracker_server=10.200.14.48:22122

# 允许系统同步的时间段 (默认是全天) 。一般用于避免高峰同步产生一些问题而设定。
sync_start_time=00:00
sync_end_time=23:59

# 访问端口
http.server_port=9888
# Annotation end -----------------------------------------------

#启动storage
$ /etc/init.d/fdfs_storaged start
#监听端口23000 （storage 启动成功）
$ netstat -nvlpt|grep fdfs

配置 FastDFS clinet

# 进入/etc/fdfs 目录，复制 FastDFS样例配置文件client.conf.sample，并重命名为client.conf
cp client.conf.sample client.conf
mkdir -p /fastdfs/tracker
# Annotation start-----------------------------------------------
connect_timeout=30
network_timeout=60
base_path=/fastdfs/tracker
tracker_server=10.200.14.48:22122
log_level=info
use_connection_pool = false
connection_pool_max_idle_time = 3600
load_fdfs_parameters_from_tracker=false
use_storage_id = false
storage_ids_filename = storage_ids.conf
http.tracker_server_port=80
# Annotation end -----------------------------------------------

上传测试

在Tracker服务器上执行上传test.txt

/usr/bin/fdfs_upload_file /etc/fdfs/client.conf test.txt

# Annotation start-----------------------------------------------
group1/M00/00/00/CsgOMGBZXsKAdzdTAAAAIHbqaGc362.txt   //上传成功后返回文件ID号
# Annotation end -----------------------------------------------

#上传成功后，在Tracker & Storage可见
ls /fastdfs/storage/data/00/00/CsgOMGBZXsKAdzdTAAAAIHbqaGc362.txt

# Annotation start-----------------------------------------------
/fastdfs/storage/data/00/00/CsgOMGBZXsKAdzdTAAAAIHbqaGc362.txt
# Annotation end -----------------------------------------------

集成Nginx

Nginx 整合 FastDFS 时 Nginx 需要添加 fastdfs-nginx-module 模块。直接通过 Github：https://github.com/happyfish100/fastdfs-nginx-module 下载压缩包或者使用 git 命令下载，或者通过资源地址：https://sourceforge.net/projects/fastdfs/files/ 下载。下载以后，上传资源 fastdfs-nginx-module_v1.16.tar.gz 至服务器 /usr/local/src 目录后并解压。

tar -zvxf fastdfs-nginx-module_v1.16.tar.gz -C /usr/local/src

复制配置文件 mod_fastdfs.conf 到 /etc/fdfs 目录中

cp /usr/local/src/fastdfs-nginx-module/src/mod_fastdfs.conf  /etc/fdfs/

vim /etc/fdfs/mod_fastdfs.conf 编辑配置文件，主要关注以下部分

# tracker 服务器的 IP 和端口
tracker_server = 10.200.14.48:22122
# url 地址是否包含组名/卷名
url_have_group_name = true
# 数据组/卷对应的路径地址
store_path0 = /fastdfs/storage
base_path=/fastdfs

在/fastdfs/storage/data/文件存储目录下创建软连接，将其链接到实际存放数据的目录

ln -s /fastdfs/storage/data/ /fastdfs/storage/data/M00

复制 fastdfs 安装包中的两个配置文件 http.conf 和 mime.types 到 /etc/fdfs 目录中。

cp fastdfs-5.05/conf/http.conf /etc/fdfs/
cp fastdfs-5.05/conf/mime.types /etc/fdfs/

下载 Nginx 并解压

# 下载 nginx 压缩包
wget -P /usr/local/src http://nginx.org/download/nginx-1.18.0.tar.gz
# 解压
tar -zxvf /usr/local/src/nginx-1.18.0.tar.gz -C /usr/local/src

编译并安装

# 切换至 nginx 的解压目录
cd /usr/local/src/nginx-1.18.0
# 创建 nginx 的安装目录
mkdir -p /usr/local/nginx
# 解决 fatal error: fdfs_define.h
ln -s /usr/include/fast* /usr/local/include/
# 解决./configure: error: the HTTP rewrite module requires the PCRE library.
apt-get update
apt-get install libpcre3 libpcre3-dev
# 添加 fastdfs-nginx-module 模块，指定 nginx 的安装路径
./configure --add-module=/usr/local/src/fastdfs-nginx-module/src --prefix=/usr/local/nginx/
# 编译并安装
make && make install
# 编译成功测试
/usr/local/nginx/sbin/nginx -V
# Annotation start-----------------------------------------------
nginx version: nginx/1.18.0
built by gcc 6.3.0 20170516 (Debian 6.3.0-18+deb9u1)
configure arguments: --add-module=/usr/local/src/fastdfs-nginx-module/src --prefix=/usr/local/nginx/
# Annotation end -----------------------------------------------

配置nginx

vim /usr/local/nginx/conf/nginx.conf 编辑配置文件，关于 Nginx 启动用户的问题请根据自身实际环境进行配置，参考配置

 location ~/group[0-9]/ {
    ngx_fastdfs_module;
 }

启动 Nginx：/usr/local/nginx/sbin/nginx

http://10.200.14.48:4246/group1/M00/00/00/CsgOMGBZXsKAdzdTAAAAIHbqaGc362.txt查看内容