FastDfs 分布式文件系统搭建

FastDfs 分布式文件系统搭建

1、fastdfs 服务环境安装搭建步骤

1.1、安装编译环境

安装git 
yum -y install git
安装编译相关依赖包
yum  -y install  gcc gcc-c++ make automake libevent pcre* zlib

1.2、下载 libfastcommon 源码包并编译

下载源码
git clone https://github.com/happyfish100/libfastcommon.git
切换到分支v10.43
cd libfastcommon; git checkout V1.0.43
编译
./make.sh clean && ./make.sh && ./make.sh install

1.3、 下载fastdfs 源码包

下载源码
git clone https://github.com/happyfish100/fastdfs.git
切换到分支v10.43
cd fastdfs; git checkout V6.06
编译
./make.sh clean && ./make.sh && ./make.sh install

1.4、 设置配置文件

./setup.sh /etc/fdfs

1.5、 编辑修改 tracker storage client 配置文件

 vim /etc/fdfs/tracker.conf

 vim /etc/fdfs/storage.conf

 vim /etc/fdfs/client.conf

1.6、启动服务

启动tracker 服务
service fdfs_trackerd start

启动storage 服务
service fdfs_storaged start

启动 monitor  服务
/usr/bin/fdfs_monitor  /etc/fdfs/client.conf

1.7、运行测试程序

usr/bin/fdfs_test <client_conf_filename> <operation>
例如
/usr/bin/fdfs_test /etc/fdfs/client.conf upload  /opt/Capture001.png

2、nginx 安装及添加 fastdfs lua 等模块

2.1、安装nginx

下载nginx 源码包
wget http://nginx.org/download/nginx-1.15.6.tar.gz 
解压
tar -zxvf nginx-1.15.6.tar.gz

2.2 下载 fastdfs-nginx-module 模块源码包

#下载源码包
git clone https://github.com/happyfish100/fastdfs-nginx-module.git

#修改配置
cd fastdfs-nginx-module-1.20/src 
vim config
#修改第5 行 和 15 行 修改成
ngx_module_incs="/usr/include/fastdfs /usr/include/fastcommon/"
CORE_INCS="$CORE_INCS /usr/include/fastdfs /usr/include/fastcommon/"

#复制配置
cp mod_fastdfs.conf /etc/fdfs/
#修改配置 mod_fastdfs.conf

vim /etc/fdfs/mod_fastdfs.conf 
#需要修改的内容如下 
tracker_server=192.168.1.102:22122 
url_have_group_name=true 
store_path0=/root/fastdfs

2.3 添加fastdfs-nginx-module 模块

安装依赖包
yum -y install pcre-devel openssl openssl-devel
添加模块 fastdfs-nginx-module
./configure --add-module=/opt/usr/local/fastdfs-nginx-module/src

2.4 编译安装

编译安装
make && make install
查看模块是否安装上
/usr/local/nginx/sbin/nginx -V

2.5 修改nginx 配置

#修改/usr/local/nginx/conf/nginx.conf

#添加如下配置 
server {
 listen 8888; 
 server_name localhost; 
 location ~/group[0-9]/ {
    ngx_fastdfs_module; 
   } 
}

2.6 启动nginx 服务

/usr/local/nginx/sbin/nginx

3、 搭建fastdfs 集群 搭建细节

3.1 traker 集群搭建配置

# 修改tracker.conf 文件
vim /etc/fdfs/tracker.conf
#修改存储路径
base_path=/data/fastdfs
# 设置查找storage 节点为轮训的方式，（0是轮询，1是指定组,2是剩余存储空间多的group优先）
store_lookup=0

3.2 storage 集群搭建配置

#修改base_path 路径修改
base_path=/data/fastdfs
#修改storage_path0 路径
store_path0 = /data/fastdfs
# 查看group_name
group_name = group1
# tracker_server 集群节点配置
tracker_server = 192.168.1.107:22122
tracker_server = 192.168.1.110:22122
tracker_server = 192.168.1.102:22122

3.3 其他服务节点遵循上文配置

3.4 修改mod_fastdfs.conf 配置文件

# 存储日志文件目录
base_path=/data/fastdfs
# 存储数据目录 storage_path
store_path0=/data/fastdfs
# 请求路径中携带组名称
url_have_group_name = true

3.5 启动每个节点的 tracker 和 storage 服务

启动tracker 服务
service fdfs_trackerd start

启动storage 服务
service fdfs_storaged start

启动 monitor  服务
/usr/bin/fdfs_monitor  /etc/fdfs/client.conf

3.6 启动nginx 服务

/usr/local/nginx/sbin/nginx

4 、 GraphicsMagick 安装及使用

4.1 下载安装 GraphicsMagick

# 下载 epel rpm 包
wget https://download-ib01.fedoraproject.org/pub/epel/7/x86_64/Packages/e/epel-release-7-12.noarch.rpm
# 安装
rpm -ivh epel-release-7-12.noarch.rpm 

# yum 安装 GraphicsMagick 和依赖包
yum install -y gcc gcc-c++ zlib zlib-devel openssl openssl-devel pcre pcre-devel
yum install -y libpng libjpeg libpng-devel libjpeg-devel ghostscript libtiff libtiff-devel freetype freetype-devel
yum install -y GraphicsMagick GraphicsMagick-devel

4.2 下载安装LuaJIT

#下载LuaJIT 源码包
wget http://luajit.org/download/LuaJIT-2.0.4.tar.gz
#解压并安装
tar -zxf LuaJIT-2.0.4.tar.gz
#安装并配置环境变量
cd LuaJIT-2.0.4
make -j8
make install 
export LUAJIT_LIB=/usr/local/lib
export LUAJIT_INC=/usr/local/include/luajit-2.0
ln -s /usr/local/lib/libluajit-5.1.so.2 /lib64/libluajit-5.1.so.2

4.3 下载 lua-nginx-module 和 ngx_devel_kit-master 模块

#下载
wget https://codeload.github.com/openresty/lua-nginx-module/tar.gz/v0.10.14
#解压
tar -zxvf  lua-nginx-module-0.10.14
# git clone 
git clone https://github.com/simpl/ngx_devel_kit.git


# 所有模块都放在 nginx-module 中

4.4 重新编译安装 nginx

./configure --with-http_ssl_module --with-http_sub_module --with-http_stub_status_module --add-module=../nginx-module/fastdfs-nginx-module/src  --add-module=../nginx-module/lua-nginx-module-0.10.14/  --add-module=../nginx-module/ngx_devel_kit-master

make -j8
make install

4.5 下载lua 脚本代码

# 下载nginx-lua-GraphicsMagick
wget https://codeload.github.com/yanue/nginx-lua-GraphicsMagick/zip/master
# 将 lua 目录移动到 /opt/usr/local/ 下
mv lua/ /user/local/nginx/

4.6 修改nginx.conf 加入以下配置

        set $img_thumbnail_root /data/fastdfs/thumb; 
        set $img_file $img_thumbnail_root$uri;  

        # like：/pic/M00/xx/xx/xx.jpg_200x100.jpg
       
        location ~* ^(\/(\w+)(\/M00)(.+\.(jpg|jpeg|gif|png))_(\d+)+x(\d+)+\.(jpg|jpeg|gif|png))$ {
                root $img_thumbnail_root;    
                set $fdfs_group_root /data/fastdfs/data; 

                # 如果缩略图不存在
                if (!-f $img_file) {   
                        add_header X-Powered-By 'Nginx+Lua+GraphicsMagick By xxx';  
                        add_header file-path $request_filename;

                        set $request_filepath $fdfs_group_root$4;    
                        set $img_width $6;    
                        set $img_height $7;    
                        set $img_ext $5;     
                        content_by_lua_file /usr/local/nginx/lua/cropSize.lua;   
                }
        }

        location ~/group[0-9]/ {
                alias /data/fastdfs/data;
                ngx_fastdfs_module;
        }

4.7 重载 nginx

/usr/local/nginx/sbin/nginx  -s reload

4.8 测试上传与访问缩略图效果

/usr/bin/fdfs_test /etc/fdfs/client.conf upload  /opt/pubu.jpg
1594446134179.png
http://192.168.1.102/group1/M00/00/00/wKgBa18H3m-AKXlNAAGg25aTZQw692.jpg_1000x1400.jpg
1594446272258.png
最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 217,907评论 6赞 506
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 92,987评论 3赞 395
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 164,298评论 0赞 354
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 58,586评论 1赞 293
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 67,633评论 6赞 392
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 51,488评论 1赞 302
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 40,275评论 3赞 418
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 39,176评论 0赞 276
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 45,619评论 1赞 314
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,819评论 3赞 336
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,932评论 1赞 348
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 35,655评论 5赞 346
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 41,265评论 3赞 329
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,871评论 0赞 22
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,994评论 1赞 269
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 48,095评论 3赞 370
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 44,884评论 2赞 354