亲宝软件园·资讯

展开

fastdfs+nginx集群搭建 fastdfs+nginx集群搭建的实现

pengshengli 人气:0
想了解fastdfs+nginx集群搭建的实现的相关内容吗,pengshengli在本文为您仔细讲解fastdfs+nginx集群搭建的相关知识和一些Code实例,欢迎阅读和指正,我们先划重点:fastdfs+nginx集群搭建,fastdfs,nginx,搭建,下面大家一起来学习吧。

一.简介fastdfs

1.什么是fastdfs

2.fastdfs框架图

作者(YuQing)给出了框架图如下:

其中:

Tracker Server:跟踪服务器,主要做调度工作,在访问上起负载均衡的作用。记录storage server的状态,是连接Client和Storage server的枢纽。
Storage Server:存储服务器,文件和meta data都保存到存储服务器上
group:组,也可称为卷。同组内服务器上的文件是完全相同的文件标识:包括两部分:组名和文件名(包含路径)
meta data:文件相关属性,键值对(Key Value Pair)方式,如:width=1024,heigth=768

 3.上传文件流程

 (1)client询问tracker上传到的storage,不需要附加参数;
 (2)tracker返回一台可用的storage;
 (3)client直接和storage通讯完成文件上传。 

4.下载文件流程

(1)client询问tracker下载文件的storage,参数为文件标识(组名和文件名);
(2)tracker返回一台可用的storage;
(3)client直接和storage通讯完成文件下载。

5.同步机制

(1)同一组内的storage server之间是对等的,文件上传、删除等操作可以在任意一台storage server上进行;
(2)文件同步只在同组内的storage server之间进行,采用push方式,即源服务器同步给目标服务器;
(3)源头数据才需要同步,备份数据不需要再次同步,否则就构成环路了;
(4)上述第二条规则有个例外,就是新增加一台storage server时,由已有的一台storage server将已有的所有数据(包括源头数据和备份数据)同步给该新增服务器。

6.tracker server目录结构

(1)data

         storage_groups.dat:存储分组信息

         storage_servers.dat:存储服务器列表  

(2)logs

          trackerd.log:tracker server日志文件

7.storage server目录结构

1)data

         .data_init_flag:当前storage server初始化信息

         storage_stat.dat:当前storage server统计信息

         sync:存放数据同步相关文件

                 binlog.index:当前的binlog文件索引号

                 binlog.###:存放更新操作记录(日志)

                 ${ip_addr}_${port}.mark:存放同步的完成情况

(2)logs

              storaged.log:storage server日志文件

以上理论参考:

ChinaUnix论坛:http://bbs.chinaunix.net/forum-240-1.html

github下载地址:https://github.com/happyfish100

二、fastdfs安装和测试

1.下载

需要下载:libfastcommon     fastdfs(2.0之前的版本需要以来libevent)

2.安装

(1)安装libfastcommon

$ tar xzvf libfastcommon-1.0.38.tar.gz
$ cd libfastcommon-1.0.38
$ ./make.sh
$ sudo ./make.sh install

(2)安装fastdfs

$ tar xzvf fastdfs-5.11.tar.gz
$ cd fastdfs-5.11
$ ./make.sh
$ sudo ./make.sh install

3.配置

集群搭建拓扑图(由于硬盘不够了,下面192.168.31.4和192.168.31.14现在还没有,扩容后加上)

(1)配置tracker(192.168.31.95/192.168.31.99)

$cd /etc/fdfs/

目录文件如下:

然后,执行如下:

$sudo su
#cp tracker.conf.sample tracker.conf

配置tracker.conf文件:

vim tracker.conf

修改:base_path=/home/fastdfs/tracker (注意:在启动前必须存在此目录,否则会报错,找不到路径,也就是说需要手动新建tracker目录)

启动:

/etc/init.d/fdfs_trackerd start

 

(2)配置storage(192.168.31.2/192.168.31.12)

$ cd /etc/fdfs
$sudo su
#cp storage.conf.sample storage.conf

修改:

group_name=group1(192.168.31.2) 或者group2(192.168.31.12)

base_path=/home/fastdfs/storage

store_path0=/home/fastdfs/storage

修改:tracker服务ip与port:

tracker_server=192.168.31.95:22122  (注意:这里31.2 tracker_server配置31.95 ,31.12 tracker_server配置31.99)

启动:

/etc/init.d/fdfs_storaged start

查看fastdfs的相应配置信息

# fdfs_monitor /etc/fdfs/storage.conf

 有以下信息才算成功:

测试上传, 选择192.168.31.99 tracker机器当做fdfs_client

$ cd /etc/fdfs

$ sudo su

# cp client.conf.sample client.conf

# vim client.conf

修改:

base_path = /home/fastdfs

tracker_server=192.168.31.99:22122

测试上传net.png文件:

fdfs_upload_file /etc/fdfs/client.conf net.png

三、nginx配置

需要安装:

fastdfs-nginx-module-1.20  类似插件的东西

nginx-1.14.2.tar.gz

安装nginx需要先安装:

openssl       zlib     pcre

把astdfs-nginx-module插入到nginx(需要对nginx进行configure和make&&make install)

./configure --add-module=../../fastdfs-nginx-module/src/

 会报错:需要修改fastdfs-nginx-module-1.20/src/config文件

ngx_addon_name=ngx_http_fastdfs_module

if test -n "${ngx_module_link}"; then
  ngx_module_type=HTTP
  ngx_module_name=$ngx_addon_name
  ngx_module_incs="/usr/local/include"
  ngx_module_libs="-lfastcommon -lfdfsclient"
  ngx_module_srcs="$ngx_addon_dir/ngx_http_fastdfs_module.c"
  ngx_module_deps=
  CFLAGS="$CFLAGS -D_FILE_OFFSET_BITS=64 -DFDFS_OUTPUT_CHUNK_SIZE='256*1024' -DFDFS_MOD_CONF_FILENAME='\"/etc/fdfs/mod_fastdfs.conf\"'"
  . auto/module
else
  HTTP_MODULES="$HTTP_MODULES ngx_http_fastdfs_module"
  NGX_ADDON_SRCS="$NGX_ADDON_SRCS $ngx_addon_dir/ngx_http_fastdfs_module.c"
  CORE_INCS="$CORE_INCS /usr/local/include"
  CORE_LIBS="$CORE_LIBS -lfastcommon -lfdfsclient"
  CFLAGS="$CFLAGS -D_FILE_OFFSET_BITS=64 -DFDFS_OUTPUT_CHUNK_SIZE='256*1024' -DFDFS_MOD_CONF_FILENAME='\"/etc/fdfs/mod_fastdfs.conf\"'"
fi

修改为:

ngx_module_incs="/usr/include/fastdfs /usr/include/fastcommon/"
CORE_INCS="$CORE_INCS /usr/include/fastdfs /usr/include/fastcommon/"

ngx_addon_name=ngx_http_fastdfs_module

if test -n "${ngx_module_link}"; then
  ngx_module_type=HTTP
  ngx_module_name=$ngx_addon_name
  ngx_module_incs="/usr/include/fastdfs /usr/include/fastcommon/"
  ngx_module_libs="-lfastcommon -lfdfsclient"
  ngx_module_srcs="$ngx_addon_dir/ngx_http_fastdfs_module.c"
  ngx_module_deps=
  CFLAGS="$CFLAGS -D_FILE_OFFSET_BITS=64 -DFDFS_OUTPUT_CHUNK_SIZE='256*1024' -DFDFS_MOD_CONF_FILENAME='\"/etc/fdfs/mod_fastdfs.conf\"'"
  . auto/module
else
  HTTP_MODULES="$HTTP_MODULES ngx_http_fastdfs_module"
  NGX_ADDON_SRCS="$NGX_ADDON_SRCS $ngx_addon_dir/ngx_http_fastdfs_module.c"
  CORE_INCS="$CORE_INCS /usr/include/fastdfs /usr/include/fastcommon/"
  CORE_LIBS="$CORE_LIBS -lfastcommon -lfdfsclient"
  CFLAGS="$CFLAGS -D_FILE_OFFSET_BITS=64 -DFDFS_OUTPUT_CHUNK_SIZE='256*1024' -DFDFS_MOD_CONF_FILENAME='\"/etc/fdfs/mod_fastdfs.conf\"'"
fi

然后重新configure 和make && make install

接下来,cp mod_fastdfs.conf /etc/fdfs/ 并修改mod_fastdfs.conf文件

$ cd fastdfs-nginx-module-1.20/src
$ cp mod_fastdfs.conf /etc/fdfs/

修改mod_fastdfs.conf

tracker_server=192.168.31.99:22122
store_path0=/home/fastdfs/storage
group_name=group1

[group1]
group_name=group1
storage_server_port=23000
store_path_count=1
store_path0=/home/fastdfs/storage


[group2]
group_name=group2
storage_server_port=23000
store_path_count=1
store_path0=/home/fastdfs/storage

 将fastdfs-5.11/conf/

$ cp http.conf /etc/fdfs/
$ cp mime.types /etc/fdfs/

修改:http.conf

http.anti_steal.token_check_fail=/home/fastdfs/fastdfs-5.11/conf/

修改nginx.conf 

cd /usr/local/nginx/sbin
vim ../conf/nginx.conf

 

 8888端口号与/etc/fdfs/storage.conf中的http.server_port=8888相对应

上传一张图片

http://192.168.31.12:8888/group1/M00/00/00/wKgfDFzxVTyAM4suABWWvfB6x_k962.png

加载全部内容

相关教程
猜你喜欢
用户评论