编程入门教程

FastDFS+Nginx安装及配置

FastDFS是一个开源的轻量级分布式文件系统,纯C实现,支持Linux、FreeBSD等UNIX系统,FastDFS可以看做是基于文件的key value pair存储系统,包含两个角色,分别为跟踪服务器(tracker server)和存储服务器(storage server)。 tracker server:跟踪服务器,主要做调度工作,起负载均衡的作用。在内存中记录集群中所有存储组和存储服务器的状态信息,是客户端和数据服务器交互的枢纽。相比GFS中的master更为精简,不记录文件索引信息,占用的内存量很少。 storage server:存储服务器(又称:存储节点或数据服务器),文件和文件属性(meta data)都保存到存储服务器上。Storage server直接利用OS的文件系统调用管理文件。


FastDFS环境准备


系统:CentOS6.8_64
版本:FastDFS5.0.8

##tracker_server、storage_server都在一台机器上
ip:192.168.10.11

##如果有多块硬盘,则可为每块硬盘配置一个目录
文件存放目录1:/data/fastdfs/storage
文件存放目录2:/data/fastdfs/storage1

上传流程

上传流程

下载流程

下载流程

1.1 安装libfastcommon

[root@localhost src]# pwd
/usr/local/src
[root@localhost src]# git clone https://github.com/happyfish100/libfastcommon.git
[root@localhost src]# cd libfastcommon/
[root@localhost src]# ./make.sh
[root@localhost src]# ./make.sh install

1.2 安装FastDFS_v5.08

a. 先下载源码FastDFS_v5.08.tar.gz,下载地址:http://sourceforge.net/projects/fastdfs/files/

b. 安装FastDFS

[root@localhost src]# tar xf FastDFS_v5.08.tar.gz
[root@localhost src]# cd FastDFS
[root@localhost FastDFS]# ./make.sh 
[root@localhost FastDFS]# ./make.sh install

c. 创建fastdfs账号,用于管理FastDFS

[root@localhost ~]# useradd fastdfs -M -s /sbin/nologin

d. 创建数据存放目录

[root@localhost ~]# mkdir -p /data/fastdfs/tracker
[root@localhost ~]# mkdir -p /data/fastdfs/storage
[root@localhost ~]# mkdir -p /data/fastdfs/storage1

1.3 配置FastDFS

a.修改FastDFS配置文件tracker.conf

[root@localhost ~]# cd /etc/fdfs/
[root@localhost fdfs]# vim tracker.conf
base_path=/data/fastdfs/tracker
run_by_group=fastdfs
run_by_user=fastdfs

b. 修改FastDFS配置文件storage.conf

[root@localhost fdfs]# vim storage.conf 
group_name=g1
base_path=/data/fastdfs
##两个存储位置,则为2,通过store_path0、store_path1指定了两个存储位置
store_path_count=2
store_path0=/data/fastdfs/storage
store_path1=/data/fastdfs/storage1
##tracker_server的地址
tracker_server=192.168.10.11:22122
##运行FastDFS的用户组
run_by_group=fastdfs
##运行FastDFS的用户
run_by_user=fastdfs

1.4 测试FastDFS

a. 分别启动tracker、storage

[root@localhost ~]# fdfs_trackerd /etc/fdfs/tracker.conf start
[root@localhost ~]# fdfs_storaged /etc/fdfs/storage.conf start

b. 测试文件上传

[root@localhost ~]# vim /etc/fdfs/client.conf 
base_path=/data/fastdfs
tracker_server=192.168.10.11:22122

##第一个文件,上传到了store_path0里
[root@localhost ~]# fdfs_upload_file /etc/fdfs/client.conf /usr/local/src/nginx-1.10.1.tar.gz 
g1/M00/00/00/wKgKC1MhaLGAYdmcAAu42Yo157s.tar.gz

##第二个文件,上传到了store_path1里
[root@localhost ~]# fdfs_upload_file /etc/fdfs/client.conf /usr/local/src/nginx-1.10.1.tar.gz 
g1/M01/00/00/wKgKDFMmrxSAK2YWAAu42Yo157s.tar.gz

[root@localhost 00]# pwd
/data/fastdfs/storage/data/00/00
[root@localhost 00]# ll
-rw-r--r--. 1 fastdfs fastdfs 768217 Mar 13 01:13 wKgKC1MhaLGAYdmcAAu42Yo157s.tar.gz

c. 把tracker、storage交给service管理,并设置开机自启动

[root@localhost ~]# chkconfig --add fdfs_trackerd
[root@localhost ~]# chkconfig --add fdfs_storaged
[root@localhost ~]# chkconfig fdfs_trackerd on
[root@localhost ~]# chkconfig fdfs_storaged on

1.5 Nginx安装

a. 安装相关依赖

[root@localhost src]# yum -y install gcc gcc+ gcc-c++ openssl openssl-devel pcre pcre-devel

b. 添加运行Nginx的用户(www)及用户组(www)

[root@localhost src]# useradd www -M -s /sbin/nologin

c. 下载fastdfs-nginx-module

[root@localhost src]# git clone https://github.com/happyfish100/fastdfs-nginx-module.git

d. 下载并安装nginx

[root@localhost src]# wget http://nginx.org/download/nginx-1.10.1.tar.gz
[root@localhost src]# tar xf nginx-1.10.1.tar.gz
[root@localhost src]# cd nginx-1.10.1
[root@localhost nginx-1.10.1]# ./configure --user=www --group=www --prefix=/usr/local/nginx --add-module=../fastdfs-nginx-module/src
[root@localhost nginx-1.10.1]# make
[root@localhost nginx-1.10.1]# make install


1.6 配置Nginx

a. 修改Nginx配置文件

user  www www;
worker_processes  8;
pid /usr/local/nginx/logs/nginx.pid;
worker_rlimit_nofile 51200;
events {
    use   epoll;
    worker_connections  51200;
}

http {
    include       mime.types;
    default_type  application/octet-stream;
    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';
access_log  /usr/local/nginx/logs/access.log  main;

    server {
        listen       80;
        server_name  localhost;
        location / {
            root   html;
            index  index.html index.htm;
        }
        location /g1/M00{
                root /data/fastdfs/storage/data;
                ngx_fastdfs_module;
        }
        location /g1/M01{
                root /data/fastdfs/storage1/data;
                ngx_fastdfs_module;
        }
    }
}

b. 把nginx模块配置文件拷贝到“/etc/fdfs”里,并修改

[root@localhost ~]# cp /usr/local/src/fastdfs-nginx-module/src/mod_fastdfs.conf /etc/fdfs/
[root@localhost ~]# cd /etc/fdfs/
[root@localhost fdfs]# vim mod_fastdfs.conf 
tracker_server=192.168.10.11:22122
group_name=g1
url_have_group_name = true
store_path_count=2
store_path0=/data/fastdfs/storage
store_path1=/data/fastdfs/storage1

c. 创建软链接

[root@localhost fdfs]# ln -s /data/fastdfs/storage/data /data/fastdfs/storage/data/M00
[root@localhost fdfs]# ln -s /data/fastdfs/storage1/data /data/fastdfs/storage1/data/M01

d. 拷贝nginx配置文件mime.types到/etc/fdfs目录


1.7 测试FastDFS+Nginx

##启动Nginx
[root@localhost ~]# /usr/local/nginx/sbin/nginx

##在浏览器上输入下面地址,则可以下载
http://192.168.10.11/g1/M00/00/00/wKgKC1MhaLGAYdmcAAu42Yo157s.tar.gz