龙存存储部署管理维护文档

阅读量：5887 次

发布时间：2019-06-19

本文共 7487 字，大约阅读时间需要 24 分钟。

龙存存储集群部署

每台机器上首先都要部署龙存存储的守护进程centos6.5的包为

龙存存储Centos6.6 的安装包为

元数据服务器部署

下载系统对应的安装包，本次系统为centos6.5

[root@bogon soft]# ls

Leo-rd-as6.5-64-20160526-1.tgz

[root@bogon soft]# tar zxvf Leo-rd-as6.5-64-20160526-1.tgz

……………………………………………………………………

[root@bogon soft]# mkdir -p /LeoCluster/bin

[root@bogon soft]# mkdir -p /LeoCluster/conf

[root@bogon soft]# ls

Leo-rd-as6.5-64-20160526 Leo-rd-as6.5-64-20160526-1.tgz

[root@bogon soft]# cp Leo-rd-as6.5-64-20160526/*

iStore.ko leofs_cfgm2 leofslayout LeoNET.ko

leofs_cfgcmd leofs_genkey leofsstat umds

leofs_cfgd LeoFS.ko leofs_validatelcs

[root@bogon soft]# cp Leo-rd-as6.5-64-20160526/* /LeoCluster/bin/

[root@bogon soft]# /LeoCluster/bin/leofs_genkey

获取licence

在元数据服务器上进入到/LeoCluster/bin目录下，执行/LeoCluster/bin/leofs_genkey，然后会生成一个名称为leofs-key的文件，将这个leofs-key文件发给 LoongStore产品工程师获取license，得到名称为 leofs_licence.dat的license文件后。将该文件放到 /LeoCluster/conf 目录下。（注意：leofs_licence.dat 文件名称不能修改或重命名）

[root@bogon soft]# /LeoCluster/bin/leofs_cfgd#启动守护进程

配置

Leofs_cfgm是LoongStore集群存储系统的配置工具，可以选择在任意一台元数据服务器上的命令行中运行 /LeoCluster/bin/leofs_cfgm。

数据存储服务器部署

添加所有硬盘到系统并格式化

[root@bogon soft]# for i in a b c d e f g h i j k l m n o p q r s t u v w x y z aa ab ac ad ae af ag ah ai aj ;do mkfs.ext4 /dev/sd${i}1 & done#格式化所有存储上的机械硬盘

[root@bogon soft]# ps a|grep mkfs|wc -l#查看格式化进度

[root@bogon soft]# mkfs.ext3 -N 200000000 /dev/sdak1 &#格式化元数据SSD硬盘

[root@bogon soft]# ls

Leo-rd-as6.5-64-20160526-1.tgz

[root@bogon soft]# tar zxvf Leo-rd-as6.5-64-20160526-1.tgz

……………………………………………………………………

[root@bogon soft]# mkdir -p /LeoCluster/bin

[root@bogon soft]# mkdir -p /LeoCluster/conf

[root@bogon soft]# ls

Leo-rd-as6.5-64-20160526 Leo-rd-as6.5-64-20160526-1.tgz

[root@bogon soft]# cp Leo-rd-as6.5-64-20160526/*

iStore.ko leofs_cfgm2 leofslayout LeoNET.ko

leofs_cfgcmd leofs_genkey leofsstat umds

leofs_cfgd LeoFS.ko leofs_validatelcs

[root@bogon soft]# cp Leo-rd-as6.5-64-20160526/* /LeoCluster/bin/

[root@bogon soft]# /LeoCluster/bin/leofs_cfgd#启动守护进程

客户端部署

下载软件包，客户端系统centos6.6

[root@bogon soft]# ls

Leo-rd-as6.6-64-20160524.tgz

[root@bogon soft]# tar zxvf Leo-rd-as6.6-64-20160524.tgz

………………………………………………………………

[root@bogon soft]# ls

Leo-rd-as6.6-64-20160524 Leo-rd-as6.6-64-20160524.tgz

[root@bogon soft]# mkdir -p /LeoCluster/bin

[root@bogon soft]# mkdir -p /LeoCluster/conf

[root@bogon soft]# cp Leo-rd-as6.6-64-20160524/* /LeoCluster/bin/

[root@bogon soft]# /LeoCluster/bin/leofs_cfgd#启动守护进程

监控部署

单机版LoongBox

下载软件

安装环境：Java环境版本为7，下载地址

loongBox部署

1、下载jdk-7u7-linux-x64.tar.gz到服务器上，

2、创建解压目录mkdir /usr/java

3、将JDK解压（tar zxvf jdk-7u7-linux-x64.tar.gz –C /usr/java）

4、编辑/etc/profile文件，在最后添加JDK的解压路径

export JAVA_HOME=/usr/java/jdk1.7.0_07

export CLASSPATH=/usr/java/jdk1.7.0_07/lib

export PATH=${JAVA_HOME}/bin:${PATH}

5、编辑/etc/init.d/functions文件，在最后添加JDK的解压路径

export JAVA_HOME=/usr/java/jdk1.7.0_07

export CLASSPATH=/usr/java/jdk1.7.0_07/lib

export PATH=${JAVA_HOME}/bin:${PATH}

6、编辑完成后，执行重新加载这两个文件profile、functions，从而完成jdk的安装

[root@bogon soft]# source /etc/profile

[root@bogon soft]# source /etc/init.d.functions

注意：请确保/usr/bin/java的软连接为该jdk下java的路径，如果不是请使用如下命令重新添加链接

ln -s /usr/java/java1.7.0_07/bin/java(java安装路径) /usr/bin/java

7、关闭selinux，设置防火墙规则

关闭SELinux：

① 临时关闭（不用重启机器）：

setenforce 0 ##设置SELinux 成为permissive模式##setenforce 1 设置SELinux 成为enforcing模式

② 修改配置文件需要重启机器：

修改/etc/selinux/config 文件

将SELINUX=enforcing改为SELINUX=disabled

重启机器即可

8、安装和部署loongstore文件系统

9、安装部署NFS、Samba、iscsi服务

[root@srv ~]# rpm -qa |grep samba

samba-common-3.6.9-164.el6.x86_64

samba-3.6.9-164.el6.x86_64

samba-winbind-3.6.9-164.el6.x86_64

samba-winbind-clients-3.6.9-164.el6.x86_64

[root@srv ~]# rpm -qa |grep iscsi

[root@srv ~]# rpm -qa |grep scsi

scsi-target-utils-1.0.24-10.el6.x86_64

[root@srv ~]# rpm -qa |grep nfs

nfs-utils-1.2.3-39.el6.x86_64

nfs4-acl-tools-0.3.3-6.el6.x86_64

nfs-utils-lib-1.1.5-6.el6.x86_64

10、[root@srv ~]# 安装启动loongbox服务

[root@bogon soft]# rpm -ivh snss-2.3.9-1.noarch.rpm

[root@bogon soft]# /etc/init.d/snss start

登陆WEB页面进行配置

在火狐浏览器地址栏中输入https://管理系统的IP地址，按下回车键打开登录页面，如下图。

注意：

端口和协议设置：如果端口被占用，可以通过修改配置文件/snss/conf/config.properties中的w的端口号，并重起snss服务，并在浏览器地址栏输入IP:Port，例如10.1.0.115:8080即可。

皮肤设置：系统可用皮肤颜色有四种：蓝色、绿色、红色、紫色，默认为：蓝色，可通过页面右上方的皮肤按钮，进行个性设置

语言设置：系统可用语言有三种：中文、English、Deutsch，默认为：中文，可通过页面右上方的语言下拉菜单进行设置

设置NFS目录共享及权限

选择NFS管理，在root目录下右击可以选择新建可以创建目录，选择新建导出目录可以将目录用NFS共享出去

从linux客户端挂载NFS目录

在linux挂载NFS服务，使用下面的命令

mount -t nfs 10.1.0.115:/nfs/test/ /mnt/nfs/

注：① 10.1.0.115为LoongBox服务器的ip地址

② /mnt/nfs/为本地的挂载路径

③ /nfs/test为NFS管理页面中显示的导出路径

设置Samba共享及权限

选择CIFS管理配置Samba，在root目录下右击，选择”新建”可以创建Samba目录，点击新建共享目录可以把创建的Samba目录共享出来。

从windows客户端挂载CIFS目录

在本地资源管理器中输入\\LoongBox系统服务器ip\，见下图

设置客户端共享目录及权限

选择LeoFS管理，在root目录下右击选择新建，可以创建目录，选择新建客户端，可以吧目录挂载到客户端上。

系统管理：

磁盘管理：查看磁盘状态，移除添加磁盘

网络管理：IP配置和网卡绑定

电源管理：关闭和重启计算机

修改密码：修改登录用户admin的密码

集群监控部署LeoManagerNeo

连接配置

登陆WEB，输入网址https://主机IP

LeoManagerNeo在登录后首先要进行管理系统的配置，点击主菜单的“连接管理”以展开其子菜单（如图所示），点击连接配置以打开连接配置标签页

点击连接配置一打开连接配置标签页，如图所示

点击连接配置标签页左下角的新建连接以打开新建连接窗口，如图所示

在服务器矿中输入监控服务器的IP地址（即运行着leofs_metad服务的服务器），点击“确定”以创建连接，如图所示。建好连接后的连接配置标签如图所示

如果要删除某个连接配置，点击该连接所在行的删除按钮，出现确认提示后点击确

定按钮，如图所示

打开连接

右击主菜单中的连接管理已展开子菜单，点击打开连接，如图所示

在弹出的打开连接窗口中点击相应连接行的打开连接，如图所示

打开连接之后会提示打开连接成功，如图所示

配置存储服务器

部署之前确保所有存储服务器的数据磁盘已经格式化完毕，且没有挂载，所有服务器的

守护进程（ /LeoCluster/bin/leofs_cfgd）处于运行状态。关闭 selinux 设置好防火墙规则,确保所有服务器都是连通状态。

打开 LeoManagerNeo，找到存储系统管理，选择存储服务器，如下图所示

进入存储服务器配置界面，选择配置存储服务器，然后选择文件系统类型，输入

服务器 IP，再点击搜索，选择能够作为存储的磁盘添加到右边，最后点击提交

按钮。如下图箭头所示：

添加NFS共享

(1)点击添加NFS共享

(2)输入共享目录名称和允许访问的主机，选择共享方式，然后单击确定按钮

（注意：该目录将被自动创建在 LoongStore 系统挂载目录下）

（3）在标签右下角点击确定

注意;

必须要在需要访问 NFS 共享目录的 Linux 客户端的配置文件中配置 DNS 服

务器。可以使用以下命令在 Linux 主机挂载 NFS 的共享文件夹：

#mount -t nfs nas.mycompany.com:/nfs/mynfs /mnt/

当挂载 NFS 共享目录时必须在前面增加 /nfs 字串。这是一个链接到LoongStore 存储上 NAS 服务器挂载点的软链接。

CIFS共享（Samba）

此功能是用来管理（添加或删除）来之loongStore存储系统的Samba共享

单击NAS管理的CIFS共享可以打开CIFS共享的标签页

添加Samba共享

（1）输入允许访问的主机和禁止访问的主机，并添加SMB共享打开Samba共享配置窗口

注意：允许访问的主机和禁止访问的主机设置针对所有 Samba 共享的文件夹有效

（2）输入共享名、共享目录、允许访问的主机，禁止访问的主机，选择是否可写、是否可见、是否同步写和匿名访问，并点击确定按钮

注意：

共享名称：共享文件夹在 windows 客户端的显示名称。

共享目录：是 Samba 共享目录名。它会自动被创建在 LoongStore 系统挂载目录下。

允许访问的主机：此设置仅对该目录有效

禁止访问的主机：此设置仅对该目录有效

是否可写： Samba 客户端的访问权限

是否可见： Samba 客户是否可以被 samba 客户端看到

是否同步写：如果选择同步，则数据将直接写入存储系统，如果选择异步则将数据写入内存

匿名访问：是否允许匿名访问

（3）点击该标签页右下角的确定按钮

（4）点击确认提示窗口的确定按钮

（5）点击确认提示窗口的确定按钮

为了能访问Samba共享目录，必须在Windows主机上配置一个DNS服务器

在Windows主机上的文件管理器地址栏输入，然后按回车，窗口将显示所有的Samba共享文件夹

设置文件分布（数据副本模式）

针对不同应用的存储需求， LoongStore 可以针对不同的文件夹配置不同的冗余策略。例如，针对基因测序可以设置副本目录来存放数据源的这种小文件，目录名称设置为： A_rep_l;LeoRAID 目录，存放中间过程产生的大文件，目录名称设置为： B_LeoRAID_B。

在设置数据副本之前，配置好文件系统。启动所有文件系统服务，确定启动服务之后才能成功设置文件分布。如下图所示：

该功能用于设置后端文件系统中目录的冗余策略

注意：

子目录和文件在没有设置文件分布类型时会继承其父目录的文件分布类型

在设置文件分布类型后创建的文件或子目录将使用新的文件分布类型，设置之前已存在的文件或子目录的文件分布类型不会改变

同步部署

下载软件包leosync_1.22.4.tgz，下载地址：http://pan.baidu.com/s/1cDkTDO

解压

[root@bogon soft]# tar zxvf leosync_1.22.4.tgz

leosync_1.22.4_2.6.32-431.el6.x86_64.rpm

leosyncmanager_1.22.3_2.6.32-431.el6.x86_64.rpm

[root@bogon soft]# rpm -ivh leosysync_1.22.4_2.6.32-431.el6.x86_64.rpm

Preparing... ########################################### [100%]

1:leosync ########################################### [100%]

[root@bogon soft]# rpm -ivh leosyncmanager_1.22.3_2.6.32-431.el6.x86_64.rpm

Preparing... ########################################### [100%]

1:leosyncmanager ########################################### [100%]

[root@bogon soft]#

登陆WEB页面进行设置，在浏览器中输入http://主机IP，输入root密码登陆

添加节点

进入节点后点添加创建数据中心，在服务器列表进行配置服务器地址等参数，点击添加任务创建任务，执行任务可以定时设置计划任务。

扩容

增加存储节点

增加磁盘

故障处理

元数据服务器宕机

存储服务器宕机

网络故障

硬盘故障

转载于:https://blog.51cto.com/wenzengliu/1790390

你可能感兴趣的文章

那些年追过的......写过的技术博客

查看>>

python基础教程_学习笔记19：标准库：一些最爱——集合、堆和双端队列

查看>>

CSS魔法堂：Transition就这么好玩

查看>>

解决win7远程桌面连接时发生身份验证错误的方法

一起谈.NET技术，ASP.NET伪静态的实现及伪静态的意义

查看>>

string::c_str()、string::c_data()及string与char *的正确转换

查看>>

11G数据的hive初测试

查看>>

如何使用Core Text计算一段文本绘制在屏幕上之后的高度

驯服 Tiger: 并发集合超越 Map、Collection、List 和 Set

查看>>

Winform开发框架之权限管理系统改进的经验总结（3）-系统登录黑白名单的实现...

查看>>

LeetCode – LRU Cache (Java)

查看>>

JavaScript高级程序设计--对象，数组（栈方法，队列方法，重排序方法，迭代方法）...

查看>>

【转】学习ios(必看经典)牛人40天精通iOS开发的学习方法【2015.12.2

查看>>

在 ASP.NET MVC 中使用异步控制器

查看>>

SQL语句的执行过程

查看>>