感谢支持
我们一直在努力

Linux认证辅导:RH436-5 devicemapper和多路径

Device Mapper


1.用于生成一个逻辑设备到物理设备的映射平台
2.支持将多个存储设备组合成一个虚拟设备
3.使用Device Mapper的应用程序:
  LVM2
  Multipathing
4.管理mapper设备:create,remove
5.利用mapping tables生成设备文件
6.可在线调整
7.通过block设备生成DM设备
8.支持堆积(如:raid10)
9.DM模块是可动态加载的模块:(device-mapper.rpm安装包后会自动加载该模块)
 
DM-multipath的功能:
1.故障的切换和恢复
2.IO流量的负载均衡
3.磁盘的虚拟化
 
DM Table
1.通过DM table来生成逻辑设备
2.描述了物理设备到逻辑设备的每一个扇区映射的关系
3.DM Table的行格式
  1.逻辑设备的起始扇区
  2.逻辑设备的扇区数(size)
  3.创建逻辑设备的类型
  4.创建逻辑设备的参数
 
mapping table实例:
1. 0 1024 linear /dev/sda 204 1024 512 linear /dev/sdb 766 1536 128 linear /dev/sdc 0
  #将逻辑设备0~1023扇区、1024~1535扇区以及1536~1663三个地址范围分别以线形映射的方式映射到/dev/sda设备第204号扇区、/dev/sdb设备第766号扇区和/dev/sdc设备的第0号扇区开始的区域
 
2. 0 2048 striped 2 64 /dev/sda 1024 /dev/sdb 0
  #将逻辑设备从0号扇区开始的,长度为2048个扇区的段以条带的方式映射的到/dev/sda设备的第1024号扇区以及/dev/sdb设备的第0号扇区开始的区域。同时告诉内核这个条带类型的target driver存在2个条带设备与逻辑设备做映射,并且条带的大小是64个扇区,使得驱动可以该值来拆分跨设备的IO请求。
 
3. 0 4711 mirror core 2 64 nosync 2 /dev/sda 2048 /dev/sdb 1024
  #将逻辑设备从0号扇区开始的,长度为4711个扇区的段以镜像的方式映射到/dev/sda设备的第2048个扇区以及/dev/sdb设备的第1024号扇区开始的区域。
 
dmsetup
1.dmsetup用于创建、管理、查询DM设备的工具
2.支持stdin获取参数来创建Mapping table信息#建议利用stdin方式使用dmsetup创建mapping table信息
 e.g. #dmsetup create mydevice map_table
3.实例:将/dev/sda和/dev/sdb两个设备以线性的方式组成逻辑设备/dev/mapper/combined
[root@node1 ~]#vim createmapdev.sh
#!/bin/bash
size1=$(blockdev –getsize $1)
size2=$(blockdev –getsize $2)
echo -e “0 $size1 linear $1 0\n$size1 $size2 linear $2 0” | dmsetup create combined
 
[root@node1 ~]#./createmapdev.sh /dev/sda /dev/sdb
 
[root@node1 ~]#ls -ls /dev/mapper/combined
0 brw-rw—- 1 root disk 252, 2 10-28 11:36 /dev/mapper/combined
#blockdev –getsize /dev/sda 计算/dev/sda的所有扇区数
 
[root@node1 home]# mkfs -t ext3 /dev/mapper/combined
 
[root@node1 home]# mount /dev/mapper/combined /mnt
 
[root@node1 home]# df -h /mnt
文件系统              容量  已用 可用 已用% 挂载点
/dev/mapper/combined   19G  173M   18G   1% /mnt
 
Mapping Targets
1. linear:线性,连续写入
2. striped:条带化,分段写入,raid0
3. error:定义“out-of-bounds”屏蔽区域,坏道等
4. snapshot: -copy-on-write device:COW写实复制设备
5. snapshot-origin-device:起始卷
6. zero:零设备,可模拟大容量设备
7. multipath:多路径,多条路由到设备
 
Mapping Target – linare
1. dm-linare 驱动
2. 将多个物理设备组成一个连续的逻辑设备
3.参数:
    物理设备路径
    offset:偏移量
4.实例
    0 20000 linear /dev/sda 0
    20000 60000 linear  /dev/sdb 0
 #将设备/dev/sda从0扇区开始的20000个扇区作为线性逻辑设备的从0开始的20000个扇区
 #将设备/dev/sdb从0扇区开始的60000个扇区作为线性逻辑设备的从20000开始的60000个扇区
 #线性逻辑设备的总大小为80000个扇区(1扇区=512byte)
[root@node1 ~]# echo -e “0 20000 linear /dev/sda 0\n20000 60000 linear /dev/sdb 0” | dmsetup create combined
[root@node1 ~]# ls /dev/mapper/combined
/dev/mapper/combined
[root@node1 ~]# mkfs -t ext3 /dev/mapper/combined
[root@node1 ~]# mount /dev/mapper/combined /mnt
[root@node1 ~]# df -h /mnt
文件系统              容量  已用 可用 已用% 挂载点
/dev/mapper/combined   38M  4.5M   32M  13% /mnt    #combined大小:80000*512/1024/1024=39M
 
 
Mapping Target – striped
1. dm-stripe driver
2. 通过多个指定设备轮询分段写入的方式组建逻辑设备
3. 参数:
   参与条带化的物理设备数量
   chunk size
   设备路径
   offset:偏移量
4.实例
   0 1024 striped 2 256 /dev/sda 0 /dev/sdb 0
 #0 1024:新建逻辑设备从0扇区开始1024个扇区,扇区数必须是chunksize的倍数。
 #striped 2 :条带化,设备数量为2
 #256:chunk size
 #/dev/sda 0 /dev/sdb 0:从两物理设备的第0个扇区开始
 
 注:所有操作必须写入到开启脚本,否则重启失效。
 
 
Mapping Target – error
1. I/O设备中出现访问错误,如坏道
2. 在逻辑设备中定义该错误部分为error避免访问该部分。
3.实例
  0   80 linear /dev/sda 0
  80  100 error
  180 200 linear /dev/sdb 0
 #从第80扇区开始100个扇区为error区,该区将不会被访问,其坏道应该在/dev/sda上。

Mapping Target – snapshot-origin
1. dm-snapshot driver
2. dm mapping源卷
3. 所有未改变的数据将直接读取源卷
4. 与snapshot连接在一起工作
5. 写数据时,修改的源卷数据会保存在snapshot的COW(copy on write写实复制)设备上。
6. Example:
   0   1000 snapshot-origin /dev/sda
   #将/dev/sda创建成源卷设备即逻辑卷设备
 
Mapping Target – snapshot
1. dm-snapshot driver
2. 与snapshot-origin连接在一起工作
3. snapshot创建的时候,仅拷贝原始卷里数据的元数据(meta-data),并不会有数据的物理拷贝
4. 写操作时,snapshot跟踪原始卷块的改变,这个时候原始卷上将要改变的数据在改变之前被拷贝到snapshot预留的空间里即COW中。
5. 读操作时,直接定向到原始卷上
6. 创建snapshot时会创建三个设备snap、cow、real
7. Example:
  0 1000 snapshot /dev/sda1 /dev/vg0/realdev P 16
  #/devsda1:源设备
  #0  10000:从0开始1000个扇区
  #/dev/vg0/realdev用于做/dev/sda1的快照
  #P:下次启动该设备持续有效,N:重启无效
 
LVM2 Snapshots
1. LVM2快照时会使用四个DM-Device
   <name>-real :源卷设备,即真实设备
  snapshot-origin:拷贝原始卷里数据的元数据(meta-data)
  snapshot:The COW device改变的数据
  <name>:包含<name>-real和COW的最终被修改后的设备
2.Example:
[root@node1 lvm]#lvcreate -L 512M -n lv00 vg01
[root@node1 lvm]#lvcreate -L 100M -n lvsnap –snapshot /dev/vg01/lv00
[root@node1 lvm]# ll /dev/mapper/ | grep vg01
brw-rw—- 1 root disk 252,  2 11-02 14:14 vg01-lv00
brw-rw—- 1 root disk 252,  4 11-02 14:15 vg01-lv00-real
brw-rw—- 1 root disk 252,  3 11-02 14:15 vg01-lvsnap
brw-rw—- 1 root disk 252,  5 11-02 14:15 vg01-lvsnap-cow
[root@node1 lvm]# dmsetup table | grep vg01 | sort
vg01-lv00: 0 1048576 snapshot-origin 252:4
vg01-lv00-real: 0 1048576 linear 8:0 384
vg01-lvsnap: 0 1048576 snapshot 252:4 252:5 P 8
vg01-lvsnap-cow: 0 106496 linear 8:0 1048960
[root@node1 lvm]# dmsetup ls –tree
vg01-lvsnap (252:3)
 ├─vg01-lvsnap-cow (252:5)
 │  └─ (8:0)
 └─vg01-lv00-real (252:4)
    └─ (8:0)
vg01-lv00 (252:2)
 └─vg01-lv00-real (252:4)
    └─ (8:0)
 
 
LVM-snapshot实例:
[root@node1 /]# lvcreate -L 512M -n lv00 vg01
  Logical volume “lv00” created
[root@node1 /]# mkfs -t ext3 /dev/mapper/vg01-lv00
[root@node1 /]# mount /dev/mapper/vg01-lv00 /mnt/lvm
[root@node1 /]# cp -a /etc/ /mnt/lvm/
[root@node1 lvm]# dd if=/dev/zero of=test bs=1M count=100M
[root@node1 lvm]# lvcreate -L 50M -s -n lvsnap /dev/vg01/lv00
  Rounding up size to full physical extent 52.00 MB
  Logical volume “lvsnap” created
[root@node1 mnt]# lvdisplay /dev/vg01/lvsnap
  — Logical volume —
  LV Name                /dev/vg01/lvsnap
  VG Name                vg01
  LV UUID                6ZgZDl-tASI-f7pD-m96h-OpUl-ANJe-gotSe0
  LV Write Access        read/write
  LV snapshot status     active destination for /dev/vg01/lv00
  LV Status              available
  # open                 1
  LV Size                512.00 MB
  Current LE             128
  COW-table size         52.00 MB
  COW-table LE           13
  Allocated to snapshot  0.05%
  Snapshot chunk size    4.00 KB
  Segments               1
  Allocation             inherit
  Read ahead sectors     auto
  – currently set to     256
  Block device           252:3
[root@node1 lvm]# mount /dev/vg01/lvsnap /mnt/snap/
[root@node1 lvm]# ls /dev/mapper/
vg01-lv00  vg01-lv00-real  vg01-lvsnap  vg01-lvsnap-cow
[root@node1 mnt]# df -h
文件系统              容量  已用 可用 已用% 挂载点
/dev/mapper/VolGroup00-LogVol00
                         37G  2.7G   33G   8% /
/dev/vda1                99M   15M   79M  16% /boot
tmpfs                    252M     0  252M   0% /dev/shm
/dev/mapper/vg01-lv00    496M  195M  276M  42% /mnt/lvm
/dev/mapper/vg01-lvsnap  496M  195M  276M  42% /mnt/snap #显示snap和原数据一样
[root@node1 lvm]# dd if=/dev/zero of=/mnt/lvm/test1 bs=1M count=10
[root@node1 mnt]# lvdisplay /dev/vg01/lvsnap
  — Logical volume —
  LV Name                /dev/vg01/lvsnap
  VG Name                vg01
  LV UUID                6ZgZDl-tASI-f7pD-m96h-OpUl-ANJe-gotSe0
  LV Write Access        read/write
  LV snapshot status     active destination for /dev/vg01/lv00
  LV Status              available
  # open                 1
  LV Size                512.00 MB
  Current LE             128
  COW-table size         52.00 MB
  COW-table LE           13
  Allocated to snapshot  19.69%  #使用率增加了
  Snapshot chunk size    4.00 KB
  Segments               1
  Allocation             inherit
  Read ahead sectors     auto
  – currently set to     256
  Block device           252:3
[root@node1 lvm]# ls /mnt/lvm
etc  lost+found  test  test1
[root@node1 lvm]# ls /mnt/snap/
etc  lost+found  test
[root@node1 mnt]# df -h
文件系统              容量  已用 可用 已用% 挂载点
/dev/mapper/VolGroup00-LogVol00
                        37G  2.7G   33G   8% /
/dev/vda1               99M   15M   79M  16% /boot
tmpfs                   252M     0  252M   0% /dev/shm
/dev/mapper/vg01-lv00   496M  205M  266M  44% /mnt/lvm
/dev/mapper/vg01-lvsnap 496M  195M  276M  42% /mnt/snap  #快照未改变,改变的数据到cow中了,即创建snapshot时创建的50M空间里
 
#snapshot的大小并不需要和原始卷一样大,其大小仅仅只需要考虑两个方面:从shapshot创建到释放这段时间内,估计块的改变量有多大;数据更新的频率。一旦 snapshot的空间记录满了原始卷块变换的信息,那么这个snapshot立刻被释放,从而无法使用,从而导致这个snapshot无效。所以,非常重要的一点,一定要在snapshot的生命周期里,做完你需要做得事情。当然,如果你的snapshot大小和原始卷一样大,甚至还要大,那它的寿命就是“与天齐寿”了Mapping Taget - zero
1. dm-zero driver
2. 同/dev/zero一样,但是一个block设备
3. 用于创建虚拟大容量设备,多用于测试。
4. 无法往其写入数据,其中无真实数据,读时返还zero数据。
5. Example:
[root@node1 lvm]# export Hugsize=$[100 *(2**40)/512]
[root@node1 lvm]# echo $Hugsize
214748364800
[root@node1 lvm]# echo “0 $Hugsize zero” | dmsetup create zerodev
[root@node1 lvm]# fdisk -l /dev/mapper/zerodev
Disk /dev/mapper/zerodev: 109951.1 GB, 109951162777600 bytes
255 heads, 63 sectors/track, 13367467 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
 
 
Device Mapper Multipath
1. 提供冗余:一条或多条路径连接到相同物理存储设备
2. 监控每条路径并自动切换故障路径
3. 自动恢复并传递应用程序
4. dm-multipath创建的设备名(e.g.:/dev/dm-2)
5. dm-multipath支持GFS文件系统
6. dm-multipath是线路冗余,不是磁盘冗余
 
dm multipath components
1. Multipath priority groups多路径优先级:
    优先级不一样则冗余优,先级高的工作,低的备份
    优先级一样则提供负载均衡,同时工作
2. dm-multipath kernel module内核模块
3. multipath命令:查询和配置多路径设备
4. multipathd daemon:监控多路径进程或附件
5. kpartx:创建dm设备
 
Multipath Priority Groups
1. 到存储设备的路径可以定义优先级组
2. 优先级组范围:0-1024
3. 默认只有一个优先级组在工作
4. active/active路径属于相同的优先级组,负载均衡模式(默认状态)
5. active/passive路径属于不同的优先级组,优先级组高的工作,优先级组低备份
 
Mapping Target-multipath
1. dm-multipath driver
2. 参数:
   优先级组的分段
3. 第一个优先级组的参数
  3.1. 优先级组对应的I/O
  3.2. 优先级组对应的路径数量
  3.3. 列出路径的优先级
 
Setup Multipathing Fc Storage
1. 安装device-mapper-multipath RPM包
2. 配置/etc/multipath.conf
3. modprobe dm_multipath
4. modprobe dm-round-robin
5. chkconfig multipathd on
6. service multipathd start
7. multipath -l
 
Multipath Configuration
/etc/multipath.conf Sections:
1. defaults – multipath tools default settings
2. blacklist -list of specific device names to not consider for multipathing
3. blacklist_exceptions – list of multipathing candidates that would otherwise be blacklisted
4. multipaths – list of multipath characteristic settings
5. devices – list of per storage controller settings
6. Allows regular expression description syntax
7. Only specify sections that are needed多路径配置实例
1. target配置
IP:ifcfg-eth0     192.168.32.219
    ifcfg-eth0:1   192.168.32.220
[root@target ~]# service tgtd start
 
[root@target ~]#tgtadm –lld iscsi –mode target –op new –tid 1 -T iqn.2011-10.target:dsk1
 
[root@target ~]#tgtadm –lld iscsi –mode logicalunit –op new –tid 1 –lun 1 –backing-store=/dev/VolGroup00/lv06
 
[root@target ~]#tgtadm –lld iscsi –mode target –op bind –tid=1 –initiator-address=ALL
 
2. node1配置
 
[root@node1 ~]# iscsiadm -m discovery -t sendtargets -p 192.168.32.220
192.168.32.220:3260,1 iqn.2011-10.target:dsk1
 
[root@node1 ~]# iscsiadm -m discovery -t sendtargets -p 192.168.32.219
192.168.32.219:3260,1 iqn.2011-10.target:dsk1
 
[root@node1 ~]# iscsiadm -m node -T iqn.2011-10.target:dsk1 -p 192.168.32.220 -l
Logging in to [iface: default, target: iqn.2011-10.target:dsk1, portal: 192.168.32.220,3260]
Login to [iface: default, target: iqn.2011-10.target:dsk1, portal: 192.168.32.220,3260]: successful
 
[root@node1 ~]# iscsiadm -m node -T iqn.2011-10.target:dsk1 -p 192.168.32.219 -l
Logging in to [iface: default, target: iqn.2011-10.target:dsk1, portal: 192.168.32.219,3260]
Login to [iface: default, target: iqn.2011-10.target:dsk1, portal: 192.168.32.219,3260]: successful
 
[root@node1 ~]# fdisk -l
Disk /dev/sdb: 5368 MB, 5368709120 bytes
166 heads, 62 sectors/track, 1018 cylinders
Units = cylinders of 10292 * 512 = 5269504 bytes
 
Disk /dev/sdd: 5368 MB, 5368709120 bytes
166 heads, 62 sectors/track, 1018 cylinders
Units = cylinders of 10292 * 512 = 5269504 bytes
 
[root@node1 ~]# yum install device-mapper-multipath
 
[root@node1 ~]# vim /etc/rc.d/multipath.conf
#blacklist {                    #注销blacklist
#        devnode “*” 
#}
 
defaults {
        udev_dir                /dev
        polling_interval        10
        selector                “round-robin 0”    #轮询,优先级都为0
        path_grouping_policy    failover
        getuid_callout          “/sbin/scsi_id -g -u -s /block/%n”
        prio_callout            /bin/true
        path_checker            readsector0
        rr_min_io               100
        max_fds                 8192
        rr_weight               priorities
        failback                immediate
        no_path_retry           fail
        user_friendly_names     yes
}
#通常特有厂商有其特有的配置,该配置是RedHat的默认配置
 
[root@node1 ~]#chkconfig multipathd on
 
[root@node1 ~]#service multipathd start
 
[root@node1 ~]# fdisk -l
Disk /dev/sdb: 5368 MB, 5368709120 bytes
166 heads, 62 sectors/track, 1018 cylinders
Units = cylinders of 10292 * 512 = 5269504 bytes
 
Disk /dev/sdd: 5368 MB, 5368709120 bytes
166 heads, 62 sectors/track, 1018 cylinders
Units = cylinders of 10292 * 512 = 5269504 bytes
 
Disk /dev/dm-7: 5368 MB, 5368709120 bytes
255 heads, 63 sectors/track, 652 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
#出现多路径设备/dev/dm-7,其实/dev/sdb、/dev/sdd、/dev/dm-7是一个设备
 
[root@node1 ~]# mkfs.ext3 /dev/dm-7
 
[root@node1 ~]# mount /dev/dm-7 /mnt/path/
 
[root@node1 ~]# cp /etc/passwd /mnt/path/.
 
[root@node1 ~]# multipath -ll             #查询多路径状态
mpath0 (1IET_00010001) dm-7 IET,VIRTUAL-DISK
[size=5.0G][features=0][hwhandler=0][rw]
\_ round-robin 0 [prio=0][active]
 \_ 22:0:0:1 sdb 8:16  [active][ready]
\_ round-robin 0 [prio=0][enabled]
 \_ 23:0:0:1 sdd 8:48  [active][ready]
 
3.测试
[root@target ~]# ifdown eth0:1          #断开路径192.168.32.219
 
[root@node1 ~]# multipath -ll
sdd: checker msg is “readsector0 checker reports path is down”
mpath0 (1IET_00010001) dm-7 IET,VIRTUAL-DISK
[size=5.0G][features=0][hwhandler=0][rw]
\_ round-robin 0 [prio=0][active]
 \_ 22:0:0:1 sdb 8:16  [active][ready]
\_ round-robin 0 [prio=0][enabled]
 \_ 23:0:0:1 sdd 8:48  [active][faulty]   #该路径处于故障状态
[root@target ~]# ifup eth0:1
[root@node1 ~]# multipath -ll
mpath0 (1IET_00010001) dm-7 IET,VIRTUAL-DISK
[size=5.0G][features=0][hwhandler=0][rw]
\_ round-robin 0 [prio=0][active]
 \_ 22:0:0:1 sdb 8:16  [active][ready]
\_ round-robin 0 [prio=0][enabled]
 \_ 23:0:0:1 sdd 8:48  [active][ready]   #该路径恢复正常状态

赞(0) 打赏
转载请注明出处:服务器评测 » Linux认证辅导:RH436-5 devicemapper和多路径
分享到: 更多 (0)

听说打赏我的人,都进福布斯排行榜啦!

支付宝扫一扫打赏

微信扫一扫打赏