0.2秒居然复制了100G文件?
今天同事用 cp 命令,把他给惊到了!背景是这样的:他用 cp 拷贝了一个 100 G的文件,竟然一秒不到就拷贝完成了!
图片来自 Pexels
cp 引发的思考
用 ls 看一把文件,显示文件确实是 100 G。
sh-4.4# ls -lh
-rw-r--r-- 1 root root 100G Mar 6 12:22 test.txt
但是 copy 起来为什么会这么快呢?
sh-4.4# time cp ./test.txt ./test.txt.cp
real 0m0.107s
user 0m0.008s
sys 0m0.085s
我让他先用 du 命令看一下,却只有 2M ,根本不是 100G,这是怎么回事?
sh-4.4# du -sh ./test.txt2.0M ./test.txt
再看 stat 命令显示的信息:
sh-4.4# stat ./test.txt
File: ./test.txt
Size: 107374182400 Blocks: 4096 IO Block: 4096 regular file
Device: 78h/120d Inode: 3148347 Links: 1
Access: (0644/-rw-r--r--) Uid: ( 0/ root) Gid: ( 0/ root)
Access: 2021-03-13 12:22:00.888871000 0000
Modify: 2021-03-13 12:22:46.562243000 0000
Change: 2021-03-13 12:22:46.562243000 0000
Birth: -
Size 为 107374182400(知识点:单位是字节),也就是 100G。
Blocks 这个指标显示为 4096(知识点:一个 Block 的单位固定是 512 字节,也就是一个扇区的大小),这里表示为 2M。
Size 表示的是文件大小,这个也是大多数人看到的大小。
Blocks 表示的是物理实际占用空间。
文件系统
对吧,至少自己名字要写上。可能还会给你一个牌子,让你挂手上,这个东西就是为了标示每一个唯一的行李。
取行李的时候,要报自己名字,有牌子的给他牌子,然后工作人员才能去特定的位置找到你的行李。
登记名字就是在文件系统记录文件名
生成的牌子就是元数据索引
你的行李就是文件
寄存室就是磁盘(容纳东西的物理空间)
管理员整套运行机制就是文件系统
直观的一个想法,我把进来的数据就完整的放进去。
对,思路完全正确。改进的方式就是切分,把空间按照一定粒度切分。每个小粒度的物理块命名为 Block,每个 Block 一般是 4K 大小,用户数据存到文件系统里来自然也是要切分,存储到磁盘上各个角落。
先写数据:数据先按照 Block 粒度存储到磁盘的各个位置。
再写元数据:然后把 Block 所在的各个位置保存起来,即 inode(我用一本书来表示)。
先读 inode,找到各个 Block 的位置。
然后读数据,构造一个完整的文件,给到用户。
好,我们现在来看看 inode,直观地感受一下:
前 12 个槽位(也就是 0 - 11 )我们成为直接索引
第 13 个位置,我们称为 1 级索引
第 14 个位置,我们称为 2 级索引
第 15 个位置,我们称为 3 级索引
一个 block 4K,每个元素 4 字节,也就是有 1024 个编号位置可以存储。所以,一级索引能寻址 4M(1024 * 4K)空间 。
三级索引:三级索引是在二级索引的基础上又多了一级,也就是说,有了 4G 的空间来存储用户数据的 block 编号。所以二级索引能寻址 4T (4G/4 * 4K) 的空间。
在 [0,4K] 这位置有 4K 的数据
在 [1T , 1T 4K] 处也有 4K 数据
创建一个文件,这个时候分配一个 inode。
在 [ 0,4K ] 的位置写入 4K 数据,这个时候只需要 一个 block,把这个编号写到 block[0] 这个位置保存起来。
在 [ 1T,1T 4K ] 的位置写入 4K 数据,这个时候需要分配一个 block,因为这个位置已经落到三级索引才能表现的空间了,所以需要还需要分配出 3 个索引块。。
写入完成,close 文件。
实际存储如图:
首先,最关键的是把磁盘空间切成离散的、定长的 block 来管理。
然后,通过 inode 能查找到所有离散的数据(保存了所有的索引)。
最后,实现索引块和数据块空间的后分配。
后记