一、概述

　　Docker中的鏡像采用分層構(gòu)建設(shè)計，每個層可以稱之為“l(fā)ayer”，這些layer被存放在了/var/lib/docker/<storage-driver>/目錄下，這里的storage-driver可以有很多種如:AUFS、OverlayFS、VFS、Brtfs等。可以通過docker info命令查看存儲驅(qū)動，（筆者系統(tǒng)是centos7.4）：

通常ubuntu類的系統(tǒng)默認采用的是AUFS，centos7.1+系列采用的是OverlayFS。而本文將介紹以O(shè)verlayFS作為存儲驅(qū)動的鏡像存儲原理以及存儲結(jié)構(gòu)。

二、OverlayFS 介紹

　　OverlayFS是一種堆疊文件系統(tǒng)，它依賴并建立在其它的文件系統(tǒng)之上（例如ext4fs和xfs等等），并不直接參與磁盤空間結(jié)構(gòu)的劃分，僅僅將原來底層文件系統(tǒng)中不同的目錄進行“合并”，然后向用戶呈現(xiàn)，這也就是聯(lián)合掛載技術(shù)，對比于AUFS，OverlayFS速度更快，實現(xiàn)更簡單。 而Linux 內(nèi)核為Docker提供的OverlayFS驅(qū)動有兩種：overlay和overlay2。而overlay2是相對于overlay的一種改進，在inode利用率方面比overlay更有效。但是overlay有環(huán)境需求：docker版本17.06.02+，宿主機文件系統(tǒng)需要是ext4或xfs格式。

聯(lián)合掛載

　　 overlayfs通過三個目錄：lower目錄、upper目錄、以及work目錄實現(xiàn)，其中l(wèi)ower目錄可以是多個，work目錄為工作基礎(chǔ)目錄，掛載后內(nèi)容會被清空，且在使用過程中其內(nèi)容用戶不可見，最后聯(lián)合掛載完成給用戶呈現(xiàn)的統(tǒng)一視圖稱為為merged目錄。以下使用mount將演示其如何工作的。

使用mount命令掛載overlayfs語法如下：

mount -t overlay overlay -o lowerdir=lower1:lower2:lower3,upperdir=upper,workdir=work merged_dir

創(chuàng)建三個目錄A、B、C,以及worker目錄：

然后使用mount聯(lián)合掛載到/tmp/test 下：

然后我們再去查看/tmp/test目錄，你會發(fā)現(xiàn)目錄A、B、C被合并到了一起,并且相同文件名的文件會進行“覆蓋”，這里覆蓋并不是真正的覆蓋，而是當(dāng)合并時候目錄中兩個文件名稱都相同時，merged層目錄會顯示離它最近層的文件：

同時我們還可以通過mount命令查看其掛載的選項：

以上這樣的方式也就是聯(lián)合掛載技術(shù)。

Docker中的overlay驅(qū)動

　　介紹了overlay驅(qū)動原理以后再來看Docker中的overlay存儲驅(qū)動，以下是來自docker官網(wǎng)關(guān)于overlay的工作原理圖：

在上述圖中可以看到三個層結(jié)構(gòu)，即：lowerdir、uperdir、merged，其中l(wèi)owerdir是只讀的image layer，其實就是rootfs，對比我們上述演示的目錄A和B，我們知道image layer可以分很多層，所以對應(yīng)的lowerdir是可以有多個目錄。而upperdir則是在lowerdir之上的一層，這層是讀寫層，在啟動一個容器時候會進行創(chuàng)建，所有的對容器數(shù)據(jù)更改都發(fā)生在這里層，對比示例中的C。最后merged目錄是容器的掛載點，也就是給用戶暴露的統(tǒng)一視角，對比示例中的/tmp/test。而這些目錄層都保存在了/var/lib/docker/overlay2/或者/var/lib/docker/overlay/(如果使用overlay)。

演示

啟動一個容器

查看其overlay掛載點,可以發(fā)現(xiàn)其掛載的merged目錄、lowerdir、upperdir以及workdir：

overlay2的lowerdir可以有多個，并且是軟連接方式掛載，后續(xù)我們會進行說明。

如何工作

當(dāng)容器中發(fā)生數(shù)據(jù)修改時候overlayfs存儲驅(qū)動又是如何進行工作的？以下將闡述其讀寫過程：

讀：

• 如果文件在容器層（upperdir），直接讀取文件；
• 如果文件不在容器層（upperdir），則從鏡像層（lowerdir）讀取；

修改：

• 首次寫入： 如果在upperdir中不存在，overlay和overlay2執(zhí)行copy_up操作，把文件從lowdir拷貝到upperdir，由于overlayfs是文件級別的（即使文件只有很少的一點修改，也會產(chǎn)生的copy_up的行為），后續(xù)對同一文件的在此寫入操作將對已經(jīng)復(fù)制到容器的文件的副本進行操作。這也就是常常說的寫時復(fù)制（copy-on-write）
• 刪除文件和目錄： 當(dāng)文件在容器被刪除時，在容器層（upperdir）創(chuàng)建whiteout文件，鏡像層(lowerdir)的文件是不會被刪除的，因為他們是只讀的，但without文件會阻止他們顯示，當(dāng)目錄在容器內(nèi)被刪除時，在容器層（upperdir）一個不透明的目錄，這個和上面whiteout原理一樣，阻止用戶繼續(xù)訪問，即便鏡像層仍然存在。

注意事項

• copy_up操作只發(fā)生在文件首次寫入，以后都是只修改副本,
• overlayfs只適用兩層目錄，,相比于比AUFS，查找搜索都更快。
• 容器層的文件刪除只是一個“障眼法”，是靠whiteout文件將其遮擋,image層并沒有刪除，這也就是為什么使用docker commit 提交保存的鏡像會越來越大，無論在容器層怎么刪除數(shù)據(jù)，image層都不會改變。

 三、overlay2鏡像存儲結(jié)構(gòu)

從倉庫pull一個ubuntu鏡像，結(jié)果顯示總共拉取了4層鏡像如下：

此時4層被存儲在了/var/lib/docker/overlay2/目錄下：

這里面多了一個l目錄包含了所有層的軟連接，短鏈接使用短名稱，避免mount時候參數(shù)達到頁面大小限制（演示中mount命令查看時候的短目錄）：

處于底層的鏡像目錄包含了一個diff和一個link文件，diff目錄存放了當(dāng)前層的鏡像內(nèi)容，而link文件則是與之對應(yīng)的短名稱：

在這之上的鏡像還多了work目錄和lower文件，lower文件用于記錄父層的短名稱，work目錄用于聯(lián)合掛載指定的工作目錄。而這些目錄和鏡像的關(guān)系是怎么組織在的一起呢？答案是通過元數(shù)據(jù)關(guān)聯(lián)。元數(shù)據(jù)分為image元數(shù)據(jù)和layer元數(shù)據(jù)。

image元數(shù)據(jù)

　　鏡像元數(shù)據(jù)存儲在了/var/lib/docker/image/<storage_driver>/imagedb/content/sha256/目錄下，名稱是以鏡像ID命名的文件，鏡像ID可通過docker images查看，這些文件以json的形式保存了該鏡像的rootfs信息、鏡像創(chuàng)建時間、構(gòu)建歷史信息、所用容器、包括啟動的Entrypoint和CMD等等。例如ubuntu鏡像的id為47b19964fb50:

查看其對應(yīng)的元數(shù)據(jù)(使用vim :%!python -m json.tool格式化成json) 截取了其rootfs的構(gòu)成：

上面的 diff_id 對應(yīng)的的是一個鏡像層，其排列也是有順序的，從上到下依次表示鏡像層的最低層到最頂層：

diff_id如何關(guān)聯(lián)進行層？具體說來，docker 利用 rootfs 中的每個diff_id 和歷史信息計算出與之對應(yīng)的內(nèi)容尋址的索引(chainID) ，而chaiID則關(guān)聯(lián)了layer層，進而關(guān)聯(lián)到每一個鏡像層的鏡像文件。

layer元數(shù)據(jù)

　　layer 對應(yīng)鏡像層的概念，在 docker 1.10 版本以前，鏡像通過一個 graph 結(jié)構(gòu)管理，每一個鏡像層都擁有元數(shù)據(jù)，記錄了該層的構(gòu)建信息以及父鏡像層 ID，而最上面的鏡像層會多記錄一些信息作為整個鏡像的元數(shù)據(jù)。graph 則根據(jù)鏡像 ID(即最上層的鏡像層 ID) 和每個鏡像層記錄的父鏡像層 ID 維護了一個樹狀的鏡像層結(jié)構(gòu)。　　

在 docker 1.10 版本后，鏡像元數(shù)據(jù)管理巨大的改變之一就是簡化了鏡像層的元數(shù)據(jù)，鏡像層只包含一個具體的鏡像層文件包。用戶在 docker 宿主機上下載了某個鏡像層之后，docker 會在宿主機上基于鏡像層文件包和 image 元數(shù)據(jù)構(gòu)建本地的 layer 元數(shù)據(jù)，包括 diff、parent、size 等。而當(dāng) docker 將在宿主機上產(chǎn)生的新的鏡像層上傳到 registry 時，與新鏡像層相關(guān)的宿主機上的元數(shù)據(jù)也不會與鏡像層一塊打包上傳。　　

Docker 中定義了 Layer 和 RWLayer 兩種接口，分別用來定義只讀層和可讀寫層的一些操作，又定義了 roLayer 和 mountedLayer，分別實現(xiàn)了上述兩種接口。其中，roLayer 用于描述不可改變的鏡像層，mountedLayer 用于描述可讀寫的容器層。具體來說，roLayer 存儲的內(nèi)容主要有索引該鏡像層的 chainID、該鏡像層的校驗碼 diffID、父鏡像層 parent、storage_driver 存儲當(dāng)前鏡像層文件的 cacheID、該鏡像層的 size 等內(nèi)容。這些元數(shù)據(jù)被保存在 /var/lib/docker/image/<storage_driver>/layerdb/sha256/<chainID>/ 文件夾下。如下：

每個chainID目錄下會存在三個文件cache-id、diff、zize：

cache-id文件：

docker隨機生成的uuid，內(nèi)容是保存鏡像層的目錄索引，也就是/var/lib/docker/overlay2/中的目錄，這就是為什么通過chainID能找到對應(yīng)的layer目錄。以chainID為d801a12f6af7beff367268f99607376584d8b2da656dcd8656973b7ad9779ab4 對應(yīng)的目錄為 130ea10d6f0ebfafc8ca260992c8d0bef63a1b5ca3a7d51a5cd1b1031d23efd5,也就保存在/var/lib/docker/overlay2/130ea10d6f0ebfafc8ca260992c8d0bef63a1b5ca3a7d51a5cd1b1031d23efd5

diff文件：

保存了鏡像元數(shù)據(jù)中的diff_id（與元數(shù)據(jù)中的diff_ids中的uuid對應(yīng)）

size文件：

保存了鏡像層的大小

在 layer 的所有屬性中，diffID 采用 SHA256 算法，基于鏡像層文件包的內(nèi)容計算得到。而 chainID 是基于內(nèi)容存儲的索引，它是根據(jù)當(dāng)前層與所有祖先鏡像層 diffID 計算出來的，具體算如下：

• 如果該鏡像層是最底層(沒有父鏡像層)，該層的 diffID 便是 chainID。
• 該鏡像層的 chainID 計算公式為 chainID(n)=SHA256(chain(n-1) diffID(n))，也就是根據(jù)父鏡像層的 chainID 加上一個空格和當(dāng)前層的 diffID，再計算 SHA256 校驗碼。

mountedLayer 信息存儲的可讀init層以及容器掛載點信息包括：容器 init 層ID（init-id）、聯(lián)合掛載使用的ID（mount-id）以及容器層的父層鏡像的 chainID(parent)。相關(guān)文件位于/var/lib/docker/image/<storage_driver>/layerdb/mounts/<container_id>/ 目錄下。如下啟動一個id為3c96960b3127的容器:

查看其對應(yīng)的mountedLayer三個文件：

可以看到initID是在mountID后加了一個-init，同時initID就是存儲在/var/lib/docker/overlay2/的目錄名稱：

查看mountID還可以直接通過mount命令查看對應(yīng)掛載的mountID，對應(yīng)著/var/lib/docker/overlay2/目錄，這也是overlayfs呈現(xiàn)的merged目錄:

在容器中創(chuàng)建了一文件：

此時到宿主的merged目錄就能看到對應(yīng)的文件：

關(guān)于init層

　　init層是以一個uuid+-init結(jié)尾表示，夾在只讀層和讀寫層之間，作用是專門存放/etc/hosts、/etc/resolv.conf等信息，需要這一層的原因是當(dāng)容器啟動時候，這些本該屬于image層的文件或目錄，比如hostname，用戶需要修改，但是image層又不允許修改，所以啟動時候通過單獨掛載一層init層，通過修改init層中的文件達到修改這些文件目的。而這些修改往往只讀當(dāng)前容器生效，而在docker commit提交為鏡像時候，并不會將init層提交。該層文件存放的目錄為/var/lib/docker/overlay2/<init_id>/diff

小結(jié)

通過以上的內(nèi)容介紹，一個容器完整的層應(yīng)由三個部分組成，如下圖：

• 鏡像層：也稱為rootfs，提供容器啟動的文件系統(tǒng)
• init層： 用于修改容器中一些文件如/etc/hostname、/etc/resolv.conf等
• 容器層：使用聯(lián)合掛載統(tǒng)一給用戶提供的可讀寫目錄。

四、總結(jié)

　　本文介紹了以overlayfs作為存儲驅(qū)動的的鏡像存儲原理其中每層的鏡像數(shù)據(jù)保存在/var/lib/docker/overlay2/<uuid>/diff目錄下，init層數(shù)據(jù)保存了在 /var/lib/docker/overlay2/<init-id>/diff目錄下，最后統(tǒng)一視圖（容器層）數(shù)據(jù)在 /var/lib/docker/overlay2/<mount_id>/diff目錄下，docker通過image元數(shù)據(jù)和layer元數(shù)據(jù)利用內(nèi)容尋址（chainID）將這些目錄組織起來構(gòu)成容器所運行的文件系統(tǒng)。

參考：

《use overlayfs driver 》

《Docker 鏡像之存儲管理》

到此這篇關(guān)于Docker鏡像存儲overlayfs的使用的文章就介紹到這了,更多相關(guān)Docker鏡像存儲overlayfs內(nèi)容請搜素腳本之家以前的文章或下面相關(guān)文章，希望大家以后多多支持腳本之家！