コンテナのレイヤー構造を理解する

環境・プラットフォーム

コンテナ技術は、アプリケーションの開発、デプロイ、運用を効率化するためのツールとして広く利用されています。その中心的な概念の一つがレイヤー構造です。本記事では、コンテナのレイヤー構造について、使用されている仕組みを実際に試しながら理解していきたいと思います。

本記事で使用するOS、Kernel、Dockerのバージョン

$ cat /etc/almalinux-release
AlmaLinux release 9.3 (Shamrock Pampas Cat)

$ uname -r
5.14.0-362.13.1.el9_3.x86_64

$ docker --version
Docker version 20.10.17, build 100c701

レイヤー構造について

コンテナは複数のレイヤーから構成されています。各レイヤーは、下層レイヤーに対する変更差分(追加、削除、変更)を表現しており、これにより高速なイメージビルドや効率的なストレージ利用が可能となります。

1. コンテナイメージのレイヤー構造

コンテナイメージは、アプリケーションとその依存関係、設定などを含む静的なテンプレートです。イメージは複数の読み取り専用レイヤーから構成されており、これらのレイヤーはDockerfileに記述された各命令によって生成されます。

例えば以下のDockerfileがあるとします。

FROM ubuntu:latest           # レイヤー1: ベースイメージ
COPY ./startup.sh /startup.sh  # レイヤー2: ファイルのコピー 
ENTRYPOINT ["/startup.sh"]     # レイヤー3: エントリーポイントの設定
$ cat startup.sh
#!/bin/bash
echo "container layer"

説明:

  • ベースイメージ (FROM ubuntu:latest):
    • レイヤー1として、Ubuntuの最新イメージが使用されます。このレイヤーには、Ubuntuの基本的なファイルシステムや標準的なパッケージが含まれています。
  • ファイルのコピー (COPY ./startup.sh /startup.sh):
    • レイヤー2として、ホストマシン上のstartup.shスクリプトがコンテナ内のルートディレクトリにコピーされます。この操作により、スクリプトがコンテナ内で利用可能になります。
  • エントリーポイントの設定 (ENTRYPOINT ["/startup.sh"]):
    • コンテナ起動時に実行されるスクリプトが設定されます。これにより、コンテナが起動すると自動的に/startup.shが実行されます。ENTRYPOINTはレイヤーにはなりません。

レイヤー1とレイヤー2は下から上へ順番に積み重なり、1つのコンテナイメージを構成します。

ここからはイメージがレイヤーの集まりであることを確認するために、実際にdocker buildしてコンテナイメージを作成し、解剖していきたいと思います。
先ほどのDockerfileを使用してイメージを作成します。

$ pwd
/layer

$ ls
Dockerfile startup.sh

$ docker build -t layer_test_image:v1 ../layer
(省略)

// 作成したイメージをtarファイルとして出力し、dumpimagesディレクトリに格納します。
$ docker save -o dumpimages/layer_test_image_v1.tar layer_test_image:v1
(省略)

// 解凍
$ tar -xvf dumpimages/layer_test_image_v1.tar -C dumpimages/
x 4b9744b11cf62e131c8b2905cafe391dcdaa2248a185ab40cc989588d61d0cd1.json
x 703e3453d568426b330b0925c7d26021393bae3f0dcbcc4cd23488073faced8d/
x 703e3453d568426b330b0925c7d26021393bae3f0dcbcc4cd23488073faced8d/VERSION
x 703e3453d568426b330b0925c7d26021393bae3f0dcbcc4cd23488073faced8d/json
x 703e3453d568426b330b0925c7d26021393bae3f0dcbcc4cd23488073faced8d/layer.tar
x c91e207256f23bc4b7b3e04406da06018e69e3d8d9fc954c4ebdbb2597dd4d92/
x c91e207256f23bc4b7b3e04406da06018e69e3d8d9fc954c4ebdbb2597dd4d92/VERSION
x c91e207256f23bc4b7b3e04406da06018e69e3d8d9fc954c4ebdbb2597dd4d92/json
x c91e207256f23bc4b7b3e04406da06018e69e3d8d9fc954c4ebdbb2597dd4d92/layer.tar
x manifest.json
x repositories

$ tree dumpimages/
dumpimages/
├── 4b9744b11cf62e131c8b2905cafe391dcdaa2248a185ab40cc989588d61d0cd1.json
├── 703e3453d568426b330b0925c7d26021393bae3f0dcbcc4cd23488073faced8d
│   ├── VERSION
│   ├── json
│   └── layer.tar  # レイヤーデータを含んだtarファイル
├── c91e207256f23bc4b7b3e04406da06018e69e3d8d9fc954c4ebdbb2597dd4d92
│   ├── VERSION
│   ├── json
│   └── layer.tar  # レイヤーデータを含んだtarファイル
├── layer_test_image_v1.tar
├── manifest.json
└── repositories

3 directories, 10 files

ハッシュ値ディレクトリにあるtarファイルがイメージを構成するレイヤー群であり、コンテナのルートファイルシステムへの変更差分になります。

試しにこれら2つのlayer.tarの中身をリストしてみると見慣れたディレクトリであったり、Dockerfileで追加したstartup.shを確認することができます。

$ tar --list -f c91e207256f23bc4b7b3e04406da06018e69e3d8d9fc954c4ebdbb2597dd4d92/layer.tar
bin
boot/
dev/
etc/
etc/.pwd.lock
etc/alternatives/
etc/alternatives/README
etc/alternatives/awk
etc/alternatives/nawk
etc/alternatives/pager
etc/alternatives/rmt
etc/alternatives/which
...(省略)...

$ tar --list -f 703e3453d568426b330b0925c7d26021393bae3f0dcbcc4cd23488073faced8d/layer.tar
startup.sh

Dockerはコンテナの実行時に、これらのレイヤーを重ね合わせることでルートファイルシステムを構築しています。

2. コンテナのレイヤー構造

コンテナは読み取り専用のイメージレイヤーと書き込み可能なコンテナレイヤーで構成されています。コンテナが実行(docker run)された際にイメージレイヤーの上にコンテナレイヤーが追加されます。コンテナでファイルの追加、編集、削除といった変更が加えられると、コンテナレイヤーがその差分を保持します。

読み取り専用レイヤーと書き込み可能レイヤーに分かれている理由の一つとして、コンテナ間でデータの重複を最小限に抑えつつ、異なる環境が互いに影響を与えないようにすることがあげられます。

例えば、先ほどのイメージから二つのコンテナを作成するとします。この場合、イメージレイヤーであるレイヤー1とレイヤー2はそれぞれのコンテナで生成されるのではなくコンテナ間で共有されます。イメージレイヤーは書き込みができないので他のコンテナで書き換えられるということはありません。もし片方のコンテナでファイルが追加されたり編集されたりするとその差分だけが、書き込み可能なコンテナレイヤーに格納されます。こうすることで、データの重複を抑えストレージを効率的に使用しつつ、コンテナ独自の変更を保持することができます。

ただ、実際には読み取り専用のイメージレイヤーに含まれるファイルを編集することが可能です。その場合には、Copy-on-Write(CoW)の仕組みにより、該当するファイルのコピーが書き込み可能なコンテナレイヤーに作成され、そのコピーが編集されます。これにより、元のイメージレイヤーは変更されず、他のコンテナには影響を与えません。
※ CoWはリソース最適化の仕組みですが、その点に関しては当記事では深く言及しません。

2.1. ルートファイルシステムを実現する仕組み

次にDockerがどのように複数のレイヤー群を重ね合わせてルートファイルシステムを構築しているかを見ていきたいと思います。

Dockerは、イメージレイヤーおよびコンテナの書き込み可能なレイヤーにデータを保存するために、ストレージドライバーを利用します。ストレージドライバーは、コンテナイメージやコンテナレイヤーのファイルシステムをどのように実装・管理するかを決定するコンポーネントです。Dockerは複数のストレージドライバーをサポートしています。当記事では引用元で推奨されており、当バージョンでデフォルトで使用されているoverlay2に焦点を当てます。

overlay2は、LinuxカーネルのOverlayFS機能を利用したストレージドライバーです。OverlayFSは複数のディレクトリを重ね合わせることで、単一の統一されたファイルシステムとして表示する仕組みです。実際にLinuxのOverlayFSをシェルから直接操作することで、レイヤーがどのように重ね合わされ、どのようにCoWが機能するかを試していきたいと思います。

2.1.1. 実験環境の準備

1. テスト用ディレクトリ作成

$ mkdir -p ~/overlay_test/{lower,upper,work,merged}
$ tree
.
└── overlay_test
    ├── lower  # イメージレイヤー
    ├── merged
    ├── upper  # コンテナレイヤー
    └── work

2. レイヤーとなるディレクトリにファイルを配置

lowerディレクトリ(下層レイヤー)には、基本的なファイルを配置します。

$ echo "これはlowerレイヤーのファイルです。" > ~/overlay_test/lower/file1.txt
$ echo "lowerレイヤーの別のファイル。" > ~/overlay_test/lower/file2.txt

upperディレクトリ(上層レイヤー)は書き込み可能なレイヤーとして機能しますが、初めは空のままにします。

2.1.2. OverlayFSのマウントとレイヤーの重ね合わせ

OverlayFSを使用して、lowerとupperディレクトリを重ね合わせ、mergedディレクトリに統合されたビューを作成します。

1. マウントの実行

$ sudo mount -t overlay overlay -o lowerdir=~/overlay_test/lower,upperdir=~/overlay_test/upper,workdir=~/overlay_test/work ~/overlay_test/merged

-oオプションで下層レイヤー、上層レイヤー、作業ディレクトリを指定し、マウントポイントをoverlay_test/mergedに設定しました。

2. マウントの確認

$ mount | grep overlay
overlay on /overlay_test/merged type overlay (rw,relatime,lowerdir=overlay_test/lower,upperdir=overlay_test/upper,workdir=overlay_test/work)

これにより、mergedディレクトリにはlowerとupperの内容が統合されたビューが表示されます。

$ ls ~/overlay_test/merged
file1.txt  file2.txt
2.1.3. Copy-on-Write (CoW) の動作確認

ファイルの変更や追加がどのように上層レイヤーに反映されるかを確認していきます。

1. 既存ファイルの変更

mergedディレクトリ内のfile1.txtを編集してみます。

$ echo "これは変更された内容です。" > ~/overlay_test/merged/file1.txt

$ cat ~/overlay_test/merged/file1.txt
これは変更された内容です。

CoWの動作確認:

変更されたファイルはupperディレクトリにコピーされ、そこで編集が行われています。

$ ls ~/overlay_test/upper
file1.txt

$ cat ~/overlay_test/upper/file1.txt
これは変更された内容です。

$ cat ~/overlay_test/lower/file1.txt
これはlowerレイヤーのファイルです。

file1.txtを変更すると、OverlayFSはlowerレイヤーからfile1.txtをupperレイヤーにコピーし、そこで変更を行います。これにより、lowerレイヤーは変更されず、他のマウントされたビューに影響を与えません。

2. 新規ファイルの追加

mergedディレクトリに新しいファイルを追加します。

$ echo "これは新規に追加されたファイルです。" > ~/overlay_test/merged/file3.txt

$ ls ~/overlay_test/merged
file1.txt  file2.txt  file3.txt

$ cat ~/overlay_test/merged/file3.txt
これは新規に追加されたファイルです。

upperディレクトリでの確認:

$ ls ~/overlay_test/upper
file1.txt  file3.txt

$ cat ~/overlay_test/upper/file3.txt
これは新規に追加されたファイルです。

新しいファイルfile3.txtは直接upperレイヤーに作成されます。これにより、lowerレイヤーには影響がありません。

3. ファイルの削除

mergedディレクトリからfile2.txtを削除します。

$ rm ~/overlay_test/merged/file2.txt

$ ls ~/overlay_test/merged
file1.txt  file3.txt

$ ls ~/overlay_test/upper
file1.txt  file2.txt  file3.txt

$ ls ~/overlay_test/lower/
file1.txt  file2.txt

ファイルの削除もupperレイヤーに反映されます。OverlayFSは削除されたファイルに対してホワイトアウトファイルを作成し、lowerレイヤーの同名ファイルを非表示にします。ホワイトアウトファイルとは、特定のファイルが削除されたことを示す特殊なファイルであり、実際のデータは保持されつつ、表示されなくなります。詳しくはwhiteouts and opaque directoriesをご参照ください。いつかホワイトアウトファイルの仕組みについても調査してみたいです。

おわりに

本記事では、コンテナ技術におけるレイヤー構造の重要性とその具体的な仕組みについて、レイヤーを解剖したりOverlayFSを試したりしながら理解していきました。コンテナのレイヤー構造は効率的なイメージ管理とストレージ利用を支える基盤です。Dockerなどのツールはこの構造を活用し、イメージのビルドを高速化し、ストレージの効率的な利用を可能にしています。本記事がコンテナ技術の理解と実践に役立つことを願っています。

参考文献

本記事を執筆する上で大変参考にさせていただきました。



オフショア開発ならCRAID!

オフショア開発とは、システム開発業務などを海外の開発会社や海外子会社に委託することです。

CRAIDは東証プライム上場のフリービット株式会社の子会社です。CRAIDのオフショア開発拠点「フルスピードテクノロジーズ」は、当初は月間3000億ものリクエスト処理にも対応できる自社システム開発を行うためのオフショア開発部門として始まりました。各グループ会社の開発やクライアント様の受託開発やラボ型開発も多く手掛けております。

CRAIDやオフショア開発に関して、お気軽にお問い合わせください。

この記事を書いた人

エンジニア3年目です。
バックエンドとインフラやってます。

Kakeyaをフォローする
環境・プラットフォーム開発・運用ツール
CRAID オフショア開発ブログ
タイトルとURLをコピーしました