客製化自己的 Docker 映像檔流程

這篇網誌中,我們會從無到有逐步建立一份客製映像檔,內容包括:Docker 安裝與配置、基礎映像檔下載、撰寫 Dockerfile,再透過 docker build 建立成映像檔,最後將映像檔上傳至倉庫。

這篇算是 〈WSL|在 WSL2 中安装 Docker〉的前篇?原本是要寫給客戶的教學文件,不過我覺得拿出來當網誌好像也還行?所以就稍微擴寫、改述並刪除了些會被我主管請去喝茶東西,看來應該還能騙到一篇!?

Docker 三元素:Dockerfile、Docker 映像檔以及 Docker 容器 Docker 三元素:Dockerfile、Docker 映像檔以及 Docker 容器(圖片來源: Platformer — A WSO2 Company|Medium

環境確認
本說明採用的環境是 Ubuntu 20.04,與 docker 相關之指令應可在多數環境中執行。但考慮到環境可能性眾多,可能遇到的情況族繁不及備載,因此執行本說明時有遇到問題請查閱 Docker 官方文件。

Step1|Docker 環境確認

既然是客製化 Docker 映像檔,當然得先裝有 Docker 啦!可以先確定版號的指令,來確認開發環境是否安裝有 Docker:

1
$ docker version

若果正確安裝的話,應該看到相關 Client 與 Server 的版號資訊,類似這樣:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
Client:
 Version:           20.10.12
 API version:       1.41
 Go version:        go1.16.2
 Git commit:        20.10.12-0ubuntu2~20.04.1
 Built:             Wed Apr  6 02:14:38 2022
 OS/Arch:           linux/amd64
 Context:           default
 Experimental:      true

Server:
 Engine:
  Version:          20.10.12
  API version:      1.41 (minimum version 1.12)
  Go version:       go1.16.2
  Git commit:       20.10.12-0ubuntu2~20.04.1
  Built:            Thu Feb 10 15:03:35 2022
  OS/Arch:          linux/amd64
  Experimental:     false


否則會得到 docker 指令不存在的錯誤訊息:

1
2
$ docker version
bash: docker: command not found

如果已經安裝的話,可以直接跳到 1-2 章節來確認服務是否啟動;若是沒有安裝的話,就跟我一起來裝 Docker 吧!

Step1-1|安裝 Docker

我的開發環境是 Ubuntu 20.04 ,裡面已經有安裝 Docker 了,但我發現 Docker 似乎有新版本,所以打算順便升級 Docker 來玩玩。

在這邊我先移除了舊版的的相關套件,再用設置 Docker 的儲存庫(Repository) 的方式來安裝。這種安裝法會方便於安裝與升級,這也是 Docker 官方推薦的安裝方式。

  1. 移除舊版 Docker
    1
      sudo apt-get remove docker docker-engine docker.io containerd runc
    
  2. 設置 Docker 的儲存庫
    相比以前一行安裝 docker.io,新的版本的多了許多的前置步驟:
    • 更新 apt-get 索引,並安裝用 HTTPS 傳輸的套件以及 CA 證書
      1
      2
      3
      4
      5
      6
        $ sudo apt-get update
        $ sudo apt-get install \
                       ca-certificates \
                       curl \
                       gnupg \
                       lsb-release
      
    • 添加 Docker 的官方 GPG key
      1
      2
      3
        $ sudo mkdir -p /etc/apt/keyrings
        $ curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg 
        $ sudo chmod a+r /etc/apt/keyrings/docker.gpg
      
    • 然後,我們需要向 sources.list 中添加 Docker 儲存庫
      1
      2
      3
        $ echo \
          "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.gpg] https://download.docker.com/linux/ubuntu \
          $(lsb_release -cs) stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
      
  3. 安裝 Docker Engine
    最後再次更新 apt-get 索引,並才能安裝最新版本的 Docker Engine、containerd 和 Docker Compose。
    1
    2
     $ sudo apt-get update
     $ sudo apt-get install docker-ce docker-ce-cli containerd.io docker-compose-plugin
    

Step1-2|確認服務是否啟動

安裝完成後,查看一下 Docker 服務是否有正常啟動:

1
$ sudo service docker status

或是

1
$ sudo systemctl status docker 


如果正常啟動的話,可以看到綠色的 active 狀態:

正常啟動會顯示綠色的 active 正常啟動會顯示綠色的 active

若是未啟動,則啟動 service:

1
$ sudo service docker start

或是

1
$ sudo systemctl start docker


最後,確認是否能夠下載測試映像檔並在容器中運行它:

1
$ sudo docker run hello-world

若是成功執行會印出 Hello from Docker 的訊息並關閉容器:

Hello from Docker Hello from Docker~

Step1-3|以非 root 身份管理 Docker

在一般情況下,docker 指令需要 root 權限,其他使用者則必須使用 sudo 才能操作 docker 指令。因此如果不想每次都得在 docker 指令前加上 sudo,就得將使用者添加一個名為 docker 的群組中。

首先先建立一個名為 docker 的群組,並將使用者添加到其中。當 Docker 守護進程啟動時,它會建立一個可供 docker 群組成員訪問的 Unix domain socket。

1
2
$ sudo groupadd docker
$ sudo usermod -aG docker $USER

更新使用者群組並重啟 docker:

1
2
$ newgrp docker 
$ service docker restart    

最後,試試看可不可以在沒有 sudo 下執行 docker:

1
$ docker run hello-world

Step2|下載基礎映像檔

若要客製自己的映像檔時,我們必須先選定一個基礎映像檔(Base Image),再依此映像檔,加入所需開發套件和功能,層層堆疊逐步形成特定用途的客製映像檔。

該基礎映像檔的來源,可以是任何公開的映像檔倉庫(Public Image Registry),如 Docker Hub 或是 NVIDIA NGC,裡面存放了數量龐大的映像檔可供使用者下載;當然,也可以是自己或是組織建置的私有倉庫(Private)。

Step2-1|從公開倉庫取得映像檔

從公開倉庫取得映像檔是較常見的方式,通常無須額外權限與設定,就可直接使用下載指令。

以下載 Jupyter Notebook 為例,我們從先在 Docker Hub 上確認所要下載的映像檔與標籤後,就直接使用指令將映像檔下載到本地端。

1
$ docker pull jupyter/datascience-notebook:latest

下載完成後會出現摘要與狀態提示下載成功:

提示下載成功 提示下載成功

Step2-2|從私人倉庫取得映像檔

若要從私有倉庫取得映像檔,則必須先登入該倉庫。

1
2
$ docker login -u {Username} -p {Password} {Registry}
Login Succeeded

docker login 可以登入到指定倉庫,如果未指定倉庫位址,則會預設登入官方的公開倉庫 Docker Hub。

完成登入後,後續的操作可能會與公開倉庫取的存取步驟有所差異,但整體流程差不多:

  1. 確認所要下載的映像檔與標籤
  2. 使用指令將映像檔下載到本地端

Step3|撰寫 Dockerfile

挑選完基礎映像檔後,就可根據自身需求撰寫 Dockerfile 加入所需套件和功能。

在撰寫 Dockerfile 時,是以 FROM 指令為開頭,往下根據每一行定義會製作出的一個唯讀資料層,當啟動執行成容器時,才會再疊上寫入層。因此建議撰寫時盡可能刪除每層不必要的資料,以降低映像檔大小。

我這邊就以剛剛從取得映像檔為基礎,向上安裝了 h5pypandasgensim…等 Python 套件,以提供一個簡單的 Dockerfile 範例,方便後續說明的進行。

想要詳細了解如何撰寫 Dockerfile 的話,還是建議去看看官方文件 - 〈Best practices for writing Dockerfiles〉,絕對不是因為我不想寫文件了 XDDD

1
2
3
4
5
6
7
8
From jupyter/datascience-notebook:latest

RUN pip install --no-cache-dir  --upgrade pip \
    && pip install --no-cache-dir \
        "h5py==3.7.0" \
        "pandas==1.4.3" \
        "gensim==4.2.0" \
    && rm -rf ~/.cache/pip

撰寫完成後,將其進行存檔並命名為 Dockerfile

Step4|建立映像檔

完成 Dockerfile 的撰寫後,就可以用 docker build 的指令將映像檔建立起來。

1
$ docker build -t demo-push:v1 .

其中,-t 是為映像檔進行命名 demo-push 為倉庫與映像檔名稱、 v1 則是標籤,請依照習慣自行命名。指令執行時,它會找尋目前資料夾中名為 Dockerfile 的建置文件;但如果你的建置文件並非取名為 Dockerfile,這時需要在指令中加上 -f 指定建置文件:

1
$ docker build -t demo-push:v1 -f MyDockerfile .

如果需要更多關於 docker build 的介紹,請閱讀 Docker 官方文件

符號注意
注意!兩個命令的末尾都有一個點 `.`

當建立成功後可在終端機上看到下列訊息:

1
2
3
4
Removing intermediate container cc2418f30dff
 ---> 2c7464ff7613
Successfully built 2c7464ff7613
Successfully tagged demo-push:v1

補充說明|docker build 命令後的點號(.)
它並不是用於指定 Dockerfile 文件所在的位置的!
它並不是用於指定 Dockerfile 文件所在的位置的!
它並不是用於指定 Dockerfile 文件所在的位置的!

重點說三次!在這邊 . 確實是用來表示目前目錄,但卻不是用在指定 Dockerfile 所在路徑,因為那是 -f 的守備範圍!

那麼指定這目錄的目的?這與 Docker 的運行架構有關:

Docker daemon 與 client 的交互運作 Docker daemon 與 client 的交互運作(圖片來源: iT 邦幫忙

在 Docker 的運行架構中,存在 Docker Daemon(服務端守護進程)和 Client 兩個部分。Docker Daemon 會提供一組名為 Docker Remote API 的 REST API;而 Client 的代表就是我們常用的指令,指令則會透過 Docker Remote API 與 Docker Daemon 互動,從而完成各種功能。

簡而言之, Docker 的運行架構就是個標準的 C/S 架構。

那麼這邊又產生了一個問題,如果在建構映像檔時有涉及 COPYADD...等操作文件的指令時,因為並非在本地建構,而是在服務端建構的,那麼在 C/S 架構中, Docker Daemon 該如何獲得本地檔案?

這邊就有一個 映像檔建構上下文(Context)的概念。當建構的時候,使用者會指定建構映像檔上下文的路徑,而 docker build 指令再得知這路徑後,會將這路徑下的所有內容打包上傳給 Docker Daemon。而 Docker Daemon 在收到打包的內容後,會將它展開就能獲得建構映像檔所需的一切檔案。

那回到一開始的問題 docker build 命令後點號(.)的意思,指得就是將目前的目錄下的所有內容打包上傳給 Docker Daemon。

Step5|上傳映像檔

當成功建構映像檔後,若要將它發布出去,可以將其上傳至 Docker Hub。

Docker Hub Icon Docker Hub Icon

Step5-1|註冊與登入

雖先前從 Docker Hub 下載映像檔到本地端時,並不需要登入即可下載;但若要上傳映像檔必須完成登入:

1
2
$ docker login -u {Username} -p {Password}
Login Succeeded

如果沒有帳號則必須先前往官網註冊。

Step5-2|創建儲存庫(Create Repository)

Create Repository Create Repository

如果沒有現有的儲存庫,可藉由 UI 的填寫建立一個新的儲存庫:

填寫資料建立儲存庫 填寫資料建立儲存庫

在建立完成後可以得到一個 push 的指令,其中 tagname 需換成自定義的標籤,我們這邊使用 v1:

1
$ docker push cynthia/demo-push:v1

Step5-3|本地端映像檔重命名

在上一步驟可以發現從倉庫取得的指令中,其:

  • 倉庫與映像檔名稱{DockerHub UserName}/{ImageName}
    • 倉庫路徑(RegistryURL): cynthia
    • 映像檔名稱(ImageName): demo-push
  • 標籤v1

若此時直接使用指令上傳,會得到映像檔不存在錯誤。

1
2
3
$ docker push cynthia/demo-push:v1
The push refers to repository [cynthia/demo-push]
An image does not exist locally with the tag: cynthia/demo-push

這是因為剛剛在建立映像檔時,所使用的倉庫與映像檔名稱為 demo-push,而非 cynthia/demo-push,因此需要先重命名:

1
2
# docker tag {local_name}:{local_tag} {remote_name}:{remote_tag}
$ docker tag demo-push:v1 cynthia/demo-push:v1

Step5-4|上傳至倉庫

重新命名後,再使用上傳指令進行上傳:

1
docker push cynthia/demo-push:v1

上傳完成後,在終端機與平台上都可以看到相對應的提示:

參考資料

  1. Install Docker Engine on Ubuntu。檢自 Docker Documentation (2022-07-13)。
  2. Xu Sheng (2018-03-09)。docker build命令后 . 号的意思。檢自 XuSheng’s Blog (2022-07-13)。
  3. Baohua Yang (2022-05-12)。使用 Dockerfile 定制镜像。檢自 Docker 从入门到实践 (2022-07-13)。

更新紀錄

最後更新日期:2022-10-15
  • 2022-10-15 發布
  • 2022-08-09 完稿
  • 2022-07-13 起稿