Docker 日志分為兩類：

Docker 引擎日志(也就是 dockerd 運(yùn)行時(shí)的日志)，

容器的日志，容器內(nèi)的服務(wù)產(chǎn)生的日志。

一 、Docker 引擎日志

Docker 引擎日志一般是交給了 Upstart(Ubuntu 14.04) 或者 systemd (CentOS 7, Ubuntu 16.04)。前者一般位于 /var/log/upstart/docker.log 下，后者我們一般 通過 journalctl -u docker來進(jìn)行查看。

以上內(nèi)容來自：https://blog.lab99.org/post/docker-2016-07-14-faq.html

二、容器日志

2.1、常用查看日志命令——docker logs

docker logs CONTAINER顯示當(dāng)前運(yùn)行的容器的日志信息， UNIX 和 Linux 的命令有三種 輸入輸出，分別是 STDIN(標(biāo)準(zhǔn)輸入)、STDOUT(標(biāo)準(zhǔn)輸出)、STDERR(標(biāo)準(zhǔn)錯(cuò)誤輸出)，docker logs 顯示的內(nèi)容包含 STOUT 和 STDERR。在生產(chǎn)環(huán)境，如果我們的應(yīng)用輸出到我們的日志文件里，所以我們?cè)谑褂?docker logs 一般收集不到太多重要的日志信息。

nginx 官方鏡像，使用了一種方式，讓日志輸出到 STDOUT，也就是 創(chuàng)建一個(gè)符號(hào)鏈接/var/log/nginx/access.log到/dev/stdout。

httpd 使用的是 讓其輸出到指定文件 ，正常日志輸出到/proc/self/fd/1(STDOUT) ，錯(cuò)誤日志輸出到/proc/self/fd/2(STDERR)。

當(dāng)日志量比較大的時(shí)候，我們使用 docker logs 來查看日志，會(huì)對(duì) docker daemon 造成比較大的壓力，容器導(dǎo)致容器創(chuàng)建慢等一系列問題。

只有使用了 `local 、json-file、journald` 的日志驅(qū)動(dòng)的容器才可以使用 docker logs 捕獲日志，使用其他日志驅(qū)動(dòng)無法使用 `docker logs`

2.2 、Docker 日志 驅(qū)動(dòng)

Docker 提供了兩種模式用于將消息從容器到日志驅(qū)動(dòng)。

(默認(rèn))拒絕，阻塞從容器到容器驅(qū)動(dòng)

非阻塞傳遞,日志將儲(chǔ)存在容器的緩沖區(qū)。

當(dāng)緩沖區(qū)滿，舊的日志將被丟棄。

在 mode 日志選項(xiàng)控制使用blocking(默認(rèn))或者non-blocking, 當(dāng)設(shè)置為non-blocking需要設(shè)置max-buffer-size參數(shù)(默認(rèn)為 1MB)。

支持的驅(qū)動(dòng)

使用 Docker-CE 版本，docker logs命令 僅僅適用于以下驅(qū)動(dòng)程序(前面 docker logs 詳解也提及到了)

local

json-file

journald

1558055133186

Docker 日志驅(qū)動(dòng)常用命令

查看系統(tǒng)當(dāng)前設(shè)置的日志驅(qū)動(dòng)

dockerinfo|grep"LoggingDriver"/dockerinfo--format'{{.LoggingDriver}}'

查看單個(gè)容器的設(shè)置的日志驅(qū)動(dòng)

dockerinspect-f'{{.HostConfig.LogConfig.Type}}'容器id

Docker 日志驅(qū)動(dòng)全局配置更改

修改日志驅(qū)動(dòng)，在配置文件/etc/docker/daemon.json（注意該文件內(nèi)容是 JSON 格式的）進(jìn)行配置即可。

示例：

{"log-driver":"syslog"}

以上更改是針對(duì)所有的容器的日志驅(qū)動(dòng)的。我們也可以單獨(dú)為單一容器設(shè)置日志驅(qū)動(dòng)。

Docker 單一容器日志驅(qū)動(dòng)配置

在 運(yùn)行容器的時(shí)候指定 日志驅(qū)動(dòng)--log-driver。

dockerrun-itd--log-drivernonealpineash#這里指定的日志驅(qū)動(dòng)為none

日志驅(qū)動(dòng) 一 、local

local日志驅(qū)動(dòng) 記錄從容器的STOUT/STDERR的輸出，并寫到宿主機(jī)的磁盤。

默認(rèn)情況下，local 日志驅(qū)動(dòng)為每個(gè)容器保留 100MB 的日志信息，并啟用自動(dòng)壓縮來保存。(經(jīng)過測(cè)試，保留100MB 的日志是指沒有經(jīng)過壓縮的日志)

local 日志驅(qū)動(dòng)的儲(chǔ)存位置/var/lib/docker/containers/容器id/local-logs/以container.log命名。

local 驅(qū)動(dòng)支持的選項(xiàng)

全局日志驅(qū)動(dòng)設(shè)置為—local

在配置文件/etc/docker/daemon.json（注意該文件內(nèi)容是 JSON 格式的）進(jìn)行配置即可。

{"log-driver":"local","log-opts":{"max-size":"10m"}}

重啟 docker 即可生效。

單個(gè)容器日志驅(qū)動(dòng)設(shè)置為—local

運(yùn)行容器并設(shè)定為local驅(qū)動(dòng)。

#運(yùn)行一個(gè)容器，并設(shè)定日志驅(qū)動(dòng)為local，并運(yùn)行命令pingwww.baidu.com[root@localhostdocker]#dockerrun-itd--log-driverlocalalpinepingwww.baidu.com3795b6483534961c1d5223359ad1106433ce2bf25e18b981a47a2d79ad7a3156#查看運(yùn)行的容器的日志驅(qū)動(dòng)是否是local[root@localhostdocker]#dockerinspect-f'{{.HostConfig.LogConfig.Type}}'3795b6483534961clocal#查看日志[root@localhostlocal-logs]#tail-f/var/lib/docker/containers/3795b6483534961c1d5223359ad1106433ce2bf25e18b981a47a2d79ad7a3156/local-logs/container.logNNdout????:64bytesfrom14.215.177.38:seq=816ttl=55time=5.320msNNdout?μ???:64bytesfrom14.215.177.38:seq=817ttl=55time=4.950ms

注意事項(xiàng)： 經(jīng)過測(cè)試，當(dāng)我們產(chǎn)生了100 MB 大小的日志時(shí) 會(huì)有 四個(gè)壓縮文件和一個(gè)container.log：

[root@localhostlocal-logs]#ls-ltotal32544-rw-r-----.1rootroot18339944May1609:41container.log-rw-r-----.1rootroot3698660May1609:41container.log.1.gz-rw-r-----.1rootroot3726315May1609:41container.log.2.gz-rw-r-----.1rootroot3805668May1609:41container.log.3.gz-rw-r-----.1rootroot3744104May1609:41container.log.4.gz

那么當(dāng)超過了 100MB 的日志文件，日志文件會(huì)繼續(xù)寫入到 container.log，但是會(huì)將 container.log日志中老的日志刪除，追加新的，也就是 當(dāng)寫滿 100MB 日志后 ，再產(chǎn)生一條新日志，會(huì)刪除 container.log中的一條老日志，保存 100MB 的大小。這個(gè) 對(duì)我們是會(huì)有一些影響的，

當(dāng)我運(yùn)行系統(tǒng)時(shí)第一天由于bug產(chǎn)生了100MB日志，那么之前的日志就已經(jīng)有80MB日志變成的壓縮包，所以我在后續(xù)的運(yùn)行中，只能獲取最近的20MB日志。

日志驅(qū)動(dòng) 二、 默認(rèn)的日志驅(qū)動(dòng)—JSON

所有容器默認(rèn)的日志驅(qū)動(dòng)json-file。

json-file日志驅(qū)動(dòng) 記錄從容器的STOUT/STDERR的輸出 ，用 JSON 的格式寫到文件中，日志中不僅包含著 輸出日志，還有時(shí)間戳和 輸出格式。下面是一個(gè)ping www.baidu.com對(duì)應(yīng)的 JSON 日志

{"log":"64bytesfrom14.215.177.39:seq=34ttl=55time=7.067ms\r\n","stream":"stdout","time":"2019-05-16T14:14:15.030612567Z"}

json-file 日志的路徑位于/var/lib/docker/containers/container_id/container_id-json.log。

json-file的 日志驅(qū)動(dòng)支持以下選項(xiàng)：

json-file的日志驅(qū)動(dòng)示例

#設(shè)置日志驅(qū)動(dòng)為json-file，我們也可以不設(shè)置，因?yàn)槟J(rèn)就是json-filedockerrun-itd--nametest-log-json--log-driverjson-filealpinepingwww.baidu.com199608b2e2c52136d2a17e539e9ef7fbacf97f1293678aded421dadbdb006a5e#查看日志,日志名稱就是容器名稱-json.logtail-f/var/lib/docker/containers/199608b2e2c52136d2a17e539e9ef7fbacf97f1293678aded421dadbdb006a5e/199608b2e2c52136d2a17e539e9ef7fbacf97f1293678aded421dadbdb006a5e-json.log{"log":"64bytesfrom14.215.177.39:seq=13ttl=55time=15.023ms\r\n","stream":"stdout","time":"2019-05-16T14:13:54.003118877Z"}{"log":"64bytesfrom14.215.177.39:seq=14ttl=55time=9.640ms\r\n","stream":"stdout","time":"2019-05-16T14:13:54.999011017Z"}{"log":"64bytesfrom14.215.177.39:seq=15ttl=55time=8.938ms\r\n","stream":"stdout","time":"2019-05-16T14:13:55.998612636Z"}{"log":"64bytesfrom14.215.177.39:seq=16ttl=55time=18.086ms\r\n","stream":"stdout","time":"2019-05-16T14:13:57.011235913Z"}{"log":"64bytesfrom14.215.177.39:seq=17ttl=55time=12.615ms\r\n","stream":"stdout","time":"2019-05-16T14:13:58.007104112Z"}{"log":"64bytesfrom14.215.177.39:seq=18ttl=55time=11.001ms\r\n","stream":"stdout","time":"2019-05-16T14:13:59.007559413Z"}

日志驅(qū)動(dòng) 三、syslog

syslog 日志驅(qū)動(dòng)將日志路由到 syslog 服務(wù)器，syslog 以原始的字符串作為 日志消息元數(shù)據(jù)，接收方可以提取以下的消息：

level 日志等級(jí) ，如debug，warning，error，info。

timestamp 時(shí)間戳

hostname 事件發(fā)生的主機(jī)

facillty 系統(tǒng)模塊

進(jìn)程名稱和進(jìn)程 ID

syslog日志驅(qū)動(dòng)全局配置

編輯/etc/docker/daemon.json文件

{"log-driver":"syslog","log-opts":{"syslog-address":"udp://1.2.3.4:1111"}}

重啟 docker 即可生效。

**單個(gè)容器日志驅(qū)動(dòng)設(shè)置為—syslog **

Linux系統(tǒng)中 我們用的系統(tǒng)日志模塊時(shí) rsyslog，它是基于syslog的標(biāo)準(zhǔn)實(shí)現(xiàn)。我們要使用 syslog 驅(qū)動(dòng)需要使用 系統(tǒng)自帶的rsyslog服務(wù)。

#查看當(dāng)前rsyslog版本和基本信息[root@localhostharbor]#rsyslogd-vrsyslogd8.24.0,compiledwith:PLATFORM:x86_64-redhat-linux-gnuPLATFORM(lsb_release-d):FEATURE_REGEXP:YesGSSAPIKerberos5support:YesFEATURE_DEBUG(debugbuild,slowcode):No32bitAtomicoperationssupported:Yes64bitAtomicoperationssupported:Yesmemoryallocator:systemdefaultRuntimeInstrumentation(slowcode):Nouuidsupport:YesNumberofBitsinRainerScriptintegers:64Seehttp://www.rsyslog.comformoreinformation.

配置 syslog , 在配置文件/etc/rsyslog.conf大約14-20行，我們可以看到兩個(gè)配置，一個(gè)udp，一個(gè)tcp ，都是監(jiān)聽 514 端口，提供 syslog 的接收。選擇 tcp 就將 tcp 的兩個(gè)配置的前面 # 號(hào)注釋即可。

#ProvidesUDPsyslogreception#$ModLoadimudp#$UDPServerRun514#ProvidesTCPsyslogreception#$ModLoadimtcp#$InputTCPServerRun514

然后重啟 rsyslog，我們可以看到514端口在監(jiān)聽。

systemctlrestartrsyslog[root@localhostharbor]#netstat-ntul|grep514tcp000.0.0.0:5140.0.0.0:*LISTENtcp600:::514:::*LISTEN

啟動(dòng)一個(gè)以 syslog為驅(qū)動(dòng)的容器。

dockerrun-d-it-p87:80--log-driversyslog--log-optsyslog-address=tcp://127.0.0.1:514--namenginx-syslognginx

訪問并查看日志

#訪問nginxcurl127.0.0.1:87#查看訪問日志tail-f/var/log/messagesMay1715:56:48localhostfe18924aefde[6141]:172.17.0.1--[17/May/2019:07:56:48+0000]"GET/HTTP/1.1"200612"-""curl/7.29.0""-"#015May1715:58:16localhostfe18924aefde[6141]:172.17.0.1--[17/May/2019:07:58:16+0000]"GET/HTTP/1.1"200612"-""curl/7.29.0""-"#015

日志驅(qū)動(dòng) 四、Journald

journald日志驅(qū)動(dòng)程序?qū)⑷萜鞯娜罩景l(fā)送到systemd journal, 可以使用journal API或者使用docker logs來查日志。

除了日志本身以外，journald日志驅(qū)動(dòng)還會(huì)在日志加上下面的數(shù)據(jù)與消息一起儲(chǔ)存。

選項(xiàng)

journald日志驅(qū)動(dòng)全局配置

編輯/etc/docker/daemon.json文件

{"log-driver":"journald"}

單個(gè)容器日志驅(qū)動(dòng)設(shè)置為—journald

dockerrun-d-it--log-driver=journald\--log-optlabels=location\--log-optenv=TEST\--env"TEST=false"\--labellocation=china\--namenginx-journald\-p80:80\nginx

查看日志journalctl

#只查詢指定容器的相關(guān)消息journalctlCONTAINER_NAME=webserver#-b指定從上次啟動(dòng)以來的所有消息journalctl-bCONTAINER_NAME=webserver#-o指定日志消息格式，-ojson表示以json格式返回日志消息journalctl-ojsonCONTAINER_NAME=webserver#-f一直捕獲日志輸出journalctl-fCONTAINER_NAME=webserver

如果我們的容器在啟動(dòng)的時(shí)候加了 -t 參數(shù)，啟用了 TTY 的話，那么我查看日志是會(huì)像下面一樣

May1717:19:26localhost.localdomain2a338e4631fe[6141]:[104Bblobdata]May1717:19:32localhost.localdomain2a338e4631fe[6141]:[104Bblobdata]

顯示[104B blob data]而不是完整日志原因是因?yàn)橛衆(zhòng)r的存在，如果我們要完整顯示，需要加上參數(shù)--all。

三、 生產(chǎn)環(huán)境中該如何儲(chǔ)存容器中的日志

我們?cè)谏厦婵吹搅?Docker 官方提供了 很多日志驅(qū)動(dòng)，但是上面的這些驅(qū)動(dòng)都是針對(duì)的 標(biāo)準(zhǔn)輸出的日志驅(qū)動(dòng)。

容器日志分類

容器的日志實(shí)際是有兩大類的：

標(biāo)準(zhǔn)輸出的，也就是 STDOUT 、STDERR ,這類日志我們可以通過 Docker 官方的日志驅(qū)動(dòng)進(jìn)行收集。

示例：Nginx 日志，Nginx 日志有access.log和error.log，我們?cè)?Docker Hub 上可以看到 Nginx 的 dockerfile 對(duì)于這兩個(gè)日志的處理是：

RUNln-sf/dev/stdout/var/log/nginx/access.log\&&ln-sf/dev/stderr/var/log/nginx/error.log

都軟連接到/dev/stdout和/dev/stderr，也就是標(biāo)準(zhǔn)輸出，所以這類 容器是可以使用 Docker 官方的日志驅(qū)動(dòng)。

文本日志，存在在于容器內(nèi)部，并沒有重定向到 容器的標(biāo)準(zhǔn)輸出的日志。

示例： Tomcat 日志，Tomcat 有 catalina、localhost、manager、admin、host-manager，我們可以在 Docker Hub 看到 Tomcat 的 dockerfile 只有對(duì)于 catalina 進(jìn)行處理，其它日志將儲(chǔ)存在容器里。

CMD["catalina.sh","run"]

我們運(yùn)行了一個(gè) Tomcat 容器 ，然后進(jìn)行訪問后，并登陸到容器內(nèi)部，我們可以看到產(chǎn)生了文本日志：

root@25ba00fdab97:/usr/local/tomcat/logs#ls-ltotal16-rw-r-----.1rootroot6822May1714:36catalina.2019-05-17.log-rw-r-----.1rootroot0May1714:36host-manager.2019-05-17.log-rw-r-----.1rootroot459May1714:36localhost.2019-05-17.log-rw-r-----.1rootroot1017May1714:37localhost_access_log.2019-05-17.txt-rw-r-----.1rootroot0May1714:36manager.2019-05-17.log

這類容器我們下面有專門的方案來應(yīng)對(duì)。

一、當(dāng)是完全是標(biāo)準(zhǔn)輸出的類型的容器

我們可以選擇 json-file 、syslog、local 等 Docker 支持的日志驅(qū)動(dòng)。

二、當(dāng)有文件文本日志的類型容器

方案一 掛載目錄 bind

創(chuàng)建一個(gè)目錄，將目錄掛載到 容器中產(chǎn)生日志的目錄。

--mounttype=bind,src=/opt/logs/,dst=/usr/local/tomcat/logs/

示例：

#創(chuàng)建掛載目錄/opt/logs[root@fy-local-2/]#mkdir/opt/logs#創(chuàng)建容器tomcat-bind并將/opt/logs掛載至/usr/local/tomcat/logs/[root@fy-local-2/]#dockerrun-d--nametomcat-bind-P--mounttype=bind,src=/opt/logs/,dst=/usr/local/tomcat/logs/tomcat[root@fy-local-2/]#ls-l/opt/logs/total12-rw-r-----1rootroot6820May2217:31catalina.2019-05-22.log-rw-r-----1rootroot0May2217:31host-manager.2019-05-22.log-rw-r-----1rootroot459May2217:31localhost.2019-05-22.log-rw-r-----1rootroot0May2217:31localhost_access_log.2019-05-22.txt-rw-r-----1rootroot0May2217:31manager.2019-05-22.log

方案二 使用數(shù)據(jù)卷 volume

創(chuàng)建數(shù)據(jù)卷，創(chuàng)建容器時(shí)綁定數(shù)據(jù)卷，

--mounttype=volumesrc=volume_namedst=/usr/local/tomcat/logs/

示例：

#創(chuàng)建tomcat應(yīng)用數(shù)據(jù)卷名稱為tomcat[root@fy-local-2/]#dockervolumecreatetomcat#創(chuàng)建容器tomcat-volume并指定數(shù)據(jù)卷為tomcat，綁定至/usr/local/tomcat/logs/[root@fy-local-2/]#dockerrun-d--nametomcat-volume-P--mounttype=volume,src=tomcat,dst=/usr/local/tomcat/logs/tomcat#查看數(shù)據(jù)卷里面的內(nèi)容[root@fy-local-2/]#ls-l/var/lib/docker/volumes/tomcat/_data/total12-rw-r-----1rootroot6820May2217:33catalina.2019-05-22.log-rw-r-----1rootroot0May2217:33host-manager.2019-05-22.log-rw-r-----1rootroot459May2217:33localhost.2019-05-22.log-rw-r-----1rootroot0May2217:33localhost_access_log.2019-05-22.txt-rw-r-----1rootroot0May2217:33manager.2019-05-22.log

方案三 計(jì)算容器 rootfs 掛載點(diǎn)

此方案的文字內(nèi)容摘抄于 https://yq.aliyun.com/articles/672054

使用掛載宿主機(jī)目錄的方式采集日志對(duì)應(yīng)用會(huì)有一定的侵入性，因?yàn)樗笕萜鲉?dòng)的時(shí)候包含掛載命令。如果采集過程能對(duì)用戶透明那就太棒了。事實(shí)上，可以通過計(jì)算容器 rootfs 掛載點(diǎn)來達(dá)到這種目的。

和容器 rootfs 掛載點(diǎn)密不可分的一個(gè)概念是 storage driver。實(shí)際使用過程中，用戶往往會(huì)根據(jù) linux 版本、文件系統(tǒng)類型、容器讀寫情況等因素選擇合適的 storage driver。不同 storage driver 下，容器的 rootfs 掛載點(diǎn)遵循一定規(guī)律，因此我們可以根據(jù) storage driver 的類型推斷出容器的 rootfs 掛載點(diǎn)，進(jìn)而采集容器內(nèi)部日志。下表展示了部分 storage dirver 的 rootfs 掛載點(diǎn)及其計(jì)算方法。

示例：

#創(chuàng)建容器tomcat-test[root@fy-local-2/]#dockerrun-d--nametomcat-test-Ptomcat36510dd653ae7dcac1d017174b1c38b3f9a226f9c4e329d0ff656cfe041939ff#查看tomcat-test容器的掛載點(diǎn)位置[root@fy-local-2/]#dockerinspect-f'{{.GraphDriver.Data.MergedDir}}'36510dd653ae7dcac1d017174b1c38b3f9a226f9c4e329d0ff656cfe041939ff/var/lib/docker/overlay2/c10ec54bab8f3fccd2c5f1a305df6f3b1e53068776363ab0c104d253216b799d/merged#查看掛載點(diǎn)的目錄結(jié)構(gòu)[root@fy-local-2/]#ls-l/var/lib/docker/overlay2/c10ec54bab8f3fccd2c5f1a305df6f3b1e53068776363ab0c104d253216b799d/mergedtotal4drwxr-xr-x1rootroot179May813:05bindrwxr-xr-x2rootroot6Mar2817:12bootdrwxr-xr-x1rootroot43May2217:27devlrwxrwxrwx1rootroot33May813:08docker-java-home->/usr/lib/jvm/java-8-openjdk-amd64drwxr-xr-x1rootroot66May2217:27etcdrwxr-xr-x2rootroot6Mar2817:12homedrwxr-xr-x1rootroot6May1608:50libdrwxr-xr-x2rootroot34May608:00lib64drwxr-xr-x2rootroot6May608:00mediadrwxr-xr-x2rootroot6May608:00mntdrwxr-xr-x2rootroot6May608:00optdrwxr-xr-x2rootroot6Mar2817:12procdrwx------1rootroot27May2217:29rootdrwxr-xr-x3rootroot30May608:00rundrwxr-xr-x2rootroot4096May608:00sbindrwxr-xr-x2rootroot6May608:00srvdrwxr-xr-x2rootroot6Mar2817:12sysdrwxrwxrwt1rootroot29May1608:50tmpdrwxr-xr-x1rootroot19May608:00usrdrwxr-xr-x1rootroot41May608:00var#查看日志[root@fy-local-2/]#ls-l/var/lib/docker/overlay2/c10ec54bab8f3fccd2c5f1a305df6f3b1e53068776363ab0c104d253216b799d/merged/usr/local/tomcat/logs/total20-rw-r-----1rootroot14514May2217:40catalina.2019-05-22.log-rw-r-----1rootroot0May2217:27host-manager.2019-05-22.log-rw-r-----1rootroot1194May2217:40localhost.2019-05-22.log-rw-r-----1rootroot0May2217:27localhost_access_log.2019-05-22.txt-rw-r-----1rootroot0May2217:27manager.2019-05-22.log

方案四 在代碼層中實(shí)現(xiàn)直接將日志寫入redis

docker ——》redis ——》Logstash——》Elasticsearch

通過代碼層面，直接將日志寫入redis,最后寫入Elasticsearch。

以上就是對(duì) Docker 日志的所有的概念解釋和方案提供，具體采用什么方案，根據(jù)公司的具體的業(yè)務(wù)來選擇。合適的才是最好的。