Linux系統(tǒng)出現(xiàn)了性能問題，一般我們可以通過top、iostat、free、vmstat等命令來查看初步定位問題。其中iostat可以給我們提供豐富的IO狀態(tài)數(shù)據(jù)。

一、查詢命令基本使用

1、命令介紹

$iostat -d -k 1 10

-d 表示，顯示設(shè)備（磁盤）使用狀態(tài)；

-k某些使用block為單位的列強(qiáng)制使用Kilobytes為單位；

1 10表示，數(shù)據(jù)顯示每隔1秒刷新一次，共顯示10次。

2、用法展示

# iostat -x 1 10
Linux 2.6.18-92.el5xen    02/03/2009
avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           1.10    0.00    4.82   39.54    0.07   54.46
Device:         rrqm/s   wrqm/s   r/s   w/s   rsec/s   wsec/s avgrq-sz avgqu-sz   await  svctm  %util
sda               0.00     3.50  0.40  2.50     5.60    48.00    18.48     0.00    0.97   0.97   0.28
sdb               0.00     0.00  0.00  0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
sdc               0.00     0.00  0.00  0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
sdd               0.00     0.00  0.00  0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
sde               0.00     0.10  0.30  0.20     2.40     2.40     9.60     0.00    1.60   1.60   0.08
sdf              17.40     0.50 102.00  0.20 12095.20    5.60   118.40     0.70    6.81   2.09  21.36
sdg             232.40     1.90 379.70  0.50 76451.20    19.20   201.13    4.94   13.78   2.45  93.16

3、參數(shù)講解

（1）參數(shù)如下：

rrqm/s： 每秒進(jìn)行 merge 的讀操作數(shù)目。即 delta(rmerge)/s

wrqm/s： 每秒進(jìn)行 merge 的寫操作數(shù)目。即 delta(wmerge)/s

r/s： 每秒完成的讀 I/O 設(shè)備次數(shù)。即 delta(rio)/s

w/s： 每秒完成的寫 I/O 設(shè)備次數(shù)。即 delta(wio)/s

rsec/s：每秒讀扇區(qū)數(shù)。即 delta(rsect)/s

wsec/s： 每秒寫扇區(qū)數(shù)。即 delta(wsect)/s

rkB/s： 每秒讀K字節(jié)數(shù)。是 rsect/s 的一半，因?yàn)槊可葏^(qū)大小為512字節(jié)。(需要計(jì)算)

wkB/s： 每秒寫K字節(jié)數(shù)。是 wsect/s 的一半。(需要計(jì)算)

avgrq-sz： 平均每次設(shè)備I/O操作的數(shù)據(jù)大小 (扇區(qū))。delta(rsect+wsect)/delta(rio+wio)

avgqu-sz： 平均I/O隊(duì)列長(zhǎng)度。即 delta(aveq)/s/1000 (因?yàn)閍veq的單位為毫秒)。

await： 平均每次設(shè)備I/O操作的等待時(shí)間 (毫秒)。即 delta(ruse+wuse)/delta(rio+wio)

svctm： 平均每次設(shè)備I/O操作的服務(wù)時(shí)間 (毫秒)。即 delta(use)/delta(rio+wio)

%util： 一秒中有百分之多少的時(shí)間用于 I/O 操作，或者說一秒中有多少時(shí)間 I/O 隊(duì)列是非空的。即 delta(use)/s/1000 (因?yàn)閡se的單位為毫秒)

（2）參數(shù)分析：

如果 %util 接近 100%，說明產(chǎn)生的I/O請(qǐng)求太多，I/O系統(tǒng)已經(jīng)滿負(fù)荷，該磁盤可能存在瓶頸。

await小于70% IO壓力就較大了,一般讀取速度有較多的wait.

同時(shí)可以結(jié)合vmstat 查看查看bi參數(shù)(等待資源的進(jìn)程數(shù))和wa參數(shù)(IO等待所占用的CPU時(shí)間的百分比,高過30%時(shí)IO壓力高)

（3）另外還可以參考，一般情況:

① svctm < await (因?yàn)橥瑫r(shí)等待的請(qǐng)求的等待時(shí)間被重復(fù)計(jì)算了)，

② svctm的大小一般和磁盤性能有關(guān):CPU/內(nèi)存的負(fù)荷也會(huì)對(duì)其有影響，請(qǐng)求過多也會(huì)間接導(dǎo)致 svctm的增加。

③ await: await的大小一般取決于服務(wù)時(shí)間(svctm) 以及 I/O 隊(duì)列的長(zhǎng)度和 I/O 請(qǐng)求的發(fā)出模式。

④ 如果 svctm 比較接近 await，說明I/O 幾乎沒有等待時(shí)間；

⑤ 如果 await 遠(yuǎn)大于 svctm，說明 I/O隊(duì)列太長(zhǎng)，應(yīng)用得到的響應(yīng)時(shí)間變慢，

⑥ 如果響應(yīng)時(shí)間超過了用戶可以容許的范圍，這時(shí)可以考慮更換更快的磁盤，調(diào)整內(nèi)核 elevator算法，優(yōu)化應(yīng)用，或者升級(jí) CPU。

⑦ 隊(duì)列長(zhǎng)度(avgqu-sz)也可作為衡量系統(tǒng) I/O 負(fù)荷的指標(biāo)，但由于 avgqu-sz 是按照單位時(shí)間的平均值，所以不能反映瞬間的 I/O 洪水。

二、I/O理解與實(shí)例分析

1、一個(gè)不錯(cuò)的例子，瞬間理解I/O (I/O 系統(tǒng) vs. 超市排隊(duì))

（1）超市例子：

舉一個(gè)例子，我們?cè)诔信抨?duì) checkout 時(shí)，怎么決定該去哪個(gè)交款臺(tái)呢? 首當(dāng)是看排的隊(duì)人數(shù)，5個(gè)人總比20人要快吧?除了數(shù)人頭，我們也常常看看前面人購(gòu)買的東西多少，如果前面有個(gè)采購(gòu)了一星期食品的大媽，那么可以考慮換個(gè)隊(duì)排了。還有就是收銀員的速度了，如果碰上了連錢都點(diǎn)不清楚的新手，那就有的等了。另外，時(shí)機(jī)也很重要，可能 5分鐘前還人滿為患的收款臺(tái)，現(xiàn)在已是人去樓空，這時(shí)候交款可是很爽啊，當(dāng)然，前提是那過去的 5 分鐘里所做的事情比排隊(duì)要有意義(不過我還沒發(fā)現(xiàn)什么事情比排隊(duì)還無聊的)。

（2）I/O 系統(tǒng)也和超市排隊(duì)有很多類似之處

① r/s+w/s 類似于交款人的總數(shù)

② 平均隊(duì)列長(zhǎng)度(avgqu-sz)類似于單位時(shí)間里平均排隊(duì)人的個(gè)數(shù)

③ 平均服務(wù)時(shí)間(svctm)類似于收銀員的收款速度

④ 平均等待時(shí)間(await)類似于平均每人的等待時(shí)間

⑤ 平均I/O數(shù)據(jù)(avgrq-sz)類似于平均每人所買的東西多少

⑥ I/O 操作率 (%util)類似于收款臺(tái)前有人排隊(duì)的時(shí)間比例。

我們可以根據(jù)這些數(shù)據(jù)分析出 I/O 請(qǐng)求的模式，以及 I/O 的速度和響應(yīng)時(shí)間。

2、參數(shù)的實(shí)例分析

（1）實(shí)例

# iostat -x 1
avg-cpu:  %user   %nice    %sys   %idle
16.24    0.00    4.31   79.44
Device:     rrqm/s wrqm/s  r/s    w/s   rsec/s  wsec/s   rkB/s    wkB/s avgrq-sz avgqu-sz  await  svctm  %util
/dev/vda    00.00  44.90  1.02    27.55  8.16   579.59   4.08     289.80   20.57 22.35     78.21  5.00  14.29
/dev/vdb    00.00  44.90  1.02    27.55  8.16   579.59   4.08     289.80   20.57 22.35     78.21  5.00  14.29
/dev/vbc    00.00  0.00   0.00    0.00   0.00    0.00    0.00     0.00     0.00  0.00      0.00   0.00   0.00

（2）分析

① 上面的 iostat 輸出表明秒有 28.57 次設(shè)備 I/O 操作: 總IO(io)/s = r/s(讀) +w/s(寫) = 1.02+27.55 = 28.57 (次/秒) 其中寫操作占了主體 (w:r = 27:1)。

② 平均每次設(shè)備 I/O 操作只需要 5ms 就可以完成，但每個(gè) I/O 請(qǐng)求卻需要等上 78ms，為什么? 因?yàn)榘l(fā)出的 I/O 請(qǐng)求太多 (每秒鐘約 29 個(gè))，假設(shè)這些請(qǐng)求是同時(shí)發(fā)出的，那么平均等待時(shí)間可以這樣計(jì)算:

平均等待時(shí)間 = 單個(gè) I/O 服務(wù)時(shí)間 * ( 1 + 2 + ... + 請(qǐng)求總數(shù)-1) / 請(qǐng)求總數(shù)

③ 應(yīng)用到上面的例子: 平均等待時(shí)間 = 5ms * (1+2+...+28)/29 = 70ms，和 iostat 給出的78ms 的平均等待時(shí)間很接近。這反過來表明 I/O 是同時(shí)發(fā)起的。

④ 每秒發(fā)出的 I/O 請(qǐng)求很多 (約 29 個(gè))，平均隊(duì)列卻不長(zhǎng) (只有 2 個(gè) 左右)，這表明這 29 個(gè)請(qǐng)求的到來并不均勻，大部分時(shí)間 I/O 是空閑的。

⑤ 一秒中有 14.29% 的時(shí)間 I/O 隊(duì)列中是有請(qǐng)求的，也就是說，85.71% 的時(shí)間里 I/O 系統(tǒng)無事可做，所有 29 個(gè) I/O 請(qǐng)求都在142毫秒之內(nèi)處理掉了。

⑥ delta(ruse+wuse)/delta(io) = await = 78.21 => delta(ruse+wuse)/s=78.21 * delta(io)/s = 78.21*28.57 =2232.8，表明每秒內(nèi)的I/O請(qǐng)求總共需要等待2232.8ms。所以平均隊(duì)列長(zhǎng)度應(yīng)為 2232.8ms/1000ms = 2.23，而iostat 給出的平均隊(duì)列長(zhǎng)度 (avgqu-sz) 卻為 22.35，為什么?! 因?yàn)?iostat 中有 bug，avgqu-sz值應(yīng)為 2.23，而不是 22.35。

三、iostat用法升級(jí)

1、Input Output statistics ( iostat )

iostat反映了終端、磁盤I/O情況和CPU活動(dòng)。輸出結(jié)果的第一行是從系統(tǒng)啟動(dòng)到現(xiàn)在為止的這段時(shí)間的結(jié)果，接下去的每一行是interval時(shí)間段內(nèi)的結(jié)果。Kernel里有一組計(jì)數(shù)器用來跟蹤這些值。

iostat的默認(rèn)參數(shù)是tdc(terminal, disk, and CPU)。如果任何其他的選項(xiàng)被指定，這個(gè)默認(rèn)參數(shù)將被完全替代，例如，iostat -d將只反映磁盤的統(tǒng)計(jì)結(jié)果。

2、語(yǔ)法介紹

基本語(yǔ)法：iostat ; interval count

option - 讓你指定所需信息的設(shè)備，像磁盤、cpu或者終端(-d , -c , -t or -tdc ) 。x 選項(xiàng)給出了完整的統(tǒng)計(jì)結(jié)果（gives the extended statistic）。

interval - 在兩個(gè)samples之間的時(shí)間（秒）。

count - 就是需要統(tǒng)計(jì)幾次

3、例子

$ iostat -xtc 5 2
                          extended disk statistics       tty         cpu
     disk r/s  w/s Kr/s Kw/s wait actv svc_t  %w  %b  tin tout us sy wt id
     sd0   2.6 3.0 20.7 22.7 0.1  0.2  59.2   6   19   0   84  3  85 11 0
     sd1   4.2 1.0 33.5  8.0 0.0  0.2  47.2   2   23
     sd2   0.0 0.0  0.0  0.0 0.0  0.0   0.0   0    0
     sd3  10.2 1.6 51.4 12.8 0.1  0.3  31.2   3   31

4、參數(shù)詳解

disk：磁盤名稱

r / s：每秒讀取數(shù)

w / s：每秒寫入數(shù)

Kr / s：每秒讀取的千字節(jié)數(shù)

Kw / s：每秒寫入的千字節(jié)數(shù)

等待：等待服務(wù)的平均交易次數(shù)（Q長(zhǎng)度）

actv：正在服務(wù)的平均事務(wù)數(shù)（從隊(duì)列中刪除但尚未完成）

％w：等待服務(wù)的事務(wù)的時(shí)間百分比（隊(duì)列非空）

％b：磁盤忙碌的時(shí)間百分比（正在進(jìn)行的事務(wù)）

5、結(jié)果和解決方案

（1）從iostat輸出結(jié)果中需要注意的值：

Reads/writes per second (r/s , w/s)

Percentage busy (%b)

Service time (svc_t)

（2）如果磁盤顯示長(zhǎng)時(shí)間的高reads/writes，并且磁盤的percentage busy (%b)也遠(yuǎn)大于5%，同時(shí)average service time (svc_t)也遠(yuǎn)大于30 milliseconds，這以下的措施需要被執(zhí)行：

① 調(diào)整應(yīng)用，令其使用磁盤i/o更加有效率，可以通過修改磁盤隊(duì)列、使用應(yīng)用服務(wù)器的cache

② 將文件系統(tǒng)分布到2個(gè)或多個(gè)磁盤上，并使用volume manager/disksuite的條帶化特點(diǎn)

③ 增加系統(tǒng)參數(shù)值，如inode cache , ufs_ninode。Increase the system parameter values for inode cache , ufs_ninode , which is Number of inodes to be held in memory. Inodes are cached globally (for UFS), not on a per-file system basis

④ 將文件系統(tǒng)移到更快的磁盤/控制器，或者用更好的設(shè)備來代替