介紹
當(dāng)您想到拒絕服務(wù)攻擊時(shí),您會(huì)想到什么?可能是一大群機(jī)器人試圖訪問 Web 服務(wù)器的資源以使其癱瘓。好吧,這肯定是導(dǎo)致拒絕服務(wù)攻擊的一種方式。但是,還有一種您可能沒有聽說(shuō)過(guò)的方式。它被稱為 ReDoS,是由正則表達(dá)式引起的。
正則表達(dá)式?但這怎么可能呢?那不是通過(guò)使用過(guò)濾器來(lái)匹配字符串、將字符串列入白名單和黑名單,從而使我們的工作更輕松嗎?是的,但是攻擊者也可以利用它來(lái)使應(yīng)用程序(服務(wù)器)屈服。讓我們了解如何!
正則表達(dá)式是什么?
簡(jiǎn)而言之,正則表達(dá)式是一種用于匹配(編程語(yǔ)言中)字符串的模式。讓我們通過(guò)一個(gè)示例來(lái)理解它吧,該示例是“用正則表達(dá)式在服務(wù)器端驗(yàn)證電子郵件地址”。
letregex=newRegExp('[a-z0-9]+@[a-z]+.[a-z]{2,3}');
lettestEmails=["notanemail.com","workingexample@email.com","another_working@somethingelse.org","notworking@1.com"];
testEmails.forEach((address)=>{
console.log(regex.test(address))
});
上面是一段 JavaScript 代碼(譯者注:不會(huì) JS 也無(wú)妨,對(duì)閱讀本文的影響不大,請(qǐng)繼續(xù)閱讀)。我們?cè)谶@里使用的正則表達(dá)式是 [a-z0–9]+@[a-z]+.[a-z]{2,3}
。我們提供了幾個(gè)電子郵件地址,然后我們需要檢查它們是否遵循電子郵件地址的一般模式。讓我們分解一下正則表達(dá)式。
-
[a-z0–9]+
:表示此處的字符串可以是任何小寫字母和數(shù)字。末尾的加號(hào) (+) 表示必須至少有一個(gè)字符(無(wú)論是小寫字母還是數(shù)字)。 -
@
:表示此處應(yīng)該有 AT(@)符。 -
[a-z]+
:表示此處字符串應(yīng)該包含(一個(gè)或多個(gè))小寫字母的字符 -
.
:表示此處應(yīng)該有一個(gè)點(diǎn)(.) -
[a-z]{2,3}
:表示此處字符串是由小寫字母組成的,但其長(zhǎng)度只能是 2 或 3。
讓我們將其與我們選擇的電子郵件 ID 進(jìn)行比較。讓電子郵件 ID 為 yourremail12@yahooemail.com
。
-
youremail12@
對(duì)應(yīng)于[a-z0-9]+@
-
yahooemail
對(duì)應(yīng)于[a-z]+
-
.com
對(duì)應(yīng)于.[a-z]{2,3}
這通常是正則表達(dá)式的工作方式。但這不是會(huì)按預(yù)期工作嗎?這如何能導(dǎo)致拒絕服務(wù)攻擊呢?讓我們了解一下。
正則表達(dá)式由正則表達(dá)式運(yùn)算器處理。在 ReDoS 攻擊期間,攻擊者通過(guò)提供輸入字符串強(qiáng)制正則表達(dá)式運(yùn)算器陷入循環(huán)。當(dāng)它處于循環(huán)中時(shí),正則表達(dá)式運(yùn)算器可能會(huì)花費(fèi)大量時(shí)間,并消耗大量資源。這會(huì)導(dǎo)致其他合法客戶端無(wú)法使用資源,并可能導(dǎo)致 Web 服務(wù)器和應(yīng)用程序無(wú)響應(yīng)并最終崩潰。
另一種情況可能是設(shè)計(jì)不良的正則表達(dá)式模式,這可能導(dǎo)致輸入驗(yàn)證失敗,在正則表達(dá)式運(yùn)算器解析時(shí)會(huì)消耗大量時(shí)間等。
有害正則表達(dá)式(Evil Regex)
有害正則表達(dá)式模式是攻擊者可以利用的正則表達(dá)式。根據(jù) Wikipedia,這些是有害正則表達(dá)式模式的特征。
-
正則表達(dá)式將重復(fù)(
+
、*
)應(yīng)用于復(fù)雜的子表達(dá)式。 - 對(duì)于重復(fù)的子表達(dá)式,存在一個(gè)匹配,同時(shí)該匹配也是另一個(gè)有效匹配的后綴。
這說(shuō)明了如果已經(jīng)有一個(gè)復(fù)雜的子表達(dá)式,并且應(yīng)用一些像 +
或 *
這樣的貪婪運(yùn)算符,可能會(huì)導(dǎo)致一個(gè)有害的正則表達(dá)式。
例如,
我們考慮以下正則表達(dá)式:^(a+)+$
^
和 $
定義了字符串必須分別以 a
開頭和結(jié)尾。
如果我們提供 aaaaaaaaaaaaaaaaaaaaaaaaaaaaaa
,正則表達(dá)式運(yùn)算器將在幾毫秒內(nèi)處理它并返回 True
。
如果我提供 aaaaaaaaaaaaaaaaaaaaaaaaaaaaaa!
,你覺得會(huì)發(fā)生什么!
如果您運(yùn)行它,則對(duì)于所提供的正則表達(dá)式,(在返回 False
之前)需要花費(fèi)大約 2 秒的時(shí)間來(lái)處理。只是通過(guò)添加一個(gè)額外的感嘆號(hào)會(huì)導(dǎo)致這么長(zhǎng)的時(shí)間嗎?
讓我們從正則表達(dá)式運(yùn)算器的角度來(lái)看看它是如何工作的。正則表達(dá)式運(yùn)算器直到達(dá)到感嘆號(hào)之前將會(huì)正常工作。由于我們沒有指定查找 (!
) 標(biāo)記,因此它會(huì)回溯到前面的字母,并查看是否有另一種方法來(lái)解析先前的字符,以便可以驗(yàn)證整個(gè)字符串。在它最終發(fā)現(xiàn)絕不會(huì)返回 True
之前,這樣的回溯將會(huì)一直持續(xù)下去。
如您所知,回溯會(huì)導(dǎo)致大量時(shí)間消耗。攻擊者可以使用它來(lái)利用有害正則表達(dá)式模式。
譯者注
看完上述內(nèi)容后,有些讀者可能仍對(duì)剛才的示例(回溯)表示不解。為了讓讀者能夠更加清晰地了解其原理,我將上例中正則表達(dá)式運(yùn)算器可能將執(zhí)行的步驟進(jìn)行了分解演示。
下列演示的過(guò)程只是存在的一種可能(實(shí)際情況取決于正則表達(dá)式引擎的實(shí)現(xiàn))
回溯次數(shù) | 解析結(jié)果 |
---|---|
0 |
{aaaaaaaaaaaaaaaaaaaaaaaaaaaaaa} |
1 |
{aaaaaaaaaaaaaaaaaaaaaaaaaaaaa} , {a} |
2 |
{aaaaaaaaaaaaaaaaaaaaaaaaaaaa} , {aa} |
3 |
{aaaaaaaaaaaaaaaaaaaaaaaaaaaa} , {a} , {a} |
4 |
{aaaaaaaaaaaaaaaaaaaaaaaaaaa} , {aaa} |
5 |
{aaaaaaaaaaaaaaaaaaaaaaaaaaa} , {aa} , {a} |
6 |
{aaaaaaaaaaaaaaaaaaaaaaaaaaa} , {a} , {aa} |
7 |
{aaaaaaaaaaaaaaaaaaaaaaaaaaa} , {a} , {a} , {a} |
8 |
{aaaaaaaaaaaaaaaaaaaaaaaaaa} , {aaaa} |
... |
... |
2147483647 |
{a} , {a} , {a} , {a} , {a} , {a} , {a} , {a} , {a} , {a} , {a} , {a} , {a} , {a} , {a} , {a} , {a} , {a} , {a} , {a} , {a} , {a} , {a} , {a} , {a} , {a} , {a} , {a} , {a} , {a} |
從上面的表格可以看出,正則引擎可能會(huì)做出 (近 20 億)種解析結(jié)果。
也就是,對(duì)于示例給出的有害正則表達(dá)式和惡意字符串。如果按照我們的演示進(jìn)行,設(shè)有效最長(zhǎng)子串的長(zhǎng)度為 ,那么回溯的時(shí)間復(fù)雜度為(證明過(guò)程略,感興趣的讀者可去探究帕斯卡三角形)。該時(shí)間復(fù)雜度是指數(shù)級(jí)別,多么可怕的時(shí)間復(fù)雜度級(jí)別??!
對(duì)于 30 個(gè) a,僅多出一個(gè)感嘆號(hào),執(zhí)行時(shí)間竟然多出約 20 億倍。當(dāng)然了,這里僅是一種可能的演示,在作者示例中的時(shí)間僅多了千倍左右。這可以從很多方面解釋,例如正則引擎的某些優(yōu)化,或比例受某些較長(zhǎng)固定執(zhí)行時(shí)間的支配等。
譯者注結(jié)束
可利用性
開發(fā)人員和我們一樣都是人類,因此都會(huì)出錯(cuò)。他們創(chuàng)建的許多應(yīng)用程序可能會(huì)包含可利用的正則表達(dá)式模式。對(duì)于有經(jīng)驗(yàn)的黑客或安全專家來(lái)說(shuō),正則表達(dá)式模式很容易被猜到,而在有些情況下,源代碼是可以在線獲得的。攻擊者可以利用這一點(diǎn)來(lái)謀取利益,并可能降低被攻擊者的利益。
糟糕的正則表達(dá)式模式也可能會(huì)導(dǎo)致繞過(guò)許多安全控制,無(wú)論是在 Web 應(yīng)用程序還是網(wǎng)絡(luò)防火墻上。
因此,始終建議在將應(yīng)用程序部署到生產(chǎn)環(huán)境之前正確測(cè)試正則表達(dá)式模式。
緩解措施
-
緩解這種情況的最佳方法是根本不去使用它。尤其當(dāng)你是新手時(shí)。
-
如有必要,請(qǐng)使用安全的正則表達(dá)式。這樣只需尋找另一種替換方法來(lái)完成相同的輸出。
-
在使用正則表達(dá)式之前,請(qǐng)?jiān)?regex101.com 或其他在線資源等網(wǎng)站上測(cè)試它們。
-
安全掃描用戶輸入永遠(yuǎn)不會(huì)過(guò)時(shí)。
-
現(xiàn)在存在著很多正則表達(dá)式運(yùn)算器。我建議您使用更高效的正則表達(dá)式引擎。你可以看看 https://github.com/google/re2。
-
測(cè)試您是否正在使用易受攻擊的正則表達(dá)式引擎或運(yùn)算器。例如,url-regex 是一個(gè)用于測(cè)試匹配 URL 的正則表達(dá)式的包。
結(jié)論
我們忽視的諸如此類的小事可能會(huì)給安全增加了很大的風(fēng)險(xiǎn)。在這篇文章中,我們了解了可能由有害正則表達(dá)式模式引起的 DoS 攻擊、主要原因、以及我們應(yīng)如何緩解它們。有必要緩解這種情況,因?yàn)樗鼈儠?huì)影響網(wǎng)站的可用性,并且可能會(huì)花費(fèi)您很多資金。
原文標(biāo)題:正則表達(dá)式也會(huì)導(dǎo)致拒絕服務(wù)?探討 ReDos(可能會(huì)中招哦)
文章出處:【微信公眾號(hào):馬哥Linux運(yùn)維】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
-
服務(wù)器
+關(guān)注
關(guān)注
12文章
9123瀏覽量
85322 -
拒絕服務(wù)
+關(guān)注
關(guān)注
0文章
3瀏覽量
8005 -
正則表達(dá)式
+關(guān)注
關(guān)注
0文章
27瀏覽量
3483
原文標(biāo)題:正則表達(dá)式也會(huì)導(dǎo)致拒絕服務(wù)?探討 ReDos(可能會(huì)中招哦)
文章出處:【微信號(hào):magedu-Linux,微信公眾號(hào):馬哥Linux運(yùn)維】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論