RM新时代网站-首页

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

python性能之服務(wù)優(yōu)化的方法解析

馬哥Linux運(yùn)維 ? 2017-12-31 01:04 ? 次閱讀

初看這個標(biāo)題,相信很多同學(xué)都笑了,python有性能可言么,呵呵噠...確實(shí)哦,python其實(shí)就是為了快速開發(fā)應(yīng)用而出生的,雖然python的服務(wù)都以性能低而聞名全世界,但是總該有優(yōu)化的地方吧,呵呵噠....

這不,這兩天本作者就碰見了這樣一個問題,首先自我介紹下,我是干嘛的,肯定是屌絲程序員了,這個猜都不用猜,要不然也不會蛋疼的寫這篇文章了,我們組是基礎(chǔ)開發(fā)組,就是專門開發(fā)一些剝離業(yè)務(wù)的組件讓其他部門去用,比如業(yè)務(wù)監(jiān)控,業(yè)務(wù)報警,服務(wù)數(shù)據(jù)采集等等一堆搬磚的活.好了,廢話不多說了,估計(jì)看到這的也都看煩了...你們真的煩了么

這樣滴,我們這有個收集業(yè)務(wù)數(shù)據(jù)的組件簡稱M好啦,首先他要在業(yè)務(wù)服務(wù)器上建個udpserver,然后就靜靜的等業(yè)務(wù)的客戶端上報數(shù)據(jù)過來,數(shù)據(jù)格式是key-value形式的,然而就在最近幾天,有人在給業(yè)務(wù)機(jī)器做壓測的時候,發(fā)現(xiàn)一個問題,隨著并發(fā)的增加,這個M組件的cpu使用率也在不斷上升,擦,這下服務(wù)器不愿意了,開始瘋狂報警,然后做壓測的那個人就找我這來了,巴拉巴拉一堆,意思就是我給業(yè)務(wù)做壓測,你收集數(shù)據(jù)的組件飚個毛啊......

然而我是那么容易被打倒的么,就解釋說當(dāng)然啊,你在給業(yè)務(wù)壓測的時候,同時你的client也在請求我啊,相當(dāng)于我的并發(fā)量也在上升啊,不飚才怪呢,好吧,說歸說,抱著工匠精神,開始找問題吧...

這個M組件是用python寫的多線程的udpserver,經(jīng)本人測試,當(dāng)并發(fā)達(dá)到2000的時候,cpu就100%左右了,其實(shí)udp相比tcp而言性能已經(jīng)很高了,不過這個并發(fā)還是有點(diǎn)感人啊,改成多進(jìn)程也試了下,cpu占用還是70%左右,畢竟多進(jìn)程適用計(jì)算密集型的,于是就想到了協(xié)程,協(xié)程像是一種在程序級別來模擬系統(tǒng)級別 的進(jìn)程,由于是單進(jìn)程,并且少了上下文切換,于是相對來說系統(tǒng)消耗很少,而網(wǎng)上的各種測試也表明,協(xié)程確實(shí)擁有驚人的速度。并且在實(shí)現(xiàn)過程中,協(xié)程可以 用以前同步思路的寫法,而運(yùn)行起來確是異步的,挺有意思。

聽說python有個模塊叫做eventlet很強(qiáng)大,eventlet的核心是協(xié)程(也叫做green thread)。協(xié)程的好處是沒有線程開銷來的大(比如切換代價很小)。同時協(xié)程由于調(diào)度都由開發(fā)者自己決定,所以對lock的需求就很低了

010F5O38-0.png

上面是一個uds(unix domian socket)的例子,這里也是通過一個pool限制資源的使用。當(dāng)每個請求來的時候通過spawn_n方法把對這個請求的handle方法放到獨(dú)立的協(xié)程中去處理。而handle中的recv這些方法都是被綠化過的,所以如果讀取不到數(shù)據(jù)這些方法就會把cpu時間交出來給別的協(xié)程使用,eventlet還有一個衍生品gevent,先看看例子:

010F55c7-1.png

上面是官方的例子,gevent是一個基于libev的python并發(fā)框架,以微線程greenlet為核心,使用了epoll事件監(jiān)聽機(jī)制以及諸多其他優(yōu)化而變得高效.而且其中有個monkey類, 將現(xiàn)有基于Python線程直接轉(zhuǎn)化為greenlet(類似于打patch)。

我自己測試了下,無論是eventlet寫的uds還是gevent寫的udpserver 并發(fā)達(dá)到2000時,cpu大概占用到30%左右,性能比之前降了2/3,效果還是很顯著的,不過這個還是沒有達(dá)到理想效果,后期準(zhǔn)備嘗試下日志的方式,應(yīng)該會比現(xiàn)在更省資源,就怕磁盤受不了,更何況我們用的還是所謂的云主機(jī)~

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 優(yōu)化
    +關(guān)注

    關(guān)注

    0

    文章

    220

    瀏覽量

    23890
  • python
    +關(guān)注

    關(guān)注

    56

    文章

    4792

    瀏覽量

    84627

原文標(biāo)題:榨干python性能之服務(wù)優(yōu)化

文章出處:【微信號:magedu-Linux,微信公眾號:馬哥Linux運(yùn)維】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏

    評論

    相關(guān)推薦

    NTP服務(wù)器的性能優(yōu)化方法

    NTP(Network Time Protocol,網(wǎng)絡(luò)時間協(xié)議)服務(wù)性能優(yōu)化對于確保時間同步的準(zhǔn)確性和可靠性至關(guān)重要。以下是一些NTP服務(wù)
    的頭像 發(fā)表于 12-18 15:24 ?206次閱讀

    Linux性能優(yōu)化

    一、優(yōu)化內(nèi)核相關(guān)參數(shù) 配置文件/etc/sysctl.conf 配置方法直接將參數(shù)添加進(jìn)文件每條一行 sysctl -a 可以查看默認(rèn)配置sysctl -p 執(zhí)行并檢測是否有錯誤 1、網(wǎng)絡(luò)相關(guān)
    的頭像 發(fā)表于 12-06 10:15 ?189次閱讀
    Linux<b class='flag-5'>之</b><b class='flag-5'>性能</b><b class='flag-5'>優(yōu)化</b>

    HarmonyOS Web開發(fā)性能優(yōu)化指導(dǎo)

    的影響因素以及對應(yīng)的優(yōu)化方案。 二、Web頁面加載性能優(yōu)化指導(dǎo) (一)Web頁面加載流程 Web頁面加載包含網(wǎng)絡(luò)連接、資源下載、DOM解析、JavaScript代碼編譯執(zhí)行和渲染等關(guān)鍵
    發(fā)表于 12-06 08:41

    如何優(yōu)化SSR渲染性能

    服務(wù)器端渲染(SSR)是一種將前端頁面在服務(wù)器端生成的技術(shù),它可以提高首屏加載速度,改善SEO,并提供更好的用戶體驗(yàn)。然而,SSR也可能帶來性能挑戰(zhàn),尤其是在處理大量請求時。以下是一些優(yōu)化
    的頭像 發(fā)表于 11-18 11:31 ?298次閱讀

    Python中代理服務(wù)器的配置與應(yīng)用

    在網(wǎng)絡(luò)通信中,代理服務(wù)器作為一種重要的網(wǎng)絡(luò)中間件,充當(dāng)著客戶端和目標(biāo)服務(wù)器之間的中間人角色。它能夠接收來自客戶端的請求,并將這些請求轉(zhuǎn)發(fā)給目標(biāo)服務(wù)器,然后將服務(wù)器的響應(yīng)返回給客戶端。
    的頭像 發(fā)表于 11-12 07:13 ?167次閱讀

    AI大模型的性能優(yōu)化方法

    AI大模型的性能優(yōu)化是一個復(fù)雜而關(guān)鍵的任務(wù),涉及多個方面和策略。以下是一些主要的性能優(yōu)化方法: 一、模型壓縮與
    的頭像 發(fā)表于 10-23 15:01 ?637次閱讀

    使用Python構(gòu)建高效的HTTP代理服務(wù)

    構(gòu)建一個高效的HTTP代理服務(wù)器在Python中涉及多個方面,包括性能優(yōu)化、并發(fā)處理、協(xié)議支持(HTTP/HTTPS)、錯誤處理以及日志記錄等。
    的頭像 發(fā)表于 10-23 07:41 ?154次閱讀

    如何優(yōu)化Linux服務(wù)器的性能

    優(yōu)化Linux服務(wù)器的性能是一個綜合性的任務(wù),涉及硬件、軟件、配置、監(jiān)控等多個方面。以下是一個詳細(xì)的指南,旨在幫助系統(tǒng)管理員和運(yùn)維人員提升Linux服務(wù)器的
    的頭像 發(fā)表于 09-29 16:50 ?297次閱讀

    Linux服務(wù)性能查看方法

    Linux服務(wù)性能查看是系統(tǒng)管理員和開發(fā)人員在日常工作中經(jīng)常需要進(jìn)行的任務(wù),以確保系統(tǒng)穩(wěn)定運(yùn)行并優(yōu)化資源使用。以下將詳細(xì)介紹多種Linux服務(wù)
    的頭像 發(fā)表于 09-02 11:15 ?1043次閱讀

    韓國服務(wù)器的性能如何提升

    韓國服務(wù)器的性能可以通過硬件升級、網(wǎng)絡(luò)優(yōu)化、緩存優(yōu)化和軟件優(yōu)化來提升。具體方法如下,rak小編為
    的頭像 發(fā)表于 08-15 11:33 ?240次閱讀

    新加坡服務(wù)器延遲大嗎?如何進(jìn)行優(yōu)化

    新加坡服務(wù)器的延遲通常在全國平均延遲111ms左右,其中移動網(wǎng)絡(luò)約為90ms,聯(lián)通網(wǎng)絡(luò)106ms,電信網(wǎng)絡(luò)最低約為85ms。為了進(jìn)行優(yōu)化,一般可以采取使用CDN、優(yōu)化路由線路、增加帶寬和服務(wù)
    的頭像 發(fā)表于 08-09 13:58 ?209次閱讀

    OpenHarmony開機(jī)優(yōu)化

    、磁盤I/O等,并以圖表形式展示出來。 使用方法 參考文檔:OpenHarmony性能調(diào)優(yōu)工具—boochart_小~Q-Laval社區(qū) 通過Bootchart工具,開發(fā)者可以深入了解系統(tǒng)的啟動過程,并
    發(fā)表于 07-01 16:39

    python解析netflow數(shù)據(jù)到csv的流程詳解

    本文主要講解了linux下通過tcpdump抓取netflow數(shù)據(jù)包,并將其導(dǎo)入到wireshark進(jìn)行解析,然后通過wireshark導(dǎo)出數(shù)據(jù)為json文件,再通過python腳本將其解析為csv文件以便做數(shù)據(jù)分析。
    的頭像 發(fā)表于 05-01 11:18 ?664次閱讀
    <b class='flag-5'>python</b><b class='flag-5'>解析</b>netflow數(shù)據(jù)到csv的流程詳解

    美國站群服務(wù)優(yōu)化:提升性能與可靠性的關(guān)鍵功能

    隨著互聯(lián)網(wǎng)的迅猛發(fā)展,網(wǎng)站的性能和可靠性成為了企業(yè)成功的關(guān)鍵因素之一。美國作為全球互聯(lián)網(wǎng)的中心,其站群服務(wù)器在全球范圍內(nèi)都有著廣泛的應(yīng)用。本文將探討美國站群服務(wù)優(yōu)化的關(guān)鍵功能,以提升
    的頭像 發(fā)表于 01-25 11:56 ?338次閱讀

    加速Python for循環(huán)的12種方法

    Python內(nèi)建的一個常用功能是timeit模塊。下面幾節(jié)中我們將使用它來度量循環(huán)的當(dāng)前性能和改進(jìn)后的性能。
    的頭像 發(fā)表于 01-04 17:33 ?1941次閱讀
    加速<b class='flag-5'>Python</b> for循環(huán)的12種<b class='flag-5'>方法</b>
    RM新时代网站-首页