RM新时代网站-首页

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

整理了所有數(shù)據(jù)專家都應(yīng)該會(huì)的七款Python工具

馬哥Linux運(yùn)維 ? 2018-01-15 10:21 ? 次閱讀

如果你有志于做一個(gè)數(shù)據(jù)專家,你就應(yīng)該保持一顆好奇心,總是不斷探索,學(xué)習(xí),問各種問題。在線入門教程視頻教程能幫你走出第一步,但是最好的方式就是通過熟悉各種已經(jīng)在生產(chǎn)環(huán)境中使用的工具而為成為一個(gè)真正的數(shù)據(jù)專家做好充分準(zhǔn)備。

我咨詢了我們真正的數(shù)據(jù)專家,收集整理了他們認(rèn)為所有數(shù)據(jù)專家都應(yīng)該會(huì)的七款 Python 工具。The Galvanize Data Science 和 GalvanizeU 課程注重讓學(xué)生們花大量的時(shí)間沉浸在這些技術(shù)里。當(dāng)你找第一份工作的時(shí)候,你曾經(jīng)投入的時(shí)間而獲得的對(duì)工具的深入理解將會(huì)使你有更大的優(yōu)勢(shì)。下面就了解它們一下吧:

IPython

IPython 是一個(gè)在多種編程語(yǔ)言之間進(jìn)行交互計(jì)算的命令行 shell,最開始是用 python 開發(fā)的,提供增強(qiáng)的內(nèi)省,富媒體,擴(kuò)展的 shell 語(yǔ)法,tab 補(bǔ)全,豐富的歷史等功能。IPython 提供了如下特性:

更強(qiáng)的交互 shell(基于 Qt 的終端)

一個(gè)基于瀏覽器的記事本,支持代碼,純文本,數(shù)學(xué)公式,內(nèi)置圖表和其他富媒體

支持交互數(shù)據(jù)可視化和圖形界面工具

靈活,可嵌入解釋器加載到任意一個(gè)自有工程里

簡(jiǎn)單易用,用于并行計(jì)算的高性能工具

由數(shù)據(jù)分析總監(jiān),Galvanize 專家 Nir Kaldero 提供。

GraphLab Greate

GraphLab Greate 是一個(gè) Python 庫(kù),由 C++ 引擎支持,可以快速構(gòu)建大型高性能數(shù)據(jù)產(chǎn)品

這有一些關(guān)于 GraphLab Greate 的特點(diǎn):

可以在您的計(jì)算機(jī)上以交互的速度分析以 T 為計(jì)量單位的數(shù)據(jù)量。

在單一平臺(tái)上可以分析表格數(shù)據(jù)、曲線、文字、圖像。

最新機(jī)器學(xué)習(xí)算法包括深度學(xué)習(xí),進(jìn)化樹和 factorization machines 理論。

可以用 Hadoop Yarn 或者 EC2 聚類在你的筆記本或者分布系統(tǒng)上運(yùn)行同樣的代碼。

借助于靈活的 API 函數(shù)專注于任務(wù)或者機(jī)器學(xué)習(xí)。

在云上用預(yù)測(cè)服務(wù)便捷地配置數(shù)據(jù)產(chǎn)品。

為探索和產(chǎn)品監(jiān)測(cè)創(chuàng)建可視化的數(shù)據(jù)。

由 Galvanize 數(shù)據(jù)科學(xué)家 Benjamin Skrainka 提供。

Pandas

pandas 是一個(gè)開源的軟件,它具有 BSD 的開源許可,為 Python 編程語(yǔ)言提供高性能,易用數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)分析工具。在數(shù)據(jù)改動(dòng)和數(shù)據(jù)預(yù)處理方面,Python 早已名聲顯赫,但是在數(shù)據(jù)分析與建模方面,Python 是個(gè)短板。Pands 軟件就填補(bǔ)了這個(gè)空白,能讓你用 Python 方便地進(jìn)行你所有數(shù)據(jù)的處理,而不用轉(zhuǎn)而選擇更主流的專業(yè)語(yǔ)言,例如 R 語(yǔ)言。

整合了勁爆的 IPyton 工具包和其他的庫(kù),它在 Python 中進(jìn)行數(shù)據(jù)分析的開發(fā)環(huán)境在處理性能,速度,和兼容方面都性能卓越。Pands 不會(huì)執(zhí)行重要的建模函數(shù)超出線性回歸和面板回歸;對(duì)于這些,參考 statsmodel 統(tǒng)計(jì)建模工具和 scikit-learn 庫(kù)。為了把 Python 打造成頂級(jí)的統(tǒng)計(jì)建模分析環(huán)境,我們需要進(jìn)一步努力,但是我們已經(jīng)奮斗在這條路上了。

由 Galvanize 專家,數(shù)據(jù)科學(xué)家 Nir Kaldero 提供。

PuLP

線性編程是一種優(yōu)化,其中一個(gè)對(duì)象函數(shù)被最大程度地限制了。PuLP 是一個(gè)用 Python 編寫的線性編程模型。它能產(chǎn)生線性文件,能調(diào)用高度優(yōu)化的求解器,GLPK,COIN CLP/CBC,CPLEX,和GUROBI,來求解這些線性問題。

由 Galvanize 數(shù)據(jù)科學(xué)家 Isaac Laughlin 提供

Matplotlib

matplotlib 是基于 Python 的 2D(數(shù)據(jù))繪圖庫(kù),它產(chǎn)生(輸出)出版級(jí)質(zhì)量的圖表,用于各種打印紙質(zhì)的原件格式和跨平臺(tái)的交互式環(huán)境。matplotlib 既可以用在 python 腳本, python 和 ipython 的 shell 界面 (ala MATLAB? 或 Mathematica?),web 應(yīng)用服務(wù)器,和6類 GUI 工具箱。

matplotlib 嘗試使容易事情變得更容易,使困難事情變?yōu)榭赡?。你只需要少量幾行代碼,就可以生成圖表,直方圖,能量光譜(power spectra),柱狀圖,errorcharts,散點(diǎn)圖(scatterplots)等,。

為簡(jiǎn)化數(shù)據(jù)繪圖,pyplot 提供一個(gè)類 MATLAB 的接口界面,尤其是它與 IPython 共同使用時(shí)。對(duì)于高級(jí)用戶,你可以完全定制包括線型,字體屬性,坐標(biāo)屬性等,借助面向?qū)ο蠼涌诮缑?,或?xiàng) MATLAB 用戶提供類似(MATLAB)的界面。

Galvanize 公司的首席科學(xué)官 Mike Tamir 供稿。

Scikit-Learn

Scikit-Learn 是一個(gè)簡(jiǎn)單有效地?cái)?shù)據(jù)挖掘和數(shù)據(jù)分析工具(庫(kù))。關(guān)于最值得一提的是,它人人可用,重復(fù)用于多種語(yǔ)境。它基于 NumPy,SciPy 和 mathplotlib 等構(gòu)建。Scikit 采用開源的 BSD 授權(quán)協(xié)議,同時(shí)也可用于商業(yè)。Scikit-Learn 具備如下特性:

分類(Classification) – 識(shí)別鑒定一個(gè)對(duì)象屬于哪一類別

回歸(Regression) – 預(yù)測(cè)對(duì)象關(guān)聯(lián)的連續(xù)值屬性

聚類(Clustering) – 類似對(duì)象自動(dòng)分組集合

降維(Dimensionality Reduction) – 減少需要考慮的隨機(jī)變量數(shù)量

模型選擇(Model Selection) –比較、驗(yàn)證和選擇參數(shù)和模型

預(yù)處理(Preprocessing) – 特征提取和規(guī)范化

Galvanize 公司數(shù)據(jù)科學(xué)講師,Isaac Laughlin提供

Spark

Spark 由一個(gè)驅(qū)動(dòng)程序構(gòu)成,它運(yùn)行用戶的 main 函數(shù)并在聚類上執(zhí)行多個(gè)并行操作。Spark 最吸引人的地方在于它提供的彈性分布數(shù)據(jù)集(RDD),那是一個(gè)按照聚類的節(jié)點(diǎn)進(jìn)行分區(qū)的元素的集合,它可以在并行計(jì)算中使用。RDDs 可以從一個(gè) Hadoop 文件系統(tǒng)中的文件(或者其他的 Hadoop 支持的文件系統(tǒng)的文件)來創(chuàng)建,或者是驅(qū)動(dòng)程序中其他的已經(jīng)存在的標(biāo)量數(shù)據(jù)集合,把它進(jìn)行變換。用戶也許想要 Spark 在內(nèi)存中永久保存 RDD,來通過并行操作有效地對(duì) RDD 進(jìn)行復(fù)用。最終,RDDs 無法從節(jié)點(diǎn)中自動(dòng)復(fù)原。

Spark 中第二個(gè)吸引人的地方在并行操作中變量的共享。默認(rèn)情況下,當(dāng) Spark 在并行情況下運(yùn)行一個(gè)函數(shù)作為一組不同節(jié)點(diǎn)上的任務(wù)時(shí),它把每一個(gè)函數(shù)中用到的變量拷貝一份送到每一任務(wù)。有時(shí),一個(gè)變量需要被許多任務(wù)和驅(qū)動(dòng)程序共享。Spark 支持兩種方式的共享變量:廣播變量,它可以用來在所有的節(jié)點(diǎn)上緩存數(shù)據(jù)。另一種方式是累加器,這是一種只能用作執(zhí)行加法的變量,例如在計(jì)數(shù)器中和加法運(yùn)算中。

由 Galvanize 數(shù)據(jù)科學(xué)家 Benjamin Skrainka 提供。

如果您想對(duì)數(shù)據(jù)科學(xué)進(jìn)行更深入了解,請(qǐng)點(diǎn)擊進(jìn)入我們的項(xiàng)目 our data science giveaway 來獲取關(guān)于數(shù)據(jù)研討會(huì)的入場(chǎng)券:諸如 PyData Seattle 和 Data Science Summit,或者獲得 Python 資源的優(yōu)惠,像: Effective Python 和 Data Science from Scratch。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • python
    +關(guān)注

    關(guān)注

    56

    文章

    4792

    瀏覽量

    84627
  • 大數(shù)據(jù)
    +關(guān)注

    關(guān)注

    64

    文章

    8882

    瀏覽量

    137396

原文標(biāo)題:想做大數(shù)據(jù),先看一下這 7 款高效的 Python 工具

文章出處:【微信號(hào):magedu-Linux,微信公眾號(hào):馬哥Linux運(yùn)維】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

收藏 人收藏

    評(píng)論

    相關(guān)推薦

    ADS1675進(jìn)行高速采集的程序,看時(shí)序圖應(yīng)該會(huì)使用PLL進(jìn)行3倍頻,但是這個(gè)PLL需要配置嗎?

    我現(xiàn)在寫ADS1675進(jìn)行高速采集的程序,看時(shí)序圖應(yīng)該會(huì)使用PLL進(jìn)行3倍頻,但是這個(gè)PLL需要配置嗎?一直達(dá)不到我想要的結(jié)果。謝謝大哥們,幫幫小弟呀
    發(fā)表于 12-10 08:15

    調(diào)節(jié) PID 都應(yīng)該學(xué)習(xí)labview哪方面的內(nèi)容

    本人想做個(gè)上位機(jī) 可之前沒接觸過LABVIEW我要實(shí)現(xiàn)的功能就是顯示期望 與實(shí)際數(shù)據(jù)的曲線用來調(diào)節(jié) PID都應(yīng)該學(xué)習(xí)labview哪方面的內(nèi)容啊求指導(dǎo){:23:}
    發(fā)表于 09-22 14:38

    如圖,點(diǎn)表格擊叉的時(shí)候應(yīng)該會(huì)變成對(duì)號(hào)的,為什么沒變

    如圖,點(diǎn)表格擊叉的時(shí)候應(yīng)該會(huì)變成對(duì)號(hào)的,從后面的數(shù)組可以看出來,可是表格為什么沒變,求高手解答
    發(fā)表于 01-19 11:08

    8層二階盲埋孔的板子,盲埋孔都應(yīng)該是哪幾層

    做一個(gè)8層二階盲埋孔的板子,盲埋孔都應(yīng)該是哪幾層算是二階的,一般建議做哪些層比較好價(jià)格比較便宜?
    發(fā)表于 11-03 10:09

    DSP入門到精通電子資源+DSP學(xué)習(xí)資料

    本帖整理了兩部分資料,一是DSP入門到精通電子資源,二是DSP相關(guān)學(xué)習(xí)資料。對(duì)于想學(xué)習(xí)dsp的同學(xué)應(yīng)該會(huì)有幫助。
    發(fā)表于 03-16 16:41

    vi的引用是不是相當(dāng)于申請(qǐng)的內(nèi)存指針,每次使用完都應(yīng)該把它關(guān)掉?

    我想問下vi的引用是不是相當(dāng)于申請(qǐng)的內(nèi)存指針 每次使用完都應(yīng)該把它關(guān)掉 , 不論是調(diào)試的時(shí)候 還是做成EXE的時(shí)候
    發(fā)表于 05-25 16:33

    AD9914,PLL基準(zhǔn)電壓源,請(qǐng)問AD9914的59腳在上電后是應(yīng)該會(huì)測(cè)到有一個(gè)電壓是嗎?

    你好,AD9914的59腳(本地PLL基準(zhǔn)電壓源)在上電后是應(yīng)該會(huì)測(cè)到有一個(gè)電壓是嗎?手冊(cè)上寫的典型值為2.05V。
    發(fā)表于 08-07 09:13

    Python數(shù)據(jù)可視化專家個(gè)秘密

    分享 Python數(shù)據(jù)可視化專家個(gè)秘密
    發(fā)表于 05-15 06:43

    72位DDR3設(shè)計(jì)在1.35V時(shí)我們應(yīng)該會(huì)遇到問題嗎?

    使用的SIT9102 LVDS輸出版本相同。潛在的問題是我們可能遇到1.35V電源軌,LVDS輸出以1.25Vcm為中心,上下共模電壓+/- 300mV。帶有1.5V DDR3電源的KC705似乎還可以,但是在1.35V時(shí)我們應(yīng)該會(huì)遇到問題嗎?原理圖如下:謝謝,波格丹
    發(fā)表于 07-25 10:26

    關(guān)于 Unicode 所有開發(fā)者都應(yīng)該知道的前五件事 并用來防止欺詐

    Unicode 造成的基本問題,那對(duì)小一點(diǎn)的公司來說,這可能就像是必輸?shù)膽?zhàn)役了。然而,大多數(shù)這些問題都是圍繞著幾個(gè)漏洞利用的。以下是關(guān)于 Unicode 所有開發(fā)者都應(yīng)該知道的前五件事,并用來防止欺詐。 這到底是怎樣一回事?關(guān)于 Unicode,程序員該注意哪些?
    的頭像 發(fā)表于 02-02 11:41 ?3496次閱讀
    關(guān)于 Unicode <b class='flag-5'>所有</b>開發(fā)者<b class='flag-5'>都應(yīng)該</b>知道的前五件事 并用來防止欺詐

    如何使html網(wǎng)頁(yè)與python腳本進(jìn)行通信

    現(xiàn)在運(yùn)行python腳本并轉(zhuǎn)到http://localhost/或http://localhost/并開始按下按鈕,您應(yīng)該會(huì)python腳本上看到輸入。
    的頭像 發(fā)表于 11-04 10:12 ?7872次閱讀

    硬件工程師都應(yīng)該掌握防反接電路,你都Get到了嗎?

    硬件工程師都應(yīng)該掌握的防反接電路,你都Get到了嗎?
    的頭像 發(fā)表于 02-03 15:05 ?4550次閱讀

    HTC專利解讀:可折疊顯示設(shè)備,屏幕可向外折疊

    說起折疊屏手機(jī),大部分人都應(yīng)該會(huì)想到三星、華為和摩托羅拉。近日,一項(xiàng)最新的專利被曝光,HTC似乎也準(zhǔn)備推出折疊屏智能手機(jī)。
    發(fā)表于 09-30 14:52 ?464次閱讀

    專業(yè)的人士都應(yīng)該且能夠記住這二十個(gè)基本模擬電路

    初級(jí)層次是熟練記住這二十個(gè)電路,清楚這二十個(gè)電路的作用。只要是電子愛好者,只要是學(xué)習(xí)自動(dòng)化、電子等電控類專業(yè)的人士都應(yīng)該且能夠記住這二十個(gè)基本模擬電路。
    的頭像 發(fā)表于 11-30 10:09 ?6305次閱讀

    本文整理了關(guān)于Python資源最全的中文合集!

    本文整理了關(guān)于 Python 資源最全的中文合集!內(nèi)容如下:
    的頭像 發(fā)表于 06-15 10:56 ?1451次閱讀
    本文<b class='flag-5'>整理了</b>關(guān)于<b class='flag-5'>Python</b>資源最全的中文合集!
    RM新时代网站-首页