這是?www.shousibaocai.org?的網(wǎng)站源代碼。 開(kāi)源的目的是為了促進(jìn)技術(shù)交流和相互學(xué)習(xí)，把DHT與搜索引擎技術(shù)應(yīng)用到更廣泛的領(lǐng)域去。

本站于2015年5月使用django改寫(xiě)。 本站于2019年使用nodejs改寫(xiě)。 與爬蟲(chóng)相關(guān)的代碼都在目錄spider目錄下。

作為最早在國(guó)內(nèi)研究和實(shí)踐DHT爬蟲(chóng)的人，我的靈感是來(lái)自芬蘭Helsinki大學(xué)的這篇論文： Real-World Sybil Attacks in BitTorrent Mainline DHT 英文好的同學(xué)應(yīng)該很容易讀懂，跟我寫(xiě)的不到300行的爬蟲(chóng)代碼大致原理一樣。初次接觸DHT網(wǎng)絡(luò)的可以結(jié)合我之前的文章閱讀，或者拜讀Kevin Lynx的博客。所以具體原理在這里就不再闡述了。

手撕包菜一開(kāi)始只是為了純粹的技術(shù)研究，沒(méi)有去想這個(gè)搜索引擎能給網(wǎng)民帶來(lái)什么樣的福利。當(dāng)時(shí)采集了大量的數(shù)據(jù)，發(fā)現(xiàn)有一半以上的資源為限級(jí)內(nèi)容，于是試圖去對(duì)資源進(jìn)行分類(lèi)并且做了很多這方面的工作。譬如，基本上能通過(guò)一套規(guī)則能篩選出限級(jí)內(nèi)容，對(duì)資源進(jìn)行分類(lèi)，如果是視頻還能匹配出是哪一部影片?？上В@些工作我主觀(guān)上認(rèn)為對(duì)生活應(yīng)用并沒(méi)有太大價(jià)值，于是就放棄了深入的研究。或許是因?yàn)榫W(wǎng)民使用此類(lèi)搜索引擎大部分都是具有明顯的目的性。

手撕包菜經(jīng)歷了多次點(diǎn)技術(shù)變更

開(kāi)源版本使用了django網(wǎng)站框架重寫(xiě)，之前是Flask，再早期是tornado。電影FM也是使用tornado，后來(lái)發(fā)現(xiàn)tornado并不適用于任何場(chǎng)景。以?xún)?nèi)容為王的網(wǎng)站還是django比較擅長(zhǎng)，只是入門(mén)時(shí)間比其他框架都較長(zhǎng)。早期數(shù)據(jù)庫(kù)采用了MongoDB，因?yàn)榕浜螾ython讀寫(xiě)數(shù)據(jù)很方便，也不用關(guān)注數(shù)據(jù)結(jié)構(gòu)，搜索功能采用自帶的關(guān)鍵詞搜索，不過(guò)后來(lái)隨著資源數(shù)量增加，性能也明顯跟不上。今年換了WiredTiger引擎，自帶的fulltext search還是不給力。另外Amazon的cloudsearch是個(gè)坑，土豪可以考慮，性能真的很不錯(cuò)，就是比較貴。最后還是搭建一個(gè)SphinxSearch吧，數(shù)據(jù)庫(kù)也換成MySQL（MyISAM引擎），配合起來(lái)也很方便。Sphinx創(chuàng)建全文索引的速度很給力，官方的自評(píng)也很高，我自己測(cè)試1000w的資源（大概3GB），1分鐘左右就索引完畢。不信，大家可以自測(cè)一下。