為什么我們需要 seatunnel

seatunnel 盡所能為您解決海量數(shù)據(jù)同步中可能遇到的問題：

• 數(shù)據(jù)丟失與重復(fù)
• 任務(wù)堆積與延遲
• 吞吐量低
• 應(yīng)用到生產(chǎn)環(huán)境周期長
• 缺少應(yīng)用運行狀態(tài)監(jiān)控

seatunnel 使用場景

• 海量數(shù)據(jù)同步
• 海量數(shù)據(jù)集成
• 海量數(shù)據(jù)的 ETL
• 海量數(shù)據(jù)聚合
• 多源數(shù)據(jù)處理

seatunnel 的特性

• 簡單易用，靈活配置，無需開發(fā)
• 實時流式處理
• 離線多源數(shù)據(jù)分析
• 高性能、海量數(shù)據(jù)處理能力
• 模塊化和插件化，易于擴(kuò)展
• 支持利用 SQL 做數(shù)據(jù)處理和聚合
• 支持 Spark Structured Streaming
• 支持 Spark 2.x

seatunnel 的工作流程

                         Input[數(shù)據(jù)源輸入] -> Filter[數(shù)據(jù)處理] -> Output[結(jié)果輸出]

多個 Filter 構(gòu)建了數(shù)據(jù)處理的 Pipeline，滿足各種各樣的數(shù)據(jù)處理需求，如果您熟悉 SQL，也可以直接通過 SQL 構(gòu)建數(shù)據(jù)處理的 Pipeline，簡單高效。目前 seatunnel 支持的Filter列表, 仍然在不斷擴(kuò)充中。您也可以開發(fā)自己的數(shù)據(jù)處理插件，整個系統(tǒng)是易于擴(kuò)展的。

seatunnel 支持的插件

• Input plugin

Fake, File, Hdfs, Kafka, S3, Socket, 自行開發(fā)的 Input plugin

• Filter plugin

Add, Checksum, Convert, Date, Drop, Grok, Json, Kv, Lowercase, Remove, Rename, Repartition, Replace, Sample, Split, Sql, Table, Truncate, Uppercase, Uuid, 自行開發(fā)的Filter plugin

• Output plugin

Elasticsearch, File, Hdfs, Jdbc, Kafka, Mysql, S3, Stdout, 自行開發(fā)的 Output plugin

環(huán)境依賴

1. java 運行環(huán)境，java >= 8

2. 如果您要在集群環(huán)境中運行 seatunnel，那么需要以下 Spark 集群環(huán)境的任意一種：

• Spark on Yarn
• Spark Standalone

如果您的數(shù)據(jù)量較小或者只是做功能驗證，也可以僅使用?local?模式啟動，無需集群環(huán)境，seatunnel 支持單機(jī)運行。 注: seatunnel 2.0 支持 Spark 和 Flink 上運行

下載

可以直接運行的軟件包下載地址：https://github.com/InterestingLab/seatunnel/releases

快速入門

快速入門：https://interestinglab.github.io/seatunnel-docs/#/zh-cn/v1/quick-start

關(guān)于 seatunnel 的詳細(xì)文檔

生產(chǎn)應(yīng)用案例

• 微博, 增值業(yè)務(wù)部數(shù)據(jù)平臺 微博某業(yè)務(wù)有數(shù)百個實時流式計算任務(wù)使用內(nèi)部定制版 seatunnel，以及其子項目Guardian做 seatunnel On Yarn 的任務(wù)監(jiān)控。

• 新浪, 大數(shù)據(jù)運維分析平臺 新浪運維數(shù)據(jù)分析平臺使用 seatunnel 為新浪新聞，CDN 等服務(wù)做運維大數(shù)據(jù)的實時和離線分析，并寫入 Clickhouse。

• 搜狗，搜狗奇點系統(tǒng) 搜狗奇點系統(tǒng)使用 seatunnel 作為 ETL 工具, 幫助建立實時數(shù)倉體系

• 趣頭條，趣頭條數(shù)據(jù)中心 趣頭條數(shù)據(jù)中心，使用 seatunnel 支撐 mysql to hive 的離線 ETL 任務(wù)、實時 hive to clickhouse 的 backfill 技術(shù)支撐，很好的 cover 離線、實時大部分任務(wù)場景。

• 一下科技, 一直播數(shù)據(jù)平臺

• 永輝超市子公司-永輝云創(chuàng)，會員電商數(shù)據(jù)分析平臺 seatunnel 為永輝云創(chuàng)旗下新零售品牌永輝生活提供電商用戶行為數(shù)據(jù)實時流式與離線 SQL 計算。

• 水滴籌, 數(shù)據(jù)平臺 水滴籌在 Yarn 上使用 seatunnel 做實時流式以及定時的離線批處理，每天處理 3～4T 的數(shù)據(jù)量，最終將數(shù)據(jù)寫入 Clickhouse。

更多案例參見:?https://interestinglab.github.io/seatunnel-docs/#/zh-cn/v1/case_study/

貢獻(xiàn)觀點和代碼

提交問題和建議：https://github.com/InterestingLab/seatunnel/issues

貢獻(xiàn)代碼：https://github.com/InterestingLab/seatunnel/pulls

開發(fā)者

感謝所有開發(fā)者