API:又是一年開源之夏，八大課題項目獎金等你來拿！_DAG

又是一年季。今年，ApacheDolphinScheduler同樣參與到了活動中來，希望有更多學生群體關注到ApacheDolphinScheduler，并踴躍參與項目共建拿獎金！

No.1活動介紹

開源之夏是由“開源軟件供應鏈點亮計劃”發起并長期支持的一項暑期開源活動，由中國科學院軟件研究所與openEuler社區共同舉辦，旨在鼓勵在校學生積極參與開源軟件的開發維護，促進優秀開源軟件社區的蓬勃發展，培養和發掘更多優秀的開發者。

學生可自主選擇感興趣的項目進行申請，并在中選后獲得社區導師親自指導。根據項目的難易程度和完成情況，參與者還將獲取開源之夏活動獎金和結項證書。

開源之夏活動官網：https://summer.iscas.ac.cn/

No.2活動日程

No.3項目介紹

ApacheDolphinScheduler是一個云原生易擴展的可視化DAG工作流任務調度系統。致力于解決數據處理流程中復雜的任務依賴關系，使各種任務類型(Spark/Flink/MR/Shell/Python/SQL等)在工作流編排中開箱即用。

No.4獎金設置

進階：獎金人民幣12000元

優化類的任務，例如提高性能，降低資源占有

基礎：獎金人民幣8000元

功能類的任務，例如為本社區開源項目增加一個或若干個重要特性等

No.5八大課題

本次活動，ApacheDolphinScheduler開源社區共設有8個項目課題具體如下，歡迎參與：

01為DolphinSchedulerPythonAPI添加資源文件

韓國金融服務委員會計劃于10月和11月期間制定虛擬資產會計監管指南:金色財經報道，業內人士26日透露，韓國金融服務委員會計劃于10月和11月期間制定虛擬資產會計監管指南。指引包含要求披露附注披露虛擬資產發行商、持有者、運營者的虛擬資產會計信息等內容。

但專家認為，僅出臺虛擬資產會計準則并不足以防止“邊吃邊跑”。當局此次公布的會計監管指引僅適用于接受外部審計的公司。除了一些大型虛擬資產交易所外，大多數都是小型初創公司，因此該指南并不適用于許多虛擬資產運營商。外部審計的標準是滿足四個要求中至少兩個的企業： 資產120億韓元、負債70億韓元、銷售額100億韓元、員工100名以上。

去年6月，韓國國會全體會議通過了韓國首部虛擬資產行業法，旨在提高虛擬資產相關會計和披露的透明度。[2023/7/26 15:59:45]

222290294

進階/Advanced

Python

目前，DolphinSchedulerPythonAPI只能傳遞字符串格式傳遞任務的參數，例如我們的tutorial

dolphinscheduler/dolphinscheduler-python/pydolphinscheduler/src/pydolphinscheduler/examples/tutorial.py

我們只將一個字符串傳遞給shell任務類型。但通常來說，用戶希望具體的執行代碼儲存在其他系統中，例如將具體文件存儲在本地文件系統、GitHub、GitLab、AmazonS3、阿里云OSS等。也許我們可以添加語法糖讓用戶更加簡單的操作外部文件

任務task_parent將從URLhttps://github.com/apache/dolphinscheduler/blob/dev/script/install.sh加載文件內容并將其傳遞給參數command，它使我們的DAG文件更容易和可維護

實現Resource的插件化

實現具體的插件Resource包括但不限于本地文件系統，GitHub,GitLab,AmazonS3,阿里云OSS

Juno 已恢復除加密支付和 L2 存提款之外的大部分服務:2月7日消息，加密友好支票賬戶應用 Juno 現已恢復其核心加密服務產品，并推出幾項新功能，包括：新增支持 SOL、ADA、SHIB、DOGE 在內的超過 35 種加密貨幣，減少新的和現有代幣產品的利差，為每一美元的非穩定幣代幣交易提供零交易費激勵和獎勵計劃。

Juno 現已恢復大部分服務，但加密支付服務和 L2 存提款服務仍在努力恢復中。Juno 曾于 1 月初因其托管人 Wyre 的動蕩而暫停服務。（ CoinDesk）[2023/2/7 11:52:02]

PythonAPI的通過測試覆蓋率，當前閾值為90%

文檔，包括開發和使用

熟悉python，包括decorator、io、network、unittest、document

https://github.com/apache/dolphinscheduler

https://github.com/apache/dolphinscheduler-website

鐘嘉杰

聯系方式：zhongjiajie955@gmail.com

02資源中心優化

222290456

進階/Advanced

Java、Shell

重構Dolphinscheduler資源中心的讀寫邏輯

目前資源中心讀寫HDFS/S3/本地目錄通過在數據庫表中t_ds_resources記錄文件/文件夾目錄來實現文件記錄，但是在用戶初始化DS或者用戶在DS的外部修改了第三方存儲的內容的時候DS無法進行實時同步，希望能夠與第三方存儲的內容保證實時同步

DS不存儲資源中心中文件的路徑，對于資源中心的讀寫全都通過調用第三方API實現，只保存任務實例依賴到的內容路徑于數據庫用于文件刪除校驗。

實現現有的資源中心的所有功能，其中包括文件/文件夾增刪改查，任務實例調用資源中心

Proof首席執行官兼聯合創始人個人錢包遭黑客攻擊:金色財經報道，Proof 的首席執行官兼聯合創始人凱文·羅斯 (Kevin Rose )周三在推特上表示，他的個人錢包遭到黑客攻擊。在他的推文中，Rose建議他的 160 萬粉絲避免購買任何 Chromie Squiggles，這是 Art Blocks 創始人埃里克卡爾德隆（又名 Snowfro ）的一個生成藝術 NFT 項目。羅斯說他丟失了 25 個 Squiggles，以及“其他一些 NFT”，包括一個 Autoglyph。

二級市場OpenSea上 Squiggle 的底價為 13.3 ETH，在撰寫本文時約為 20,700 美元。更稀有的 Squiggles NFT甚至以高達 945 ETH或 280 萬美元的價格售出。[2023/1/26 11:30:36]

后端API文檔

了解Linux系統，對Linux文件管理有一定的熟悉

了解HDFS/S3組件，能夠較快速的根據官方文檔學習API的使用

熟悉Java語言

https://github.com/apache/dolphinscheduler

https://github.com/apache/dolphinscheduler-website

向梓豪

聯系方式：zihaoxiang@apache.org

03master/worker/api模塊日志優化

222290457

進階/Advanced

Java

由于DS日志不方便真實定位問題，需要將打印日志進行規范及優化

整理出DS打印日志規范指導文檔，并提交到文檔庫

將master/worker/api模塊按照規范文檔進行落地并提交到開發分支

熟悉Java語言

https://github.com/apache/dolphinscheduler

歐盟議會立法者建議向加密資產征稅以支持歐盟財政預算:1月24日消息，歐盟議會立法者建議向加密資產征稅以支持歐盟1700億歐元（約1850億美元）的財政預算，公布的草案中包含了對投資者的資本利得、交易以及加密貨幣挖礦征稅。歐盟議員Valérie Hayer和José Manuel Fernandes表示，鑒于加密資產的高流動性和跨境交易規模，在歐盟層面對加密資產進行監管和征稅比在國家層面更有效率。[2023/1/24 11:28:47]

https://github.com/apache/dolphinscheduler-website

進勇

聯系方式：jiny.li@foxmail.com

04自動收集、保存作業提交的Yarn作業的applicationid

222290458

進階/Advanced

Java

DolphinScheduler支持各種各樣的作業，比如Python、Shell等，其中一個很基礎的功能就是收集這些作業創建的YarnJob的applicationid。現在的實現方式是用一個正則表達式從作業的日志中解析，但這并不是一個完美的實現方式，本課題的任務就是用一種新的方式去自動收集、報錯YarnJob的applicationid信息，當然了，必須對用戶透明，即對用戶創建的作業無侵入。

自動收集、報錯YarnJob的applicationid信息

必須對用戶透明，即對用戶創建的作業無侵入

熟悉Java,Yarn,Hive,SparkSQL,AOP

https://github.com/apache/dolphinscheduler

https://github.com/apache/dolphinscheduler-website

gabrywu

聯系方式：gabrywu@apache.org

05為DolphinScheduler添加服務初始化的工作流demo

Venom Foundation與投資管理公司Iceberg Capital合作推出10億美元Web3風險投資基金:金色財經報道，Venom Foundation與投資管理公司Iceberg Capital合作推出一支10億美元的風險基金。價值10億美元的Venom Ventures Fund (VVF) 將投資于web3協議和去中心化應用程序(dApps)的種子前到A輪融資，重點關注支付、資產管理、DeFi等趨勢，銀行服務和GameFi。

前貝萊德高管Peter Knez和經驗豐富的投資者Mustafa Kheriba將加入該基金的領導團隊。[2023/1/11 11:06:51]

222290459

進階/Advanced

Java、Shell

用戶在啟動DolphinScheduler服務后，可以使用demo-tool程序預置工作流demo，包括但不限于簡單的shell任務、邏輯組件任務、參數傳遞等功能，引導用戶更方便地使用DolphinScheduler。

預置工作流demo的tool程序

服務啟動腳本添加init模式

工作流demo包括但不限于shell任務、邏輯組件任務、參數傳遞等

熟悉Java、Shell

https://github.com/apache/dolphinscheduler

https://github.com/apache/dolphinscheduler-website

蔡順峰

聯系方式：caishunfeng2021@gmail.com

06為DolphinScheduler添加Java任務類型

222290460

進階/Advanced

Java、Shell、Vue、TypeScript

提供Java類型的調度任務，包括Jar和自定義Java代碼兩種方式，通過WEBUI定義Java運行時所需要的Resources、Libs資源文件和JVM參數，覆蓋定時任務調用Java程序場景并提升用戶方便配置。

可執行的Java類型任務插件

Java類型插件支持Jar方式，提供Resources、Libs資源文件和JVM參數的動態參數輸入

Java類型插件支持WebUI自定義Java代碼方式，提供Java類即時編譯，執行

熟悉Shell、Java、SPI、Javacompiler、VUE3、TypeScript

https://github.com/apache/dolphinscheduler

https://github.com/apache/dolphinscheduler-website

Kerwin

聯系方式：zhuangchong6@163.com

07支持測試任務

222290461

進階/Advanced

Java、Vue

目前新增/修改的工作流在上線前很難驗證工作流配置是否正確，只能通過在線上環境執行來驗證，所以有必要支持測試環境執行任務。

數據源中心支持配置測試環境源，線上環境源可綁定一個測試環境源。任務執行及工作流執行支持“是否測試”選項，選擇測試時，Worker節點在任務執行前，自動替換線上環境源為綁定的測試環境源，再配合Worker分組實現線上、測試環境的隔離，最終達到支持測試任務的目標。

數據源配置頁面增加線上、測試選項，支持綁定測試源

工作流執行頁面、任務執行頁面新增線上、測試選項

Master節點、Worker節點解析執行環境標識，替換數據源為測試數據源

工作流實例、任務實例頁面增加執行環境標識

熟悉Java、Spring、VUE3

https://github.com/apache/dolphinscheduler

https://github.com/apache/dolphinscheduler-website

溫合民

聯系方式：whm_777@163.com

08為DolphinScheduler的項目和資源中心增加讀寫權限的授權管理

222290462

基礎/Basic

Java、Vue、TypeScript

當前DolphinScheduler對于權限的管控相對比較簡單，希望在進行項目和資源中心授權時增加操作權限管控來進行讀寫權限的分離。

針對單個項目的全部內容進行讀寫權限區分，對單個用戶針對單個項目授權只讀或者讀寫權限

針對資源中心的全部內容進行讀寫權限區分，基于當前資源中心的授權內容區分出只讀或者讀寫權限

進行授權時前端頁面增加只讀和讀寫的授權操作

熟悉Java、Spring、Vue3、TypeScript

https://github.com/apache/dolphinscheduler

https://github.com/apache/dolphinscheduler-website

孫朝和

聯系方式：sunzhaohe0825@gmail.com

No.6申請參與項目

01申請資格

本活動面向年滿18周歲在校學生。

暑期即將畢業的學生，只要在申請時學生證處在有效期內，就可以提交申請。

海外學生可提供錄取通知書/學生卡/在讀證明證明學生身份。

02參與流程

03申請建議

歡迎主動向導師發送郵件進行溝通，附上自己的方案和簡歷，更加了解你~

認真了解社區項目文檔，與導師充分溝通。

歡迎加入交流群交流

參與貢獻

隨著國內開源的迅猛崛起，ApacheDolphinScheduler社區迎來蓬勃發展，為了做更好用、易用的調度，真誠歡迎熱愛開源的伙伴加入到開源社區中來，為中國開源崛起獻上一份自己的力量，讓本土開源走向全球。

參與DolphinScheduler社區有非常多的參與貢獻的方式，包括：

貢獻第一個PR(文檔、代碼)我們也希望是簡單的，第一個PR用于熟悉提交的流程和社區協作以及感受社區的友好度。

社區匯總了以下適合新手的問題列表：https://github.com/apache/dolphinscheduler/issues/5689

非新手問題列表：https://github.com/apache/dolphinscheduler/issues?q=is%3Aopen+is%3Aissue+label%3A%22volunteer+wanted%22

如何參與貢獻鏈接：https://dolphinscheduler.apache.org/zh-cn/docs/development/contribute.html

來吧，DolphinScheduler開源社區需要您的參與，為中國開源崛起添磚加瓦吧，哪怕只是小小的一塊瓦，匯聚起來的力量也是巨大的。

參與開源可以近距離與各路高手切磋，迅速提升自己的技能，如果您想參與貢獻，我們有個貢獻者種子孵化群，可以添加社區小助手微信(Leonard-ds)，手把手教會您(貢獻者不分水平高低，有問必答，關鍵是有一顆愿意貢獻的心)。

添加小助手微信時請說明想參與貢獻。

來吧，開源社區非常期待您的參與。

活動推薦

當數據資源成為生產發展乃至于生存過程中必不可少的要素，企業該如何通過數據集成幫助企業數據服務全生命周期落地呢？5月14日，數據集成框架ApacheSeaTunnel(Incubating)將邀請一站式數據集成平臺ApacheInLong(Incubating)的技術專家與開源貢獻者們，一同來到直播間，與大家暢談使用ApacheSeaTunnel(Incubating)與ApacheInLong(Incubating)后的實踐經歷與心得體會。

直播鏈接：https://www.slidestalk.com/m/777

Tags：APIDAGHDFSAPI價格API幣DAG價格DAG幣HDFS幣是什么幣

PEPE