Luigi是一個(gè)Python軟件包，幫助你建立復(fù)雜的批處理作業(yè)管道，它可以處理依賴性解決、工作流管理、可視化、處理失敗、命令行集成等等，Luigi的目的是解決通常與長(zhǎng)期運(yùn)行的批處理過(guò)程相關(guān)的所有管道問(wèn)題。

功能介紹

建立復(fù)雜的批處理作業(yè)管道

很容易建立起由成千上萬(wàn)個(gè)任務(wù)組成的長(zhǎng)期運(yùn)行的流水線。

Luigi幫助你把許多任務(wù)連接起來(lái)

Luigi負(fù)責(zé)大量的工作流程管理

你的數(shù)據(jù)管道不會(huì)在包含部分?jǐn)?shù)據(jù)的狀態(tài)下崩潰

使用Luigi的可視化器，你可以對(duì)工作流的依賴關(guān)系圖有一個(gè)很好的可視化概述。