首頁?行業  »   正文

優步開源工具箱Ludwig,無需代碼即可訓練和測試AI模型

優步開源工具箱Ludwig,無需代碼即可訓練和測試AI模型

想要深入AI開發,但發現它的編程部分很困難?優步開源了Ludwig,這是一個基于谷歌TensorFlow框架的開源“工具箱”,允許用戶在不編寫代碼的情況下訓練和測試AI模型。

優步表示,Ludwig是兩年來在應用項目中簡化AI系統部署的工作的最高點,并表示它一直在內部使用工具套件來完成很多任務,如從駕駛執照中提取信息,在駕駛員之間的對話中識別興趣點,預測食物交付時間等。

優步表示,“對于經驗豐富的機器學習開發人員和研究人員來說,Ludwig在幫助非專家更容易理解深度學習方面的能力方面是獨一無二的,并且能夠更快地進行模型改進迭代周期。通過使用Ludwig,專家和研究人員可以簡化原型設計過程并簡化數據處理,以便他們可以專注于開發深度學習架構而不是數據整理。”

優步開源工具箱Ludwig,無需代碼即可訓練和測試AI模型

正如優步解釋的那樣,Ludwig提供了一組AI架構,可以將它們組合在一起,為給定的用例創建端到端模型。開始訓練只需要一個表格數據集文件(如CSV)和一個YAML配置文件,它指定前者的哪些列是輸入要素(即觀察到的各個屬性或現象)以及哪些是輸出目標變量。如果指定了多個輸出目標變量,Ludwig會學會同時預測所有輸出。

新模型定義可以包含其他信息,包括數據集中每個要素的預處理數據和模型訓練參數。并且在Ludwig訓練的模型被保存起來,可以在稍后的時間加載,以獲得對新數據的預測。

對于Ludwig支持的每種數據類型,該工具集提供數據類型特定的編碼器,其將原始數據映射到張量(線性代數中使用的數據結構),以及將張量映射到原始數據的解碼器。內置組合器自動將所有輸入編碼器的張量拼接在一起,對其進行處理,并將它們返回以用于輸出解碼器。

“通過組合這些特定于數據類型的組件,用戶可以在各種任務上建立Ludwig訓練模型,例如,通過組合文本編碼器和類別解碼器,用戶可以獲得文本分類器,而組合圖像編碼器和文本解碼器將使用戶能夠獲得圖像字幕模型……這種多功能且靈活的編碼器-解碼器架構使經驗不足的深度學習從業者能夠輕松地訓練各種機器學習任務的模型,例如文本分類,對象分類,圖像字幕,序列標記,回歸,語言建模,機器翻譯,時間序列預測和問答。”

此外,Ludwig還提供了一組用于訓練,測試模型和獲取預測的命令行實用程序;用于評估模型和通過可視化比較其預測的工具;Python編程API允許用戶訓練或加載模型并使用它來獲取新數據的預測。此外,Ludwig能夠通過使用優步的Horovod進行分布式模型訓練。

優步開源工具箱Ludwig,無需代碼即可訓練和測試AI模型

目前,Ludwig包含用于二進制值,浮點數,類別,離散序列,集合,包,圖像,文本和時間序列的編碼器和解碼器,并且它支持選擇預訓練模型。

團隊表示,“我們決定開源Ludwig,因為我們相信它可以成為非專家機器學習從業者和經驗豐富的深度學習開發人員和研究人員的有用工具。非專家可以快速訓練和測試深度學習模型,而無需編寫代碼。專家可以獲得強大的基線來比較他們的模型,并擁有實驗設置,通過執行標準數據預處理和可視化,可以輕松測試新想法和分析模型。”

未來,優步計劃為文本,圖像,音頻,點云和圖形的數據類型添加新的編碼器,并集成更具可擴展性的解決方案來管理大數據集。

開源:

github.com/uber/ludwig

歡迎關注ATYUN官方公眾號,商務合作及內容投稿請聯系郵箱:[email protected]

發表評論