当前位置：网站首页>LLVM之父Chris Lattner：為什麼我們要重建AI基礎設施軟件

LLVM之父Chris Lattner：為什麼我們要重建AI基礎設施軟件

2022-07-07 10:09:00 【OneFlow深度學習框架】

翻譯｜沈佳麗、賈川

人們曾經想象中的AI願景很美好，現狀卻不盡人意。AI在自動駕駛、新藥研發等日常應用上並未實現當初的預言，常見的吐槽是，全球的科技巨頭匯集了一大批最聰明的大腦，但更多還是專注於思考廣告的精准投放、信用評分以及並不怎麼智能的“智能”音箱上。

理論上說，只要有正確的算法和足够的計算資源，AI可以解决所有任何可用數據錶征的問題，而現在數據、算法和硬件資源已經足够豐富，AI用於造福社會的所有條件都已具備。我們看到了AI的廣闊應用以及初步效果，但實際上，技術應用並不深入，遠遠沒有發揮出已有機器學習研究的所有潜力。

為什麼會導致這種局面？事實比世界上的科技巨頭和媒體對於AI的研究更新還要深刻。編譯器大牛Chris Lattner曾指出，AI系統和工具的單一化和碎片化正是造成這一問題的根源。

為了解决這一難題，2022年1月，編譯器大牛Chris Lattner宣布下海創業，同Tim Davis共同成立了Modular AI，目標是重建全球ML基礎設施，包括編譯器、運行時，异構計算、邊緣到數據中心並重，並專注於可用性，提昇開發人員的效率。目前，Modular AI團隊已參與構建過來自TensorFlow、TF Lite、XLA、TPU、Android ML、Apple ML、MLIR等世界上大部分的生產機器學習基礎設施，並已將生產工作負載部署到數十億用戶和設備。

近日，Modular AI宣布完成3千萬美元的種子輪融資，由Google Venture領投。在Chris Lattner等人發布的最新一篇官方博文中，發出了“靈魂三問”：AI如此重要，為什麼軟件卻如此不堪？為什麼科技巨頭沒有解决AI難題？如何解决這一難題？當然，他們也給出了回答。OneFlow社區對原文進行了編譯整理。

AI如此重要，為何軟件卻如此不堪？

AI軟件最初是為構建AI技術的全棧研究人員、工程師和架構師設計的，它從未被定義為一項產品，因此，AI軟件在底層設計上就有缺陷。

這種軟件是由大型科技公司為解决他們自己的問題而構建的，而其它企業都在“滴漏式（trickle down）基礎設施”上使用這些軟件。於是便產生這樣的現象：只有最大和最具商業影響力的AI應用才在實踐中構建和部署，即便如此，也只有在企業的需求與大型科技公司的內部需求一致性很高的情况下才能實現。

這是為什麼呢？因為當下的AI軟件很單一，研究屬性很重，主要用於滿足科技巨頭（這些軟件的研發者）的發展規劃。這些軟件是研究人員為了做研究而創造的，而AI的快速發展使得研究人員沒有時間停下來再重新構建。

相反，隨著時間的推移，我們增加了越來越多的複雜度，致使該行業很難維護和擴展碎片化的定制工具鏈，這些工具鏈在研究和生產、訓練和部署、服務器和邊緣端之間都存在差异。

人工智能系統現在已然成為一片不兼容技術的汪洋大海，只有那些綜合型科技巨頭才有能力使用AI實現他們的目標。

為什麼科技巨頭沒有解决AI難題？

AI研究和開發人員通力合作，使部署AI取得了成功，科技巨頭們利用其龐大的計算和財力來推進其產品和核心業務的優先級，包括他們自己的雲、電話、社交網絡和人工智能硬件。

雖然他們對該領域做出了卓越的貢獻，但從商業角度講，它們不可能把AI推廣到全世界（涵蓋所有硬件、雲和ML框架），而世界其它地方也不能指望它們這麼做。不過，這個不幸的事實限制了世界上其他國家使用這項技術，沒有能力來解决大型科技公司所關注領域以外的問題，包括世界面臨的一些最重大的社會經濟和環境問題。但這不是我們想要的未來。

雖然巨頭為人工智能的發展做出了巨大貢獻，但要讓人工智能充分發揮其潜力，還需要一家獨立的公司，這家公司不用優先考慮自己的硬件、雲基礎設施、手機的發展或自己的研究；同時我們需要一家中立的公司，做最符合全球用戶和企業利益的事。我們需要把從人工智能軟件的快速增長中學到的知識融入到下一代技術中，以此來為所有組織面臨的各類問題提供可用方案和通用標准。

今天，中小型科技公司面臨的最緊迫的問題是，如何突破能力、成本、時間和人才的限制將AI投入生產。

出於機會成本的考慮，他們的創新技術難以推廣到市場，產品體驗欠佳，將最終給他們的發展帶來負面影響。對整個社會來說，這意味著我們還需等待相當漫長的一段時間才能用AI來解决世界上的一些重大難題。

我們沒有時間等科技巨頭們推出涓滴式的AI軟件。AI可以改變世界，但前提是碎片化問題必須得到解决，並且全球AI開發者社區無需為高質量的基礎設施所困擾。

誰來解决這一難題？如何解决？

Modular正在構建下一代AI開發者平臺，它將更加實用、高速且靈活。

我們的平臺通過通用接口統一了流行的AI框架前端，並且强化了對各種硬件後端和雲環境的接入和可移植性。我們正在重建核心開發人員的工作流工具，使其更具錶現力、可用性、可調試性、可靠性、可擴展性，實現優越性能。我們的工具可以輕松部署到現有的工作流中，使用者無需重構或重寫代碼，便可無縫接續完成工作，並且以更低的成本實現生產力和性能的提昇。我們將加速挖掘AI價值，並且盡快將其推向市場，惠及廣大用戶。

當AI能够更加細微地滲透到各類應用中時，它的潜力也將得到充分展現——届時，你將不必圍繞AI來定義你的應用。我們的平臺由模塊化、可組合的基礎設施組件構建而成，支持重新搭配和擴展以實現各種用例。同時，即使在不了解整個系統是如何運作的情况下，各領域專家們也能通過我們的平臺進行創新。我們已經親眼目睹了模塊化方法如何解鎖新用例，而這是我們過去未曾想過的。

為了真正修複AI基礎設施，我們既要解决“硬技術”問題（如針對异構計算技術的編譯器），也要建立可無縫銜接的端到端開發者工作流。

從“AI研究時代”跨入 “AI生產時代”

我們的成功意味著全球開發者們將獲得真正可用、可移植和可擴展的AI軟件。

在新世界裏，缺乏充沛預算或頂尖人才的開發者也可以像全球科技巨頭一樣高效地開展工作；AI硬件的效率和總擁有成本 (Total Cost of Ownership，TCO）將得到優化；企業可以輕松插入定制的ASIC以滿足其使用情况；部署到邊緣就像部署到服務器一樣容易；企業可以使用任何一款最符合其需求的AI框架；AI程序可以在硬件上無縫擴展，將最新AI研究部署到生產中簡直再輕松不過。

我們將看到：AI行業的發展不再受限於科技巨頭們按自身需求所决定的時間錶；AI行業的發展將會更加快速、更加集中；創新在堆棧的各個層面蓬勃發展，開發人員專注於在自己的專業領域將新的創新推向市場，並為我們所有人建立一個更加美好的未來；行業飛速發展，帶領我們從“AI研究時代”跨入 “AI生產時代”。

（原文：

https://www.modular.com/blog/the-case-for-a-next-generation-ai-developer-platform）

其他人都在看

點擊“閱讀原文”，歡迎下載體驗OneFlow v0.7.0