每一次工業(yè)革命 ,都為我們帶來了躍遷式發(fā)展。當以 AI 為代表的又一次技術(shù)變革浪潮向我們奔來時,企業(yè)如何才能獲得所必須的技術(shù)支撐。為開啟通用人工智能時代做好充分準備?12月18日,2024火山引擎FORCE原動力大會·冬 技術(shù)主論壇,帶來了一系列全新產(chǎn)品及升級。幫助企業(yè)解決,落地大模型所面臨的實際問題。
字節(jié)跳動基礎架構(gòu)負責人 趙鵬偉
“為了迎接通用人工智能時代的來臨,企業(yè)需要在性價比、創(chuàng)新以及安全等方面做好準備。火山引擎為企業(yè)提供了 AI 云原生式的全鏈路產(chǎn)品服務能力,以豆包大模型、大模型服務、AI 基礎設施、數(shù)據(jù)和安全方向的產(chǎn)品新成果,與眾多企業(yè)和開發(fā)者用戶在未來的 AI 創(chuàng)新變革之路上攜手共進!弊止(jié)跳動 基礎架構(gòu)負責人趙鵬偉表示。
AI云原生 打造以AI負載為中心的基礎架構(gòu)新范式
過去十年中,云原生架構(gòu)的彈性、存算分離以及服務化等能力,成為了企業(yè)高效構(gòu)建大規(guī)模業(yè)務系統(tǒng)的有力支持。隨著 AI 時代的來臨,更多的計算變成以 GPU 為核心,舊有架構(gòu)難以充分發(fā)揮 GPU 高算力、高帶寬優(yōu)勢,同時 GPU 訓練和推理場景,也對高速互聯(lián)、在線存儲和隱私安全提出了更高的要求。
火山引擎認為,下一個十年,計算范式應該進入 AI 云原生的新時代。AI 云原生,將以 GPU 為核心重新來優(yōu)化計算、存儲與網(wǎng)絡架構(gòu),GPU 可以直接訪問存儲和數(shù)據(jù)庫,來顯著的降低 IO 延遲。同時,全系統(tǒng)提供更高規(guī)模的高速互聯(lián),和端到端的安全保護。為此,火山引擎將打造以 AI 負載為中心的基礎架構(gòu)新范式,推出新一代計算、網(wǎng)絡、存儲和安全產(chǎn)品。
✔ 在計算層面,新一代的火山引擎 GPU 實例,通過 vRDMA 網(wǎng)絡,支持大規(guī)模并行計算和 P/D 分離推理架構(gòu),顯著提升訓練和推理效率,降低成本。
✔ 存儲上,新推出的 EIC 彈性極速緩存,能夠?qū)崿F(xiàn) GPU 直連,使大模型推理時延降低至1/50;成本降低20%。
✔ 在安全層面,火山將推出 PCC 私密云服務,構(gòu)建大模型的可信應用體系; PCC,企業(yè)能夠?qū)崿F(xiàn)用戶數(shù)據(jù)在云上推理的端到端加密,而且性能很好,推理時延比明文模式的差異在5%以內(nèi)。
火山方舟加速大規(guī)模落地 全新發(fā)布Prompt優(yōu)解
作為一站式大模型服務平臺,火山方舟將憑借 Cache、離線推理模式等產(chǎn)品與升級,以及全新發(fā)布的 Prompt 優(yōu)解,加速大模型能力落地。
大模型落地過程中,prompt(提示詞)的編寫,往往是橫在面前的第一道門檻,大模型能力越強,對指示詞、指令的遵循程度也就越高。
火山引擎發(fā)布 Prompt 優(yōu)解,可以通過“自動+互動”方式協(xié)助用戶編寫提示詞,讓用戶在互動中表達需求,快速上手。用機器實現(xiàn)類似人類的反思、類比、錯誤總結(jié)能力,全自動優(yōu)化 prompt,助力企業(yè)低成本高效率獲得高質(zhì)量 prompt。目前,Prompt 優(yōu)解已通過火山方舟開放全量公測。
火山引擎始終把更低、更好的成本和價格放在首位。為進一步踐行“人人用得起,才是好模型”理念,火山引擎發(fā)布離線批量推理方案和上下文緩存,幫助用戶實現(xiàn)更為精細化和低成本的運營。
全新扣子1.5、HiAgent1.5 助力打造企業(yè)級AI原生應用
從通用大模型到企業(yè) AI 應用落地,需跨越“到一個好用的應用”、“到 N 個好用的應用”、“到組織、流程、戰(zhàn)略”三道鴻溝。
此外,豆包大模型最新發(fā)布的豆包·視覺理解模型、豆包·文生圖模型2.1和豆包·音樂模型,都可以在扣子通過插件的方式體驗,將有助于更多多模態(tài) AI 應用在扣子誕生。
數(shù)據(jù)飛輪2.0發(fā)布 開啟數(shù)智生產(chǎn)力新時代
為了幫助企業(yè)用好數(shù)據(jù),用數(shù)據(jù)驅(qū)動業(yè)務價值的提升,火山引擎發(fā)布數(shù)據(jù)飛輪2.0,通過 AI 創(chuàng)新,來重新定義企業(yè)數(shù)據(jù)智能。數(shù)據(jù)飛輪2.0將全面注入大模型,帶來前所未有的決策洞察;通過一體化數(shù)智研發(fā)與一站式數(shù)據(jù)智能運營,讓工作流程化繁為簡;在多元異構(gòu)計算引擎的加速下,快速處理結(jié)構(gòu)與非結(jié)構(gòu)數(shù)據(jù)資產(chǎn),激發(fā)企業(yè)更多潛在數(shù)據(jù)資產(chǎn),實現(xiàn)更大的動力。
圍繞企業(yè)數(shù)據(jù)建設與數(shù)據(jù)應用的各個環(huán)節(jié),數(shù)據(jù)飛輪2.0的全系產(chǎn)品迎來了全面實現(xiàn) AI 創(chuàng)新的新階段。此外,發(fā)布兩大核心方案:
✔ Data Fabric 驅(qū)動下的 ChatBI 智能體,可以讓數(shù)據(jù)消費變得更簡單直接。該方案通過構(gòu)建完整的智能數(shù)據(jù)服務體系,打破數(shù)據(jù)“專業(yè)”壁壘,幫助企業(yè)內(nèi)每個業(yè)務都能定制專屬智能體,持續(xù)降低數(shù)據(jù)使用門檻,提升大模型能力下的數(shù)據(jù)反饋效率和準確率。
✔ 多模態(tài)數(shù)據(jù)湖,拓寬了數(shù)據(jù)資產(chǎn)的邊界,可以實現(xiàn)海量結(jié)構(gòu)化、半結(jié)構(gòu)化及非結(jié)構(gòu)化數(shù)據(jù)的統(tǒng)一精細化管理,全方位兼容各類數(shù)據(jù)格式,為 LLM 預訓練、持續(xù)訓練和微調(diào)全程各個環(huán)節(jié)提供更好的數(shù)據(jù)支持。
讓智能更安全,讓安全更智能
火山引擎云安全圍繞“讓智能更安全、讓安全更智能”理念,為 AI 基礎設施提供透明可信的安全保障,同時也通過安全智能體,希望字節(jié)跳動沉淀的安全經(jīng)驗服務好每個企業(yè)。
大模型應用進入開花結(jié)果階段,企業(yè)對模型能力、價格以及落地難度都提出了更高要求;鹕揭姹敬伟l(fā)布的多款全新產(chǎn)品與升級,進一步降低模型訓練、推理應用難度,以更高性價比、更強安全保障,為企業(yè)落地 AI 能力形成增長奠定了堅實基礎。
未來,火山引擎將繼續(xù)強化全棧 AI 服務能力,不斷推動技術(shù)與行業(yè)場景深度融合,助力企業(yè)憑借 AI 等創(chuàng)新技術(shù),實現(xiàn)更大價值飛躍。