致力于將AI技術(shù)應(yīng)用于復(fù)雜環(huán)境中數(shù)據(jù)的Cloudera近日宣布平臺(tái)更新，重點(diǎn)包括Cloudera Iceberg REST Catalog和Cloudera Lakehouse Optimizer。此次更新進(jìn)一步強(qiáng)化了公司致力于提供由Iceberg驅(qū)動(dòng)的領(lǐng)先開(kāi)放式數(shù)據(jù)湖倉(cāng)一體架構(gòu)的承諾。Iceberg REST Catalog將提供無(wú)縫共享數(shù)據(jù)所需的開(kāi)放互操作性，Lakehouse Optimizer將確保數(shù)據(jù)始終處于優(yōu)化狀態(tài)，實(shí)現(xiàn)跨引擎訪問(wèn)數(shù)據(jù)的成本效益。同時(shí)，所有功能均在Cloudera統(tǒng)一的治理和安全框架下進(jìn)行。上述增強(qiáng)功能在今日Cloudera主辦的AI和數(shù)據(jù)行業(yè)盛會(huì)EVOLVE25 NYC上亮相。

隨著企業(yè)競(jìng)相發(fā)掘AI和分析功能的潛力，同時(shí)也面臨著諸多挑戰(zhàn)，例如復(fù)雜的數(shù)據(jù)架構(gòu)、孤立的平臺(tái)和不一致的治理。在系統(tǒng)之間移動(dòng)數(shù)據(jù)進(jìn)行分析或AI訓(xùn)練，會(huì)增加成本、帶來(lái)安全風(fēng)險(xiǎn)，并延遲洞察獲取。現(xiàn)代企業(yè)需要開(kāi)放、安全且可互操作的數(shù)據(jù)架構(gòu)，以支持AI廣泛存在背景下處于各類(lèi)復(fù)雜環(huán)境中的數(shù)據(jù)，以及多引擎分析，同時(shí)避免數(shù)據(jù)重復(fù)或被單一供應(yīng)商鎖定。

Cloudera Iceberg REST Catalog-降低總體擁有成本，加快價(jià)值實(shí)現(xiàn)

作為將Iceberg REST Catalog集成到完整生命周期數(shù)據(jù)和AI平臺(tái)中的提供商，Cloudera實(shí)現(xiàn)了在各類(lèi)云和數(shù)據(jù)中心上的安全、零拷貝數(shù)據(jù)共享和統(tǒng)一治理。為應(yīng)對(duì)挑戰(zhàn)，Cloudera的新產(chǎn)品將Iceberg REST Catalog集成到其平臺(tái)中。同時(shí)，在無(wú)需復(fù)制或移動(dòng)數(shù)據(jù)的情況下，這種方式允許第三方引擎直接訪問(wèn)Cloudera管理的數(shù)據(jù)，并確保在公有云、數(shù)據(jù)中心和邊緣計(jì)算中實(shí)現(xiàn)一致的執(zhí)行策略和元數(shù)據(jù)智能。從實(shí)時(shí)攝取和大規(guī)模處理、到使用AI和BI的完整數(shù)據(jù)生命周期內(nèi)，Cloudera能夠在各類(lèi)云和數(shù)據(jù)中心中，提供統(tǒng)一的安全、治理和互操作性。通過(guò)基于REST的訪問(wèn)擴(kuò)展Apache Iceberg功能，Cloudera助力企業(yè)確保其數(shù)據(jù)戰(zhàn)略面向未來(lái)，同時(shí)保持控制力、可見(jiàn)性和合規(guī)性。

此次更新后，所有采用Iceberg的Cloudera客戶(hù)均可享受跨生態(tài)系統(tǒng)的無(wú)縫零拷貝互操作性，輕松連接Snowflake、Databricks、AWS Athena、AWS EMR及Salesforce等主流分析與AI引擎，同時(shí)符合ACID規(guī)范，并擁有統(tǒng)一的訪問(wèn)策略?？蛻?hù)還將獲得企業(yè)級(jí)的治理能力，通過(guò)Cloudera的共享數(shù)據(jù)體驗(yàn)（SDX）將細(xì)粒度訪問(wèn)控制、數(shù)據(jù)血緣和審計(jì)功能擴(kuò)展到第三方工具，從而確保大規(guī)模降低安全數(shù)據(jù)門(mén)檻，并確保合規(guī)性。此外，客戶(hù)將擁有開(kāi)放的元數(shù)據(jù)訪問(wèn)權(quán)限，在不受專(zhuān)有目錄限制的情況下即時(shí)發(fā)現(xiàn)數(shù)據(jù)資產(chǎn)，通過(guò)一致的真實(shí)數(shù)據(jù)源加速AI開(kāi)發(fā)和商業(yè)智能。這些增強(qiáng)功能降低了總體擁有成本（TCO），并加快了價(jià)值實(shí)現(xiàn)速度。實(shí)際案例顯示，該方案能幫助客戶(hù)降低高達(dá)79%的數(shù)據(jù)存儲(chǔ)成本。同時(shí)，增強(qiáng)功能還提高了跨業(yè)務(wù)線數(shù)據(jù)的可見(jiàn)性。例如，某全球領(lǐng)先衛(wèi)星運(yùn)營(yíng)商在控制成本的同時(shí)，強(qiáng)化了AI數(shù)據(jù)管道。

Cloudera Lakehouse Optimizer-提升查詢(xún)性能并降低存儲(chǔ)成本

Cloudera Lakehouse Optimizer是一項(xiàng)全新智能服務(wù)，將為Cloudera湖倉(cāng)內(nèi)的Apache Iceberg提供自動(dòng)優(yōu)化和表維護(hù)功能。其智能優(yōu)化能力超越基礎(chǔ)表維護(hù)，涵蓋重寫(xiě)清單文件和位置刪除文件等任務(wù)。通過(guò)智能優(yōu)化表，該服務(wù)能夠有效減少人工數(shù)據(jù)管理任務(wù)和運(yùn)營(yíng)成本，助力客戶(hù)聚焦于提煉數(shù)據(jù)洞察。作為開(kāi)放解決方案，該服務(wù)支持任意公有云上兼容Iceberg的引擎，并通過(guò)獨(dú)特的用戶(hù)界面提供企業(yè)就緒的可觀測(cè)性和控制力，支持細(xì)粒度的策略定義與調(diào)整。優(yōu)化策略可應(yīng)用于特定表或整個(gè)數(shù)據(jù)目錄。并且，在即將發(fā)布的版本中，該服務(wù)有望成為業(yè)界領(lǐng)先的支持本地部署的解決方案。內(nèi)部基準(zhǔn)測(cè)試表明，該服務(wù)可將查詢(xún)性能提升高達(dá)13倍，并將存儲(chǔ)成本降低36%。

Cloudera首席產(chǎn)品官Leo Brunnick表示：“作為大數(shù)據(jù)行業(yè)的領(lǐng)先平臺(tái)公司，Cloudera持續(xù)投入資源，推動(dòng)Apache Iceberg開(kāi)放表格式適用于企業(yè)。通過(guò)今天的新發(fā)布，我們將繼續(xù)履行承諾，為客戶(hù)在其所需的任何時(shí)間和地點(diǎn)，提供靈活、可擴(kuò)展的深度洞察。正是這份承諾，讓全球眾多大型企業(yè)信賴(lài)Cloudera，通過(guò)我們將AI技術(shù)應(yīng)用于復(fù)雜環(huán)境中的企業(yè)數(shù)據(jù)。”

由Iceberg REST Catalog提供支持的Cloudera數(shù)據(jù)共享和Cloudera Lakehouse Optimizer 現(xiàn)已推出。