“湖倉一體”目前作為一種新興架構(gòu),結(jié)合數(shù)據(jù)倉庫與數(shù)據(jù)湖的優(yōu)勢,在類似數(shù)據(jù)湖的低成本存儲(chǔ)上,實(shí)現(xiàn)與數(shù)據(jù)倉庫中類似的數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)管理功能,在擴(kuò)展性、事務(wù)性以及靈活度方面體現(xiàn)獨(dú)有的優(yōu)勢,是解決目前企業(yè)數(shù)據(jù)治理需求的更優(yōu)解。
為了應(yīng)對(duì)更加復(fù)雜多變的業(yè)務(wù)需求,越來越多的公司對(duì)數(shù)據(jù)處理的實(shí)時(shí)性和融合性提出更高要求,為了滿足此要求、實(shí)現(xiàn)構(gòu)建云原生湖倉一體數(shù)據(jù)平臺(tái),打破數(shù)據(jù)倉庫和數(shù)據(jù)湖之間的壁壘,一方面采用云原生架構(gòu)提供更強(qiáng)的彈性計(jì)算能力以降低整體成本,另一方面使用湖倉一體架構(gòu)協(xié)助數(shù)據(jù)融合統(tǒng)一,減少數(shù)據(jù)分析過程中的數(shù)據(jù)搬遷,實(shí)現(xiàn)統(tǒng)一的數(shù)據(jù)管理,加速數(shù)據(jù)價(jià)值變現(xiàn)。
出品人:蔣曉峰 bilibili 資深開發(fā)工程師
(相關(guān)資料圖)
個(gè)人介紹:嗶哩嗶哩資深開發(fā)工程師,Apache Paimon PPMC,Apache Kyuubi & Apache RocketMQ Committer,主要負(fù)責(zé) Hudi 內(nèi)核開發(fā)。
張永翔 網(wǎng)易杭州研究院 大數(shù)據(jù)平臺(tái)開發(fā)工程師
個(gè)人介紹:張永翔,網(wǎng)易數(shù)帆資深平臺(tái)開發(fā)工程師,Amoro Committer,7 年從業(yè)經(jīng)驗(yàn),先后從事網(wǎng)易 RDS、數(shù)據(jù)中臺(tái)、實(shí)時(shí)計(jì)算平臺(tái)等開發(fā),目前主要負(fù)責(zé) Amoro 湖原生數(shù)倉項(xiàng)目。
演講題目:Apache Iceberg +Amoro 構(gòu)建云原生湖倉探索
演講提綱:
1. 云上構(gòu)建湖倉一體的優(yōu)勢與挑戰(zhàn)
2. Apache Iceberg 與 Amoro 構(gòu)建云原生湖倉的優(yōu)勢
3. Apache Iceberg + Amoro 構(gòu)建云原生湖倉的實(shí)踐
4. 未來發(fā)展
聽眾收益:
1. 云上構(gòu)建湖倉一體可能的挑戰(zhàn)
2. Amoro + Apache Iceberg 構(gòu)建云原生湖倉的優(yōu)勢是什么
3. 如何通過 Amoro + Apache Iceberg 構(gòu)建云原生湖倉
楊洋 bilibili 離線平臺(tái)高級(jí)開發(fā)工程師
個(gè)人介紹:2021年加入B站工作至今,專注于開源大數(shù)據(jù)技術(shù),參與過Alluxio、Presto、Ranger、Hudi等組件改造及優(yōu)化,目前主要從事StarRocks落地元倉場景的工作。
演講題目:B站基于StarRocks構(gòu)建大數(shù)據(jù)元倉和診斷系統(tǒng)
演講提綱:
1. 大數(shù)據(jù)元倉背景
2. 技術(shù)選型及方案
3. 元倉與診斷效果
4. 總結(jié)與未來規(guī)劃
聽眾收益:
1. 了解元倉和診斷架構(gòu)及構(gòu)建過程
2. 了解技術(shù)選型過程及StarRocks的特性
林陽昊 火山引擎 基礎(chǔ)架構(gòu)工程師
個(gè)人介紹:本科畢業(yè)于復(fù)旦大學(xué),碩士畢業(yè)于新加坡國立大學(xué),2022 年入職火山引擎。Iceberg contributor?;鹕揭尕?fù)責(zé) Iceberg 研發(fā),以及基于 Iceberg 的 Feature Store 研發(fā)。
演講題目:Iceberg 在火山引擎的云原生湖倉實(shí)踐
演講提綱:
1. 背景
- Iceberg 介紹
- 場景介紹:流式入湖 + OLAP 場景、特征調(diào)研場景
2. 通用優(yōu)化
- 動(dòng)態(tài) Schema 寫入(Append-only、CDC)
- 數(shù)據(jù)維護(hù)(Compaction、expire snapshot、expire data、clean up)
3. 流式入湖 + OLAP 場景
- 流式寫入、compaction 沖突解決
- 物化視圖、Upsert 優(yōu)化
- Flink ALTER SCHEMA、UPDATE、DELETE 支持
- Flink 多版本支持
4. 特征調(diào)研場景
- 元數(shù)據(jù)瘦身
- Manifest 整理
- File skipping 優(yōu)化
聽眾收益:
1. 如何使用 Flink + Iceberg 搭建一套 CDC 鏈路
2. 如何解決 Flink 讀寫 Iceberg 過程中的常見問題
3. 如何從數(shù)據(jù)層面和元數(shù)據(jù)層面,加速 Iceberg 查詢
符其軍 阿里云 數(shù)據(jù)庫開發(fā)工程師
個(gè)人介紹:阿里云數(shù)據(jù)庫開發(fā)工程師,主要負(fù)責(zé)內(nèi)部數(shù)據(jù)湖產(chǎn)品研發(fā)。
演講題目:阿里云 AnalyticDB 基于 Apache Hudi 實(shí)現(xiàn) PB 級(jí)別數(shù)據(jù)入湖實(shí)踐
演講提綱:
介紹阿里云 AnalyticDB 基于 Hudi 實(shí)現(xiàn) PB 級(jí)別日志數(shù)據(jù)入湖的實(shí)踐:
1. Hudi & Lakehouse 簡介
2. 基于Hudi構(gòu)建數(shù)據(jù)入湖的挑戰(zhàn)
3. 總結(jié)和展望
聽眾收益:
1. 了解 Lakehouse 的基本概念以及 Apache Hudi 的優(yōu)勢
2. Flink + Hudi 如何實(shí)現(xiàn) 4GB/s 的高吞吐寫入
3. 如何在云原生環(huán)境上構(gòu)建和優(yōu)化數(shù)據(jù)湖產(chǎn)品?
楊勇強(qiáng) SelectDB 聯(lián)合創(chuàng)始人兼產(chǎn)品VP
個(gè)人介紹:SelectDB 聯(lián)合創(chuàng)始人兼產(chǎn)品VP、Apache Doris Committer,曾擔(dān)任百度智能云存儲(chǔ)部主任架構(gòu)師,具有十余年的大數(shù)據(jù)、數(shù)據(jù)庫以及云存儲(chǔ)領(lǐng)域的設(shè)計(jì)、架構(gòu)以及技術(shù)管理經(jīng)驗(yàn)。
演講題目:新一代實(shí)時(shí)數(shù)據(jù)倉庫 SelectDB 云原生版本 SelectDB Cloud
演講提綱:
1. SelectDB Cloud 特色
2. SelectDB Cloud 架構(gòu)
3. 阿里云瑤池 SelectDB
聽眾收益:深入了解新一代實(shí)時(shí)數(shù)倉 SelectDB 的特色、架構(gòu)以及阿里云和飛輪科技合作的 SelectDB 產(chǎn)品。
感興趣的話可以點(diǎn)擊鏈接了解更多議題詳情:
標(biāo)簽:
參與評(píng)論