AXV

Data Lake va Bronze/Silver/Gold

Data Lake, raw, Bronze, Silver, Gold, DWH va Lake farqi, Lakehouse

10-sinfBI & ML6-hafta · 18-dars

Bugun nimalarni o'rganamiz?

Data Lake

Hamma narsani xom saqlash

Bronze, Silver, Gold

Medallion qatlamlari

DWH va Lake

Lakehouse

Takrorlash

Hisobot qaysi qatlamdan olinadi?

Tozalangan qatlamdan.
01

Data Lake

Hamma narsani xom saqlash

Lake xususiyatlari

Xom format Katta hajm Arzon Schema-on-read Tuzilma o'qishda belgilanadi

Loyiha papkalari


maktab-pipeline/
  data/
    raw/      # asl fayllar, o'zgartirilmaydi
    bronze/   # minimal ishlov
    silver/   # tozalangan
    gold/     # biznes uchun tayyor
  src/
  logs/
Raw qatlamdagi fayllarni hech qachon tahrirlamang: xato bo'lsa, qayta ishlash uchun asl nusxa kerak.

Mini-test

Data Lake da ma'lumot qanday saqlanadi?

Xom, tuzilmasiz ham mumkin.
02

Bronze, Silver, Gold

Medallion qatlamlari

Sifat oshadi

Raw Bronze:minimal Silver: toza Gold: biznes Har qatlam o'z vazifasiga ega

Raw dan Gold gacha


bronze = pd.read_csv("data/raw/maktab.csv", dtype=str)

silver = bronze.drop_duplicates().dropna().copy()
silver["oquvchilar"] = silver["oquvchilar"].astype(int)

gold = silver.groupby("yil", as_index=False)["oquvchilar"].sum()
Tozalash qoidasini (dropna, drop_duplicates) hujjatlang: Silver da nima tashlab yuborilganini keyin tushuntira olishingiz kerak.

Mini-test

Tozalangan va tekshirilgan qatlam?

Silver: dublikat va bo'sh qiymatlar boshqarilgan.
03

DWH va Lake

Lakehouse

Birga ishlash

Lake: xom Bronze, Silver DWH / Gold BI va ML Lake xom ma'lumotni, DWH hisobotni boshqaradi

Gold ni saqlash


gold.to_csv("data/gold/oquvchilar_yillik.csv", index=False)
print(gold.to_string(index=False))
#  yil  oquvchilar
# 2024      932000
Real loyihada Gold va Silver ko'pincha Parquet formatda saqlanadi; bu yerda soddalik uchun CSV ishlatildi.

Mini-test

Lakehouse nima?

Lake va DWH birgalikda.

DWH va Data Lake

DWH

Tuzilmali, tozalangan, schema-on-write, hisobot va BI uchun
VS

Data Lake

Xom, har xil format, schema-on-read, ML va saqlash uchun

Ikkalasi bir-birini to'ldiradi.

Atamalar. Bosing

Bronze

bosing

Minimal ishlov bilan xom qatlam

Silver

bosing

Tozalangan qatlam

Gold

bosing

Biznes uchun tayyor qatlam

Lakehouse

bosing

Lake + DWH birligi

Oqim qurish

1. Papkalar

raw, bronze, silver, gold.

2. Tozalash

Dublikat va bo'sh qiymatlar.

3. Jamlash

Gold da yillik jami.

DWH va Data Lake

BelgiDWHData Lake
Ma'lumottuzilmalihar xil
Schemayozishdao'qishda
Narxyuqoriroqarzon
FoydalanuvchiBI tahlilchimuhandis, ML
Xavfqat'iybotqoq

Pastga bosing: tekshirish

Kichik oqim

  1. data/raw/maktab.csv yarating (4 qator, 1 dublikat, 1 bo'sh).
  2. Bronze, Silver, Gold ni yuqoridagi kod bilan yarating.
  3. Har qatlamdagi qatorlar sonini solishtiring.

Silver ga o'tish


bronze = pd.read_csv("data/raw/maktab.csv", dtype=str)

Silver ga o'tish


silver = bronze.drop_duplicates().dropna().copy()
silver["oquvchilar"] = silver["oquvchilar"].astype(int)

Lake raqamlarda

0
ta asosiy qatlam: Bronze, Silver, Gold
0
ta papka: raw, bronze, silver, gold
0
tizim birga: Lake va DWH

Qatlamlar uslubiy ko'rsatmadagi papkalar tuzilmasiga mos.

Amaliy topshiriq 20 daqiqa

OsonQatlamni toping: Quyidagi har amal qaysi qatlamda bajariladi: dublikatlarni olib tashlash; yillik jami hisoblash; asl faylni saqlash?
OsonLake yoki DWH: «Ijtimoiy tarmoqdagi rasmlar va loglar» va «yillik KPI hisoboti» qayerda saqlanadi?
O'rtaPapkalar: maktab-pipeline papkalarini yarating va vazifasini yozing.
O'rtaSilver yozing: Bronze dagi dublikat va bo'sh qatorlarni olib tashlab, oquvchilar ni int qiling.
QiyinGold yozing: Silver dan yillik jami o'quvchilarni hisoblang.
BonusLakehouse: Lakehouse nima va kim uchun foydali? 2 jumlada yozing.

Dars xulosasi

Data Lake

Xom, har xil format, schema-on-read.

Qatlamlar

Bronze: minimal; Silver: toza; Gold: biznes.

Lake va DWH

Birga ishlaydi; Lakehouse ikkalasini birlashtiradi.

Uyga vazifa: raw dan gold gacha kichik oqim.

Keyingi dars: 7-hafta

keyingi mavzu: kartaga qarang

7-hafta · 19-dars