Data Warehouse (DWH)

DWH ta'rifi, OLTP va OLAP, ETL, staging, qatlamlar, afzalliklar, texnologiyalar

10-sinfBI & ML6-hafta · 17-dars

Bugun nimalarni o'rganamiz?

DWH nima

Yagona haqiqat manbai

Arxitektura

Qatlamlar

Afzalliklar va texnologiyalar

Nega DWH

Takrorlash

Tarix kerak bo'lsa, qaysi SCD turi tanlanadi?

Type 2 yangi qator bilan tarixni saqlaydi.

DWH nima

Yagona haqiqat manbai

DWH xususiyatlari

OLTP va OLAP


OLTP (kundalik ish)          OLAP / DWH (tahlil)
- bitta qatorni o'zgartirish  - ko'p qatorni o'qish, jamlash
- tez, qisqa tranzaksiyalar   - murakkab so'rovlar
- joriy holat                 - tarix
- normallashgan jadvallar     - star schema (fakt + dimension)

DWH operatsion bazani almashtirmaydi: u undan nusxa oladi va tahlil uchun qayta tashkil qiladi.

Mini-test

DWH asosan nima uchun?

DWH tahlil va BI uchun.

Arxitektura

Qatlamlar

Ma'lumot yo'li

Qatlamlar (maktab misoli)


Manbalar:  qabul.csv, moliya.xlsx, kadrlar_baza
   |  ETL (Extract -> Transform -> Load)
Staging:   stg_qabul, stg_moliya      (xom nusxa)
   |
DWH:       dim_hudud, dim_maktab, fact_kpi
   |
Martlar:   mart_oquvchilar, mart_moliya
   |
BI:        hisobot, dashboard

Staging jadvalini hisobotda ishlatmang: u xom va tozalanmagan. Hisobot faqat DWH yoki martdan o'qiydi.

Mini-test

Staging qatlami nima?

Staging — xom nusxa.

Afzalliklar va texnologiyalar

Nega DWH

DWH foydasi

Kichik DWH (sqlite3)


-- Ikki manbadagi ma'lumotni DWH ga birlashtirish
INSERT INTO dw_oquvchilar (hudud, yil, oquvchilar)
SELECT hudud, yil, oquvchilar FROM stg_qabul
UNION ALL
SELECT hudud, yil, oquvchilar FROM stg_arxiv;

Birlashtirishdan oldin ustun nomlari va turlarini bir xil qiling: bu ETL ning Transform bosqichi.

Mini-test

Qaysi biri bulutdagi DWH texnologiyasi?

Snowflake, BigQuery, Redshift, Synapse.

Operatsion baza va DWH

Operatsion baza (OLTP)

Joriy holat, tez yozuv, normallashgan; tahlil so'rovi uni sekinlashtiradi

DWH

Tarix, integratsiya, star schema; tahlil uchun optimallashgan

Tahlil uchun alohida ombor qurish kerak.

Atamalar. Bosing

DWH

bosing

Tahlil uchun integratsiyalangan ombor

ETL

bosing

Extract, Transform, Load

Staging

bosing

Xom vaqtinchalik qatlam

OLAP

bosing

Tahliliy so'rovlar uchun model

Kichik DWH qurish

1. Extract

Manbalardan staging ga nusxa oling.

2. Transform

Nom va turlarni bir xil qiling.

3. Load

Tozalangan ma'lumotni DWH ga yozing.

OLTP va OLAP

Belgi	OLTP	OLAP / DWH
Maqsad	kundalik ish	tahlil
So'rov	qisqa, bitta qator	murakkab, ko'p qator
Ma'lumot	joriy holat	tarix
Model	normallashgan	star schema
Misol	qabul tizimi	maktab DWH

Pastga bosing: tekshirish

Ikki manbani birlashtirish

stg_qabul va stg_arxiv jadvallarini yarating.
Ustun nomlarini bir xil qiling.
UNION ALL bilan dw_oquvchilar ga yuklang.

Manbalarni birlashtirish


SELECT * FROM stg_qabul;
SELECT * FROM stg_arxiv;

Manbalarni birlashtirish


INSERT INTO dw_oquvchilar
SELECT hudud, yil, oquvchilar FROM stg_qabul
UNION ALL
SELECT hudud, yil, oquvchilar FROM stg_arxiv;

DWH raqamlarda

xususiyat: mavzu, integratsiya, tarix, barqarorlik

ta qatlam: manba, staging, DWH, mart, BI

ta ETL bosqichi: E, T, L

Qatlamlar soni soddalashtirilgan sxemadan.

Amaliy topshiriq 20 daqiqa

OsonDWH ta'rifi: DWH ni 2 jumlada ta'riflang va 4 xususiyatini sanang.

OsonOLTP yoki OLAP: «Bitta o'quvchini ro'yxatdan o'tkazish» va «3 yillik hudud kesimidagi hisobot» qaysi turga kiradi?

O'rtaQatlamlar: Maktab ma'lumoti uchun DWH oqimini 5 qatlamda yozing.

O'rtaStaging: Nima uchun manbadan to'g'ridan-to'g'ri DWH ga yuklamay, staging ishlatiladi?

QiyinIkki manba: stg_qabul va stg_arxiv ni dw_oquvchilar ga birlashtiring va 2024-yil jamini chiqaring.

BonusTexnologiya tanlash: Kichik tuman ta'lim bo'limi uchun DWH texnologiyasini tanlang va sababini yozing.

Dars xulosasi

DWH

Integratsiyalangan, tarixiy ombor.

Arxitektura

Manba, ETL, staging, DWH, mart, BI.

Texnologiya

Snowflake, BigQuery, Redshift, Synapse, PostgreSQL.

Uyga vazifa: kichik DWH ni qurish va qatlamlar sxemasi.

Keyingi dars: Data Lake

Bronze, Silver, Gold zonalari

6-hafta · 18-dars