10-sinf (BI & ML)

BI (Ma'lumotlar muhandisligi va ML)

34 hafta102 darshaftasiga 3 dars · 80 daqiqa6 / 34 hafta tayyor

I chorak

1–9-haftalar

1hafta

I-bob · Ma’lumotlar muhandisligiga kirish va ma’lumotlarni boshqarish

1-darsMa’lumotlar muhandisligiga kirish (DIKW piramidasi, Data Engineer roli, Data Pipeline)
2-darsMa'lumotlar arxitekturasi va hayot sikli (6 qatlam, 7 bosqich, Data Quality mezonlari)
3-darsMa’lumot formatlari: CSV va JSON bilan ishlash (Tabular vs Nested, Medallion arxitekturasi)

2hafta

I-bob · Ma’lumotlar muhandisligiga kirish va ma’lumotlarni boshqarish

4-darsMa’lumot formatlari: Parquet va Columnar saqlash formati (Snappy siqish, CSV vs Parquet)
5-darsMa’lumot formatlari: Avro va formatlarni chuqur taqqoslash
6-darsMa’lumotlar bazalari: konsept va tuzilma. Relatsion ma’lumotlar bazasi (RDBMS) asoslari

3hafta

I-bob · Ma’lumotlar muhandisligiga kirish va ma’lumotlarni boshqarish

7-darsRelyatsion jadvallar, Primary Key, Foreign Key va relyatsion yaxlitlik
8-darsR-diagrammalar (ERD) loyihalash va SQLite bilan ishlash
9-darsSQL analitik operatorlari: SELECT, WHERE, ORDER BY, LIMIT asoslari

4hafta

I-bob · Ma’lumotlar muhandisligiga kirish va ma’lumotlarni boshqarish

10-darsSQL analitik operatorlari: GROUP BY va HAVING bilan ma'lumotlarni guruhlash
11-darsSQL JOIN turlari (INNER, LEFT, RIGHT, FULL) va amaliy tahlil
12-darsSubquery, CTE (WITH) va CASE WHEN operatorlari

5hafta

I-bob · Ma’lumotlar muhandisligiga kirish va ma’lumotlarni boshqarish

13-darsMa'lumotlar modellashtirish: Kimball metodologiyasi, Star Schema va Snowflake Schema
14-darsFakt (Fact) va O'lcham (Dimension) jadvallarini loyihalash
15-darsData Mart tushunchasi va sohaga oid martlar yaratish

6hafta

I-bob · Ma’lumotlar muhandisligiga kirish va ma’lumotlarni boshqarish

16-darsSekin o'zgaruvchi o'lchamlar (SCD Type 1, Type 2) va surrogat kalitlar
17-darsMa'lumotlar ombori: Data Warehouse (DWH) tushunchasi, arxitekturasi va afzalliklari
18-darsData Lake konsepsiyasi, Bronze / Silver / Gold zonalari

7hafta

I-bob · Ma’lumotlar muhandisligiga kirish va ma’lumotlarni boshqarish

19-darsData Warehouse vs Data Lake vs Modern Lakehouse arxitekturasi
20-darsETL va ELT asoslari: farqi, afzalliklari va zamonaviy qo'llanilishi
21-darsOn-premise va Cloud infratuzilmalarda ETL/ELT jarayonlari

8hafta

I-bob · Ma’lumotlar muhandisligiga kirish va ma’lumotlarni boshqarish

22-darsData Lake va Data Warehouse integratsiyasi (Data Pipeline amaliyoti)
23-darsMedallion arxitekturasida ELT jarayonlarini tashkil qilish
24-darsMa’lumotlarni boshqarish: Monitoring va Observability tushunchalari

9hafta

I-bob · Ma’lumotlar muhandisligiga kirish va ma’lumotlarni boshqarish

25-darsLogging tizimlari va xatoliklarni qayd etish
26-darsData Validation: Sifat nazorati va avtomatlashtirilgan testlar
27-dars1-nazorat ishi: Data Engineering asoslari va amaliy loyiha himoyasi

II chorak

10–16-haftalar

10hafta

II-bob · Ma’lumotlar oqimi va avtomatlashtirish

28-darsBig Data mazmuni: 3V/5V tamoyillari va taqsimlangan hisoblashlar
29-darsApache Spark arxitekturasi: Driver, Executor, Cluster Manager
30-darsPySpark asoslari va RDD tushunchasi

11hafta

II-bob · Ma’lumotlar oqimi va avtomatlashtirish

31-darsPySpark DataFrame API va asosiy operatsiyalar
32-darsPySpark yordamida katta ma'lumotlarni tozalash va sifatini boshqarish
33-darsUstunlar darajasida transformatsiyalar va ma'lumot turlarini o'zgartirish

12hafta

II-bob · Ma’lumotlar oqimi va avtomatlashtirish

34-darsDatasetlarni boyitish, birlashtirish (Joins) va agregatsiyalar
35-darsPySpark bilan End-to-End Pipeline qurish va optimallashtirish
36-darsdbt (Data Build Tool): Zamonaviy ELT transformatsiyalar va dbt arxitekturasi

13hafta

II-bob · Ma’lumotlar oqimi va avtomatlashtirish

37-darsdbt SQL modellari, Jinja templating va model logikasi
38-darsdbt models arxitekturasi: Staging, Intermediate, Marts va Tests
39-darsApache Airflow: Arxitektura, Scheduler, Webserver va Workerlar

14hafta

II-bob · Ma’lumotlar oqimi va avtomatlashtirish

40-darsAirflow DAGs, Operatorlar va Tasklar bilan ishlash
41-darsAirflow Workflow Orchestration, Dependencies va Scheduling
42-darsAirflow va dbt Pipeline integratsiyasi asoslari

15hafta

II-bob · Ma’lumotlar oqimi va avtomatlashtirish

43-darsBashOperator va DbtOperator yordamida dbt modellarini Airflow'da ishga tushirish
44-darsAirflow'da XCom, Lineage va vazifalar o'rtasida metadata almashish
45-darsAzure Data Factory: Cloud Orchestration va integratsiya asoslari

16hafta

II-bob · Ma’lumotlar oqimi va avtomatlashtirish

46-darsADF Linked Services, Datasets va Copy Activity bilan ma'lumot yuklash
47-darsADF Mapping Data Flows, Triggers va Cloud Monitoring
48-dars2-nazorat ishi: Big Data pipeline va orkestratsiya loyihasi