Ma'lumotlar Arxitekturasi va Hayot Sikli

Tizimning Bosh Loyihasi

Data Architecture — ma'lumot qayerdan keladi, qayerda saqlanadi, qanday tozalanadi va kimga taqdim etiladi degan savollarga to'liq javob beruvchi loyihadir.

U infratuzilmaning masshtablanuvchanligi (scalability) va ishonchliligini (reliability) ta'minlaydi.

Nega arxitektura zarur?

Agar tizim tartibsiz qurilsa, ma'lumotlar yo'qoladi, xatolar ko'payadi va tahliliy dashboardlar yolg'on ko'rsatkichlarni ko'rsata boshlaydi.

To'g'ri arxitektura — toza ma'lumot va tezkor biznes qarorlari garovidir.

1. Source Layer (Manbalar)

Ma'lumotlar dastlabki shakllangan joy:

• LMS / SIS maktab boshqaruv tizimlari;
• O'qituvchilar Excel/CSV jurnallari;
• Tashqi davlat statistik portallari;
• Internet tarmog'i va API so'rovlari.

2. Ingestion Layer (Yig'ish)

Ma'lumotlarni qabul qilish va yuklash mexanizmi:

• Batch ingestion: Ma'lumotlarni ma'lum vaqt oralig'ida (har tun, har soat) to'plam tarzida olish;
• Streaming: Hodisalar real vaqt rejimida sekundma-sekund qabul qilinadi;
• File import: CSV/JSON fayllarni qo'lda yoki skript orqali yuklash.

3. Storage (Saqlash)

Raw Zone (Data Lake): Xom fayllar o'zgartirilmasdan asl holicha arxivlanadi.

Data Warehouse (DWH): Tozalangan, strukturalangan va tahlilga mos relyatsion ombor.

Xom nusxa doimo saqlanishi shart: agar xatolik yuz bersa, qayta tiklash mumkin.

4. Processing (Qayta ishlash)

Xom ma'lumotni biznes talablariga moslash:

• Validation: Format, diapazon va null qiymatlarni tekshirish;
• Cleaning: Dublikatlarni o'chirish, bo'shliqlarni to'ldirish;
• Transformation: Nisbatlar, yuklamalar va yillik o'sishlarni hisoblash.

5. Serving (Taqdim etish)

Qayta ishlangan ma'lumot iste'molchilarga beriladi:

• Data Marts: Aniq bo'limlar uchun mo'ljallangan ixtisoslashgan kichik omborlar;
• BI Dashboards: Direktor va tahlilchilar uchun grafiklar (Power BI, Tableau);
• ML Datasets: Sun'iy intellekt modellarini o'qitish uchun toza data.

6. Governance & Observability

Butun infratuzilmaning nazorati:

• Monitoring: Pipeline ishlashi va yuklama kechikishini kuzatish;
• Logging: Xatolar va harakatlar tarixini qayd qilish;
• Access Control: Ma'lumotlar xavfsizligi va huquqlarni boshqarish.

Uzluksiz Aylanma Jarayon

Ma'lumot tizimga bir marotaba kirib yo'qolib ketmaydi. U bir necha bosqichdan o'tib, yangilanadi, tekshiriladi va turli maqsadlarda qayta-qayta ishlatiladi.

7 Asosiy Bosqich

1. Collect → 2. Store → 3. Validate → 4. Transform → 5. Serve → 6. Monitor → 7. Archive

Har bir bosqichda sifat va xavfsizlik nazorati amalga oshiriladi.

Platformaning Maqsadi

O'zbekiston maktablarida o'quvchilar, o'qituvchilar va moddiy-texnik resurslarni to'g'ri taqsimlash uchun yagona tahliliy tizim qurish.

Tizim 14 ta hudud, 10 000 dan ortiq maktab va 6 milliondan ziyod o'quvchi ma'lumotlarini qayta ishlaydi.

Asosiy Foydalanuvchi Rollari

• Direktor / MMTB rahbari: Strategik resurs boshqaruvi;
• Analitik: Trendlar, yillik o'sish va reytinglar;
• Administrator (Data Operator): Pipeline, tozalash va sifat nazorati.

Direktor Maqsadi va Ehtiyoji

Resurs yuklamasini baholash va muammoli hududlarni zudlik bilan aniqlash:

• Qaysi hududlarda o'quvchi/maktab yuklamasi haddan tashqari yuqori?
• Qaysi maktablarda o'quvchi/o'qituvchi nisbati kadr yetishmovchiligini ko'rsatmoqda?
• Bitiruvchilar soni dinamikasi qanday o'zgaryapti?

Kerakli Vositalar

Direktor kod yozmaydi, u interaktiv ko'rsatkichlarga tayanadi:

• KPI kartalari (Jami o'quvchilar, maktablar, o'qituvchilar);
• Hudud va yil bo'yicha tezkor filtrlar;
• Resurs yuklamasi reytingi va hisobotni (PDF/Excel) yuklab olish.

Analitik Maqsadi

Chuqur tahlil va sabab-oqibat bog'liqliklarini o'rganish:

• YoY (Year-over-Year): O'quvchilar sonining yillik o'sish foizini hisoblash (LAG funksiyasi);
• RANK: Hududlarni ta'lim sifati va yuklamasi bo'yicha saralash;
• Moving Average: 3 yillik harakatlanuvchi o'rtacha qiymat orqali barqaror trendni topish.

Ish Qurollari

Analitik DWH va Serving qatlamidagi tayyor jadvallar bilan ishlaydi:

SELECT region, year,
  AVG(students) OVER(
    ORDER BY year ROWS 2 PRECEDING
  ) AS moving_avg_3yr
FROM school_stats;

Administrator Mas'uliyati

Data Pipeline ning to'xtovsiz va toza ishlashini ta'minlash:

• Xom fayllarni data/raw/ papkasiga qabul qilish;
• Raw Profiling: Satrlar soni, ustunlar turlari va shaklini tekshirish;
• Validation: Duplikatlar, null qiymatlar va manfiy sonlarni aniqlash;
• Tozalangan ma'lumotni Parquet formatga o'tkazib DWH ga yuklash.

Monitoring va Nazorat

Administrator har bir yuklash operatsiyasidan so'ng quyidagilarni tekshiradi:

• Satrlar soni o'zgarmadimi yoki yo'qoldimi?
• Xatoliklar logi (Error logs) bo'sh ekanligi;
• Pipeline bajarilish vaqti va xotira iste'moli.

Validation Tekshiruvi

• Faylda qatorlar soni manbadan kam chiqib qolmadimi?
• ID ustunida duplikatlar bormi?
• O'quvchilar va o'qituvchilar soni noldan katta va musbatmi?
• Yil qiymati mantiqiy diapazondami (2000–2026)?

Biznes Mantiq Tekshiruvi

• O'quvchi / o'qituvchi nisbati juda katta (masalan 1000) chiqib ketmayaptimi?
• Hudud nomlari yagona klassifikatorga mos keladimi?
• Filtrlar tanlanganda ko'rsatkichlar to'g'ri yangilanadimi?
• Hisobotni Excel/CSV formatida yuklab olish ishlayaptimi?

Tozalash qoidalari

# Duplikatlarni o'chirish
df_clean = df.drop_duplicates()

# Manfiy qiymatlarni musbatga o'tkazish
df_clean['oquvchilar_soni'] = (
    df_clean['oquvchilar_soni'].abs()
)

# Yuklamani hisoblash
df_clean['yuklama'] = (
    df_clean['oquvchilar_soni'] / 
    df_clean['oqituvchilar_soni']
).round(1)

Serving qatlamiga tayyor data

Tozalangan va ko'rsatkichlari hisoblangan ma'lumot Parquet formatiga saqlanadi:

df_clean.to_parquet(
    'data/processed/maktab.parquet', 
    index=False
)

Endi Power BI va SQL bevosita ushbu toza fayl bilan ishlay oladi.

Bugun nimalarni bildik?

• Data Architecture 6 ta asosiy qatlamdan iboratligi;
• Data Lifecycle ning 7 ta bosqichi (Collect → Archive);
• Data Quality ning 4 ustuni (To'liqlik, Aniqlik, Izchillik, O'z vaqtidalik);
• Maktab loyihasida rollar va ssenariylarni loyihalash.

Keyingi darsda:

3-dars: Ma'lumot formatlari: CSV va JSON bilan ishlash

Satrli va ierarxik formatlar farqi, Python va Pandas yordamida o'qish, tahlil qilish hamda Medallion papka strukturasi.