AXV

Ma’lumotlarni Tozalash (Data Cleaning)

Nuqsonli ma'lumotlarni tozalash, matn vositalari va Power Query ETL

9-sinfBusiness Intelligence3-hafta · 7-dars
01

Data Cleaning va Ma'lumot Sifati

Xatoliklar, anomaliyalar va universal GIGO tamoyili

Nega Ma'lumotlarni Tozalash Muhim?

Vaqtning 80% Qismi

Tahlilchilar o'z ish vaqtining asosiy qismini ma'lumotlarni tozalash va tayyorlashga sarflaydi.

Chunki real dunyodagi xom ma'lumotlar doimo iflos va tartibsiz bo'ladi.

GIGO Tamoyili

Garbage In, Garbage Out: xato ma'lumotdan to'g'ri qaror chiqarib bo'lmaydi!

Toza ma'lumot — muvaffaqiyatli tahlilning 90% garovidir.

Data Cleaning jarayoni

Xom Dataset Xatolar, dublikatlar ETL Quvuri Tozalash Amallari TRIM + PROPER Dublikatlarni o'chirish Toza Baza Tahlilga tayyor

Keng tarqalgan ma'lumot nuqsonlari

Ortiqcha Bo'shliqlar

So'z boshida, oxirida yoki orasida ko'rinmas ortiqcha probellar.

Formula taqqoslashini buzadi.

Harf Registri

Bir xil so'z turli xil katta-kichik harflarda kiritilgani.

Guruhlashda muammo tug'diradi.

Dublikat Yozuvlar

Aynan bir xil xaridor yoki buyurtmaning ikki marta yozilishi.

Hajmni sun'iy oshiradi.

02

Excel Matn Vositalari

TRIM, PROPER, Flash Fill (Ctrl+E) va Text-to-Columns

TRIM, CLEAN va PROPER funksiyalari

=TRIM(text)

So'zlar orasidagi bitta bo'shliqdan tashqari barcha ortiqcha probellarni yo'qotadi.

Boshidagi va oxiridagi bo'shliqlarni to'liq tozalaydi.

=PROPER(text)

Har bir so'zning birinchi harfini katta, qolganlarini kichik harfga aylantiradi.

Ism-familiyalarni chiroyli standartga keltiradi.

Matn funksiyalari anatomiyasi

Xom qiymat (A2) " alisher navoiy " (Probellar va kichik harf) Formula Natija (B2) "Alisher Navoiy" =PROPER(TRIM(A2))

Flash Fill (Ctrl + E) — Aqlli to'ldirish

Sun'iy Intellekt Tezligi

Birinchi qatorga namunani yozasiz va Ctrl + E ni bosasiz.

Excel qolgan yuzlab qatorlarni namuna asosida o'zi ajratib beradi.

Qo'llanish sohalari

  • To'liq ismdan faqat familiyani ajratish
  • Telefon raqamlariga chiziqcha qo'shish
  • Email ichidan faqat domen nomini olish

Text-to-Columns (Matnni ustunlarga bo'lish)

1. Diapazonni tanlash

Ajratilishi kerak bo'lgan matnli ustun belgilanadi.

2. Ajratgich (Delimiter)

Vergul, probel, defis yoki nuqta-vergul tanlanadi.

3. Tayyor ustunlar

Bitta katakdagi matn bir nechta alohida ustunlarga tushadi.

Interaktiv sinov: Vositalarni toping

1-Vaziyat

"Ism-familiya yozilgan ustundan bitta tugma bilan faqat ismlarni alohida ustunga chiqarish kerak".

bosing

Yechim: Flash Fill (Ctrl + E)

Yangi ustunga bitta ismni yozib Ctrl+E bosilsa, qolgan barcha ismlar avtomatik to'ldiriladi.

2-Vaziyat

"Tovar nomlarining boshidagi va oxiridagi ko'rinmas bo'shliqlarni yo'qotish kerak".

bosing

Yechim: =TRIM()

TRIM funksiyasi barcha ortiqcha bo'sh joylarni bitta formulada tozalab tashlaydi.

03

Power Query Muhitida Tozalash

Takrorlanuvchi avtomatlashtirilgan ETL bosqichlari

Power Query Ish Oqimi

Manba (Excel/CSV) Data > From Sheet Power Query Editor Applied Steps (Tarix) Split, Clean, Replace Close & Load Excelga qaytarish

Applied Steps va Avtomatik Refresh

Applied Steps (Qadamlar)

Bajarilgan har bir tozalash amali ro'yxat bo'lib saqlanadi.

Istalgan qadamni bekor qilish yoki qayta sozlash mumkin.

Bir Bosishda Yangilash

Yangi oy ma'lumotlari kelganda, faqat Refresh bosiladi.

Barcha tozalash amallari 1 soniyada avtomatik qayta ishlaydi.

Sxema: Power Query amallari

1. Trim & Clean 2. Replace Values 3. Remove Duplicates

Sxema bloklari ustiga sichqonchani olib boring yoki bosing.

Dublikatlarni o'chirish qoidasi

Katta-kichik harfga sezgirlik (Case Sensitivity)

Power Query'da standart dublikatlarni o'chirish harf registriga qaraydi. Harflarning katta-kichikligiga qaramasdan tozalash uchun formulaga Comparer.OrdinalIgnoreCase qo'shiladi.

Tezkor Sinov: TRIM funksiyasi

Quyidagi matnga TRIM qo'llanganda nima hosil bo'ladi: " Toshkent shahri "?

To'g'ri javob: "Toshkent shahri"! Boshidagi va oxiridagi bo'shliqlar yo'qoladi, so'zlar orasida esa faqat 1 ta probel qoladi.

Tezkor Sinov: Flash Fill tugmasi

Excelda Flash Fill (Tezkor to'ldirish) funksiyasini ishga tushiruvchi klaviatura birikmasi qaysi?

To'g'ri javob: Ctrl + E namunani ilg'ab butun ustunni to'ldiradi!

Amaliy topshiriqlar 20 daqiqa

OsonIsmlar ro'yxatidagi ortiqcha probellarni TRIM va PROPER orqali tozalang.
O'rtaFlash Fill (Ctrl+E) orqali telefon raqamlaridan kompaniya kodlarini ajrating.
QiyinText-to-Columns vositasi orqali to'liq manzillarni shahar, tuman va uy raqamiga bo'ling.

Dars xulosasi

Matn Vositalari

  • TRIM — bo'shliqlarni tozalash
  • PROPER — katta-kichik harflar
  • Flash Fill (Ctrl+E) — aqlli namuna
  • Text-to-Columns — ajratish

Power Query Kuchi

  • Applied Steps — qayd etilgan tarix
  • Replace Values — bo'sh qiymatlar
  • Bir bosishda avtomatik yangilash