Bab 18: EDA sebagai Kebiasaan

Apa Itu EDA dan Kenapa Menjadi Kebiasaan Penting

EDA, singkatan dari Exploratory Data Analysis, adalah proses menjelajahi dan memahami karakteristik sebuah dataset secara mendalam, sebelum melangkah ke analisis yang lebih kompleks atau mengambil kesimpulan apa pun darinya. EDA bukan sekadar langkah formalitas yang dilakukan sekilas, melainkan kebiasaan fundamental yang seharusnya selalu dilakukan setiap kali kamu mendapatkan dataset baru, tidak peduli seberapa berpengalaman kamu sudah menjadi seorang Data Analyst.

Bayangkan kamu mendapatkan data transaksi Belanjain yang baru, dan tanpa melakukan EDA terlebih dahulu, kamu langsung melompat untuk menjawab pertanyaan bisnis spesifik, misalnya menghitung rata-rata nilai transaksi per kategori produk. Jika ternyata dalam data tersebut ada beberapa nilai transaksi yang sangat ekstrem, misalnya karena kesalahan input yang menuliskan angka nol tambahan sehingga nilai transaksi yang seharusnya 500 ribu tercatat sebagai 5 juta, rata-rata yang kamu hitung akan terdistorsi signifikan oleh nilai ekstrem tersebut, tanpa kamu sadari kesalahan itu ada. EDA berfungsi sebagai "pemeriksaan kesehatan" data sebelum dianalisis lebih jauh, membantu kamu menemukan masalah semacam ini sejak dini, sebelum masalah tersebut merembet ke kesimpulan akhir yang keliru.

EDA erat kaitannya dengan tahap Data Understanding pada kerangka kerja CRISP-DM yang sudah dipelajari di Bab 2, namun dengan penekanan lebih pada eksplorasi statistik yang lebih mendalam, tidak hanya sekadar mengenali struktur kolom dan tipe data seperti pembahasan awal di Bab 2, melainkan benar-benar memahami pola, sebaran, dan karakteristik numerik dari data tersebut.

Distribusi Data: Memahami Sebaran Nilai

Salah satu konsep paling mendasar dalam EDA adalah memahami distribusi, yaitu bagaimana nilai-nilai dalam sebuah variabel tersebar. Memahami distribusi sebuah variabel numerik penting karena membantu kamu mengetahui apakah data tersebut tersebar merata, terkonsentrasi pada nilai tertentu, atau memiliki pola sebaran yang tidak biasa yang perlu ditelusuri lebih lanjut.

Sebagai ilustrasi dalam konteks Belanjain, bayangkan kamu memeriksa distribusi nilai transaksi seluruh pelanggan dalam satu bulan. Kamu mungkin menemukan bahwa mayoritas transaksi bernilai antara 50 ribu hingga 300 ribu, dengan sedikit transaksi yang nilainya sangat besar, mencapai jutaan rupiah. Pola sebaran seperti ini, di mana mayoritas data terkonsentrasi pada nilai kecil hingga menengah, namun terdapat "ekor" panjang dari sedikit nilai yang sangat besar, adalah pola yang sangat umum ditemui dalam data transaksi bisnis, dan memahami pola ini sejak awal akan sangat memengaruhi cara kamu memilih metrik ringkasan yang tepat, sebuah topik yang akan dibahas lebih dalam pada bagian central tendency berikutnya.

Cara paling umum untuk memvisualisasikan distribusi sebuah variabel numerik adalah menggunakan histogram, sesuai yang sudah dipelajari pada Bab 14, di mana sumbu X dibagi menjadi beberapa rentang nilai, dan tinggi setiap batang menunjukkan seberapa banyak data yang jatuh dalam rentang tersebut. Memeriksa histogram sebuah variabel sebelum menganalisisnya lebih lanjut adalah salah satu kebiasaan EDA paling dasar dan paling sering dilakukan.

Central Tendency: Mean, Median, dan Modus

Central tendency adalah kumpulan metrik yang berusaha merepresentasikan "pusat" atau nilai tipikal dari sebuah kumpulan data, dan terdapat tiga metrik utama yang perlu dipahami perbedaannya secara mendalam, karena ketiganya bisa memberikan gambaran yang sangat berbeda tergantung karakteristik distribusi data yang sedang dianalisis.

Mean (rata-rata) dihitung dengan menjumlahkan seluruh nilai dalam sebuah kumpulan data, kemudian membaginya dengan jumlah data tersebut, sesuai dengan fungsi AVERAGE yang sudah dipelajari pada Spreadsheet maupun AVG pada SQL. Mean adalah metrik yang paling umum dipakai, namun memiliki kelemahan penting yaitu sangat sensitif terhadap nilai ekstrem (disebut outlier), sesuai ilustrasi yang sudah dibahas sebelumnya mengenai kesalahan input data transaksi.

Median adalah nilai tengah dari sebuah kumpulan data yang sudah diurutkan dari terkecil hingga terbesar. Jika jumlah data ganjil, median adalah nilai yang tepat berada di posisi tengah, namun jika jumlah data genap, median dihitung sebagai rata-rata dari dua nilai yang berada di tengah. Keunggulan utama median dibanding mean adalah ketahanannya terhadap nilai ekstrem, karena median hanya memperhatikan posisi nilai, bukan besaran nilainya secara langsung. Sebagai ilustrasi, jika sembilan pelanggan Belanjain berbelanja dengan nilai antara 50 ribu hingga 200 ribu, namun satu pelanggan lainnya secara ekstrem berbelanja senilai 50 juta (mungkin membeli barang elektronik mahal dalam jumlah banyak), mean dari kesepuluh transaksi ini akan terdorong naik sangat drastis oleh satu nilai ekstrem tersebut, sementara median akan tetap merepresentasikan nilai yang jauh lebih mencerminkan transaksi tipikal mayoritas pelanggan.

Modus adalah nilai yang paling sering muncul dalam sebuah kumpulan data. Berbeda dengan mean dan median yang lebih cocok untuk data numerik kontinu, modus sangat berguna untuk data kategorikal, misalnya untuk mengetahui metode pembayaran apa yang paling sering dipakai pelanggan Belanjain, atau kategori produk apa yang paling sering dibeli. Modus juga bisa dipakai pada data numerik, meskipun kurang umum dibanding mean dan median, terutama ketika kamu ingin mengetahui nilai spesifik yang paling sering muncul berulang, bukan sekadar nilai tengah atau rata-ratanya.

Memahami kapan sebaiknya memakai mean dibanding median menjadi keterampilan penting bagi seorang Data Analyst. Sebagai panduan umum, ketika distribusi data relatif simetris tanpa nilai ekstrem yang signifikan, mean dan median akan menghasilkan angka yang mirip, sehingga keduanya bisa dipakai secara bergantian. Namun ketika distribusi data memiliki nilai ekstrem yang cukup banyak atau signifikan, seperti pada data nilai transaksi yang sering kali memiliki sedikit transaksi bernilai sangat besar, median umumnya menjadi pilihan yang lebih representatif dibanding mean, karena tidak mudah terdistorsi oleh nilai-nilai ekstrem tersebut.

Spread: Range, Variance, dan Standard Deviation

Selain central tendency yang merepresentasikan "pusat" data, penting juga memahami spread (sebaran), yaitu seberapa jauh nilai-nilai dalam sebuah kumpulan data tersebar dari nilai pusatnya. Dua kumpulan data bisa memiliki mean yang persis sama, namun memiliki karakteristik yang sangat berbeda jika salah satunya tersebar sangat luas sementara yang lain terkonsentrasi rapat di sekitar nilai rata-ratanya.

Range adalah metrik spread paling sederhana, dihitung dengan mengurangkan nilai maksimum dengan nilai minimum dalam sebuah kumpulan data. Sebagai ilustrasi, jika nilai transaksi terendah Belanjain dalam sebulan adalah 20 ribu dan nilai tertinggi adalah 10 juta, range-nya adalah 9.980.000. Meskipun mudah dihitung, range memiliki kelemahan karena hanya memperhatikan dua nilai ekstrem (minimum dan maksimum), tanpa mempertimbangkan bagaimana sebaran nilai-nilai lain di antara keduanya.

Variance adalah metrik yang mengukur rata-rata dari kuadrat selisih setiap nilai data terhadap mean-nya, memberikan gambaran yang lebih menyeluruh mengenai sebaran data dibanding range, karena memperhitungkan seluruh nilai dalam kumpulan data, bukan hanya nilai ekstremnya saja. Semakin besar variance, semakin tersebar luas data tersebut dari nilai rata-ratanya, sementara variance yang kecil menunjukkan data yang cenderung terkonsentrasi rapat di sekitar mean.

Standard deviation (simpangan baku) adalah akar kuadrat dari variance, dan menjadi metrik spread yang paling umum dipakai dalam praktik karena satuannya sama dengan satuan data aslinya, berbeda dengan variance yang satuannya berupa kuadrat dari satuan asli (misalnya jika data dalam satuan Rupiah, variance akan bersatuan Rupiah kuadrat, yang secara intuitif sulit dipahami maknanya), sehingga standard deviation jauh lebih mudah diinterpretasikan secara langsung.

Sebagai ilustrasi penerapan standard deviation dalam konteks Belanjain, bayangkan rata-rata nilai transaksi pelanggan adalah 200 ribu, dengan standard deviation sebesar 50 ribu. Ini berarti mayoritas nilai transaksi pelanggan berada dalam rentang yang relatif tidak terlalu jauh dari 200 ribu, kira-kira antara 150 ribu hingga 250 ribu untuk sebagian besar data. Jika sebaliknya standard deviation-nya ternyata 500 ribu, meskipun rata-ratanya tetap 200 ribu, ini menandakan nilai transaksi pelanggan sangat bervariasi, ada yang jauh di bawah rata-rata dan ada yang jauh di atasnya, sebuah karakteristik data yang sangat berbeda meskipun mean-nya sama persis.

Membaca Karakteristik Data Melalui Ketiga Metrik Bersama

Kekuatan sebenarnya dari central tendency dan spread terlihat ketika keduanya dibaca bersama-sama, bukan secara terpisah. Sebagai ilustrasi, bayangkan tim manajemen Belanjain membandingkan performa penjualan dua kategori produk, Fashion dan Elektronik, dan keduanya memiliki rata-rata nilai transaksi yang sama persis, katakanlah 300 ribu. Tanpa melihat metrik spread, kedua kategori ini mungkin terlihat "sama" performanya dari sisi nilai transaksi rata-rata.

Namun ketika ditelusuri lebih dalam, ternyata kategori Fashion memiliki standard deviation yang kecil, menandakan mayoritas transaksinya memang berkisar di angka 300 ribu, relatif konsisten antar pelanggan. Sementara kategori Elektronik memiliki standard deviation yang jauh lebih besar, menandakan ada kombinasi antara pelanggan yang berbelanja dengan nilai sangat kecil (misalnya aksesoris murah) dan pelanggan yang berbelanja dengan nilai sangat besar (misalnya laptop atau smartphone mahal), yang secara kebetulan rata-ratanya sama dengan Fashion meskipun karakteristik sebaran datanya sangat berbeda. Perbedaan karakteristik seperti ini memiliki implikasi bisnis yang berbeda, misalnya strategi pemasaran yang cocok untuk kategori dengan sebaran nilai konsisten seperti Fashion belum tentu cocok diterapkan pada kategori dengan sebaran nilai yang sangat bervariasi seperti Elektronik.

Menjadikan EDA sebagai Kebiasaan Rutin

Sebagai penutup bab ini, penting ditekankan bahwa EDA bukan sekadar teknik yang dipelajari sekali lalu dilupakan, melainkan kebiasaan yang seharusnya selalu dilakukan setiap kali kamu mendapatkan dataset baru, sebelum melangkah ke analisis yang lebih kompleks apa pun. Langkah paling dasar yang sebaiknya selalu dilakukan di awal adalah memeriksa central tendency (mean, median, modus) dan spread (range, standard deviation) dari variabel-variabel numerik utama dalam dataset tersebut, sekaligus memvisualisasikan distribusinya melalui histogram, sesuai yang sudah dibahas sepanjang bab ini.

Kebiasaan ini mungkin terasa memakan waktu tambahan di awal, terutama ketika kamu sudah tidak sabar ingin langsung menjawab pertanyaan bisnis yang sebenarnya. Namun waktu yang diinvestasikan dalam EDA yang teliti di awal akan menghemat waktu jauh lebih banyak di kemudian hari, karena mencegah kamu mengambil kesimpulan yang keliru akibat tidak menyadari adanya nilai ekstrem, distribusi yang tidak biasa, atau karakteristik data lain yang seharusnya bisa terdeteksi sejak awal melalui EDA yang konsisten dilakukan.