Bab 19: EDA Bivariat & Penanganan Anomali

Dari Univariat Menuju Bivariat

Pada Bab 18, kamu sudah mempelajari cara memahami karakteristik satu variabel secara mendalam melalui central tendency dan spread, sebuah pendekatan yang disebut analisis univariat karena hanya melibatkan satu variabel dalam satu waktu. Namun pertanyaan bisnis yang sebenarnya sering kali melibatkan hubungan antara dua variabel atau lebih, misalnya apakah ada hubungan antara jumlah kunjungan website Belanjain dengan nilai transaksi yang dihasilkan, atau apakah kategori produk tertentu cenderung dibeli oleh pelanggan dengan rentang usia tertentu.

Analisis bivariat adalah pendekatan yang melihat hubungan antara dua variabel sekaligus, dan menjadi langkah lanjutan yang wajar setelah kamu memahami karakteristik masing-masing variabel secara terpisah melalui analisis univariat. Memahami hubungan antar variabel ini penting karena banyak pertanyaan bisnis yang sebenarnya bersifat relasional, bukan sekadar "berapa nilai rata-rata X", melainkan "apakah X memengaruhi Y", sebuah jenis pertanyaan yang tidak bisa dijawab hanya dengan analisis univariat saja.

Korelasi: Mengukur Kekuatan Hubungan Linear

Korelasi adalah metrik statistik yang mengukur seberapa kuat dan searah mana hubungan linear antara dua variabel numerik. Nilai korelasi berkisar antara -1 hingga 1, dengan angka mendekati 1 menandakan hubungan positif yang kuat (ketika satu variabel naik, variabel lainnya cenderung ikut naik), angka mendekati -1 menandakan hubungan negatif yang kuat (ketika satu variabel naik, variabel lainnya cenderung turun), dan angka mendekati 0 menandakan tidak ada hubungan linear yang jelas antara keduanya.

Sebagai ilustrasi dalam konteks Belanjain, bayangkan kamu menghitung korelasi antara jumlah kunjungan harian ke aplikasi dengan total nilai transaksi harian, dan mendapatkan angka korelasi 0.8. Angka ini menunjukkan hubungan positif yang cukup kuat, mengindikasikan bahwa hari-hari dengan kunjungan lebih banyak cenderung diikuti dengan nilai transaksi yang lebih besar pula, sebuah temuan yang masuk akal secara intuitif dan bisa menjadi dasar untuk strategi meningkatkan traffic sebagai salah satu cara mendorong penjualan.

Cara paling umum untuk memvisualisasikan hubungan antara dua variabel numerik adalah menggunakan scatter plot, sesuai yang sudah dipelajari pada Bab 14, di mana setiap titik merepresentasikan satu observasi, dan pola sebaran titik-titik tersebut secara visual bisa memberikan gambaran awal mengenai ada tidaknya hubungan antara kedua variabel, sebelum dikonfirmasi lebih lanjut melalui perhitungan angka korelasi yang presisi.

Korelasi Bukan Kausalitas

Salah satu kesalahan interpretasi paling umum dan paling berbahaya dalam analisis data adalah menyamakan korelasi dengan kausalitas (sebab-akibat). Sebuah angka korelasi yang tinggi antara dua variabel hanya menunjukkan bahwa keduanya bergerak bersamaan dengan pola tertentu, namun tidak serta merta membuktikan bahwa satu variabel benar-benar menyebabkan perubahan pada variabel lainnya. Prinsip ini sering diringkas dengan ungkapan "correlation does not imply causation", sebuah prinsip yang wajib dipegang teguh oleh setiap Data Analyst.

Sebagai ilustrasi kesalahan interpretasi ini, bayangkan Belanjain menemukan korelasi tinggi antara jumlah pesanan es krim yang terjual dengan jumlah kasus kram otot yang dilaporkan pelanggan yang berolahraga di luar ruangan. Apakah ini berarti membeli es krim menyebabkan kram otot? Tentu tidak masuk akal secara logis. Kemungkinan besar, ada variabel ketiga yang menjadi penyebab sesungguhnya di balik korelasi ini, yaitu cuaca panas, yang membuat orang lebih sering membeli es krim sekaligus lebih rentan mengalami dehidrasi dan kram otot saat berolahraga di cuaca panas tersebut. Variabel ketiga yang menjadi penyebab sesungguhnya di balik korelasi dua variabel lain seperti ini disebut sebagai confounding variable, dan keberadaannya adalah alasan utama kenapa korelasi tinggi tidak boleh langsung disimpulkan sebagai hubungan sebab-akibat tanpa penelusuran lebih lanjut.

Sebagai Data Analyst, ketika menemukan korelasi yang menarik antara dua variabel, sikap yang tepat adalah memperlakukannya sebagai temuan awal yang perlu ditelusuri lebih dalam, bukan langsung menyimpulkan hubungan sebab-akibat. Menyampaikan temuan korelasi kepada tim manajemen juga perlu dilakukan dengan bahasa yang hati-hati, misalnya menggunakan frasa seperti "berkaitan dengan" atau "cenderung diikuti oleh", dibanding frasa yang secara eksplisit mengklaim sebab-akibat seperti "menyebabkan" atau "mengakibatkan", kecuali kamu benar-benar memiliki bukti yang kuat dan metodologi yang dirancang khusus untuk membuktikan kausalitas, sesuatu yang berada di luar cakupan analisis korelasi sederhana.

Mendeteksi Outlier Menggunakan Metode IQR

Outlier adalah nilai data yang secara signifikan berbeda dari mayoritas data lainnya dalam sebuah kumpulan data, dan sudah sempat disinggung sekilas pada Bab 18 sebagai contoh nilai ekstrem yang bisa mendistorsi mean. Bab ini akan membahas lebih mendalam cara mendeteksi outlier secara sistematis, salah satu metode paling umum dipakai adalah metode IQR (Interquartile Range).

Untuk memahami IQR, kamu perlu memahami dulu konsep kuartil, yaitu titik-titik yang membagi data yang sudah diurutkan menjadi empat bagian yang sama besar. Kuartil pertama (Q1) adalah nilai di mana 25% data berada di bawahnya, kuartil kedua (Q2) yang sebenarnya sama dengan median adalah nilai di mana 50% data berada di bawahnya, dan kuartil ketiga (Q3) adalah nilai di mana 75% data berada di bawahnya. IQR dihitung sebagai selisih antara Q3 dan Q1, merepresentasikan rentang di mana 50% data "tengah" berada, tidak termasuk 25% data terendah maupun 25% data tertinggi.

Setelah IQR dihitung, batas bawah dan batas atas untuk mendeteksi outlier ditentukan dengan rumus: batas bawah sama dengan Q1 dikurangi 1.5 kali IQR, dan batas atas sama dengan Q3 ditambah 1.5 kali IQR. Nilai data mana pun yang berada di bawah batas bawah atau di atas batas atas ini dianggap sebagai outlier berdasarkan metode IQR.

Sebagai ilustrasi penerapan pada data nilai transaksi Belanjain, misalkan Q1 (25 persen data terendah) adalah 100 ribu, dan Q3 (75 persen data terendah) adalah 400 ribu, sehingga IQR-nya adalah 300 ribu. Batas bawah dihitung sebagai 100 ribu dikurangi 1.5 dikali 300 ribu, sama dengan minus 350 ribu (yang secara praktis berarti tidak ada batas bawah yang relevan karena nilai transaksi tidak mungkin negatif). Batas atas dihitung sebagai 400 ribu ditambah 1.5 dikali 300 ribu, sama dengan 850 ribu. Berdasarkan perhitungan ini, transaksi dengan nilai di atas 850 ribu akan dianggap sebagai outlier menurut metode IQR, dan layak ditelusuri lebih lanjut kenapa nilainya bisa sejauh itu dari mayoritas data lainnya.

Metode IQR ini sering divisualisasikan menggunakan box plot, sebuah jenis chart yang menampilkan Q1, median, Q3, batas bawah, batas atas, serta titik-titik individual yang berada di luar batas tersebut sebagai outlier, memberikan gambaran visual yang ringkas mengenai sebaran data sekaligus keberadaan nilai-nilai ekstremnya sekaligus.

Menangani Outlier: Bukan Selalu Berarti Menghapus

Setelah outlier berhasil terdeteksi, langkah selanjutnya yang perlu sangat hati-hati dipertimbangkan adalah bagaimana menanganinya, dan penting ditekankan sejak awal bahwa mendeteksi outlier tidak otomatis berarti outlier tersebut harus dihapus dari data. Keputusan ini sangat bergantung pada konteks bisnis dan penyebab di balik outlier tersebut, dan mengambil keputusan yang salah dalam hal ini bisa berakibat serius terhadap validitas analisis yang dihasilkan.

Kasus di mana outlier layak dihapus atau diperbaiki adalah ketika outlier tersebut terbukti merupakan kesalahan input data, sesuai ilustrasi yang sudah dibahas di Bab 18, misalnya nilai transaksi 5 juta yang seharusnya 500 ribu akibat kesalahan ketik menambahkan angka nol berlebih. Dalam kasus seperti ini, outlier bukan mencerminkan kondisi bisnis yang sebenarnya, melainkan murni kesalahan teknis yang perlu dikoreksi atau dihapus agar tidak mendistorsi analisis.

Kasus di mana outlier justru perlu dipertahankan dan ditelusuri lebih lanjut adalah ketika outlier tersebut mencerminkan fenomena bisnis yang nyata dan penting untuk dipahami, bukan kesalahan data. Sebagai ilustrasi, bayangkan Belanjain menemukan satu pelanggan dengan nilai transaksi bulanan yang jauh melebihi mayoritas pelanggan lain, mencapai puluhan juta Rupiah. Jika setelah ditelusuri ternyata pelanggan tersebut memang benar-benar melakukan pembelian dalam jumlah besar secara rutin, misalnya seorang reseller yang membeli produk dalam jumlah grosir, maka outlier ini bukan kesalahan data, melainkan segmen pelanggan penting (misalnya kategori pelanggan bisnis atau grosir) yang justru layak dianalisis secara terpisah, bukan dihapus begitu saja dari dataset.

Menghapus outlier yang sebenarnya mencerminkan fenomena bisnis nyata seperti kasus kedua ini, bisa berakibat fatal terhadap kualitas analisis, karena kamu justru menghilangkan informasi penting mengenai keberadaan segmen pelanggan bernilai tinggi ini, sesuatu yang mungkin justru menjadi peluang bisnis yang berharga jika ditelusuri dan dipahami lebih lanjut, bukan sekadar dianggap "anomali yang mengganggu" dan dihapus tanpa pertimbangan mendalam.

Sebagai praktik yang baik, setiap kali menemukan outlier melalui metode seperti IQR, langkah pertama yang sebaiknya selalu dilakukan adalah menelusuri baris data tersebut secara individual, memahami konteksnya, dan jika memungkinkan, mengonfirmasi dengan pihak yang lebih memahami proses bisnis di baliknya, sebelum memutuskan apakah outlier tersebut layak dihapus, dipertahankan, atau bahkan dipisahkan sebagai segmen analisis tersendiri. Keputusan menangani outlier yang terburu-buru tanpa pemahaman konteks yang memadai, adalah salah satu sumber kesalahan analisis yang paling sering terjadi meskipun secara teknis metode deteksinya sudah benar.