Bab 21: Statistik Inferensial & Pengantar A/B Testing

Dari Deskriptif Menuju Inferensial

Pada Bab 20, kamu sudah mempelajari statistik deskriptif, yaitu cara meringkas dan menggambarkan karakteristik data yang kamu miliki, seperti mean, median, dan standard deviation. Namun statistik deskriptif hanya menggambarkan data yang sudah ada di tangan kamu, tanpa membuat klaim apa pun mengenai data di luar itu. Statistik inferensial melangkah lebih jauh, yaitu menggunakan data sampel yang terbatas untuk membuat kesimpulan atau generalisasi mengenai populasi yang lebih besar, sesuai konsep populasi dan sampel yang sudah diperkenalkan pada Bab 20.

Perbedaan mendasar ini penting dipahami karena keduanya menjawab pertanyaan yang berbeda. Statistik deskriptif menjawab pertanyaan "seperti apa data yang saya miliki ini", sementara statistik inferensial menjawab pertanyaan yang lebih ambisius, "berdasarkan data terbatas yang saya miliki, apa yang bisa saya simpulkan mengenai kondisi yang lebih luas, atau apakah perbedaan yang saya amati ini benar-benar nyata, bukan sekadar kebetulan semata".

Hipotesis: Titik Awal Statistik Inferensial

Statistik inferensial selalu dimulai dari sebuah hipotesis, yaitu dugaan atau pernyataan yang ingin diuji kebenarannya menggunakan data. Dalam kerangka pengujian statistik formal, terdapat dua jenis hipotesis yang saling berlawanan, yaitu hipotesis nol (null hypothesis) dan hipotesis alternatif (alternative hypothesis).

Hipotesis nol, biasanya disimbolkan sebagai H0, adalah pernyataan default yang mengasumsikan tidak ada perbedaan atau tidak ada efek yang terjadi, sementara hipotesis alternatif, disimbolkan sebagai H1, adalah pernyataan yang ingin dibuktikan, biasanya menyatakan bahwa memang ada perbedaan atau efek yang terjadi. Sebagai ilustrasi dalam konteks Belanjain, bayangkan tim produk ingin menguji apakah desain tombol checkout berwarna hijau menghasilkan tingkat konversi yang lebih tinggi dibanding desain tombol berwarna biru yang sudah dipakai selama ini. Hipotesis nol untuk kasus ini adalah "tidak ada perbedaan tingkat konversi antara tombol hijau dan tombol biru", sementara hipotesis alternatif adalah "ada perbedaan tingkat konversi antara kedua warna tombol tersebut".

Tujuan dari statistik inferensial adalah mengumpulkan bukti dari data untuk menentukan apakah hipotesis nol ini layak ditolak (yang berarti mendukung hipotesis alternatif), atau apakah bukti yang ada belum cukup kuat untuk menolak hipotesis nol. Penting dipahami bahwa gagal menolak hipotesis nol tidak sama dengan membuktikan hipotesis nol benar, melainkan hanya berarti data yang ada belum menunjukkan bukti yang cukup kuat untuk menyimpulkan adanya perbedaan, sebuah perbedaan nuansa yang penting dipahami agar tidak salah menginterpretasikan hasil pengujian statistik.

P-Value: Mengukur Kekuatan Bukti Terhadap Hipotesis Nol

P-value adalah salah satu konsep statistik yang paling sering disalahpahami, namun sangat penting dipahami dengan benar oleh seorang Data Analyst. Secara sederhana, p-value adalah probabilitas mendapatkan hasil yang setidaknya seekstrem hasil yang benar-benar diamati, jika seandainya hipotesis nol memang benar. Semakin kecil p-value, semakin kuat bukti yang mengarah pada penolakan hipotesis nol, karena semakin kecil kemungkinan hasil yang diamati tersebut terjadi hanya karena kebetulan semata.

Dalam praktik, biasanya ditetapkan sebuah ambang batas yang disebut tingkat signifikansi (biasanya disimbolkan sebagai alpha), dengan nilai yang paling umum dipakai adalah 0.05 atau setara dengan 5%. Jika p-value yang dihasilkan lebih kecil dari ambang batas ini, hasil tersebut dianggap signifikan secara statistik, dan hipotesis nol layak ditolak. Sebaliknya, jika p-value lebih besar dari ambang batas ini, belum ada cukup bukti untuk menolak hipotesis nol.

Sebagai ilustrasi dalam konteks pengujian tombol checkout Belanjain, bayangkan hasil pengujian menunjukkan p-value sebesar 0.03. Karena angka ini lebih kecil dari ambang batas 0.05, hasil ini dianggap signifikan secara statistik, mengindikasikan perbedaan tingkat konversi antara tombol hijau dan biru kemungkinan besar bukan sekadar kebetulan, melainkan perbedaan yang nyata. Sebaliknya, jika p-value yang dihasilkan adalah 0.25, angka ini lebih besar dari 0.05, sehingga belum ada cukup bukti untuk menyimpulkan bahwa perbedaan konversi antara kedua warna tombol tersebut nyata, meskipun secara angka mentah mungkin terlihat ada sedikit perbedaan.

Kesalahan interpretasi paling umum terhadap p-value adalah menganggapnya sebagai "probabilitas hipotesis nol itu benar", padahal definisi sebenarnya jauh lebih spesifik, yaitu probabilitas mendapatkan data seekstrem yang diamati, dengan asumsi hipotesis nol benar. Perbedaan nuansa ini penting dipahami karena kesalahan interpretasi p-value adalah salah satu kesalahan statistik paling umum, bahkan di kalangan yang sudah cukup berpengalaman sekalipun, dan bisa berujung pada kesimpulan yang keliru jika tidak dipahami dengan hati-hati.

Confidence Interval: Mengekspresikan Ketidakpastian

Selain p-value, konsep penting lain dalam statistik inferensial adalah confidence interval (interval kepercayaan), yaitu rentang nilai yang diperkirakan mengandung nilai populasi yang sebenarnya, dengan tingkat kepercayaan tertentu, biasanya 95%. Berbeda dengan sekadar melaporkan satu angka estimasi tunggal, confidence interval memberikan gambaran mengenai seberapa presisi atau seberapa tidak pasti estimasi tersebut.

Sebagai ilustrasi, bayangkan berdasarkan sampel seribu pelanggan Belanjain, kamu menghitung bahwa rata-rata nilai transaksi mereka adalah 250 ribu, dengan confidence interval 95% berkisar antara 230 ribu hingga 270 ribu. Interpretasi dari confidence interval ini adalah, kamu cukup yakin (dengan tingkat kepercayaan 95%) bahwa rata-rata nilai transaksi seluruh populasi pelanggan Belanjain (bukan hanya sampel seribu orang ini) berada dalam rentang 230 ribu hingga 270 ribu.

Lebar sebuah confidence interval memberikan informasi penting mengenai presisi estimasi tersebut. Confidence interval yang sempit, misalnya antara 245 ribu hingga 255 ribu, menandakan estimasi yang cukup presisi, sementara confidence interval yang sangat lebar, misalnya antara 100 ribu hingga 400 ribu, menandakan estimasi yang jauh lebih tidak pasti, biasanya karena ukuran sampel yang terlalu kecil atau variasi data yang sangat besar. Sebagai praktik yang baik, ketika melaporkan hasil statistik inferensial kepada tim manajemen, menyertakan confidence interval di samping angka estimasi tunggal akan memberikan gambaran yang jauh lebih jujur dan lengkap mengenai seberapa yakin kamu terhadap angka tersebut, dibanding hanya menyampaikan satu angka tunggal yang terkesan pasti padahal sebenarnya memiliki tingkat ketidakpastian tertentu.

A/B Testing: Penerapan Praktis Statistik Inferensial dalam Bisnis

A/B testing adalah salah satu penerapan paling umum dan paling praktis dari statistik inferensial dalam konteks bisnis, khususnya bisnis digital seperti Belanjain. Konsep dasarnya adalah membandingkan dua versi berbeda dari sesuatu (versi A dan versi B) untuk menentukan versi mana yang menghasilkan performa lebih baik, dengan menggunakan prinsip pengujian hipotesis yang sudah dibahas sepanjang bab ini untuk memastikan perbedaan performa yang diamati benar-benar nyata, bukan sekadar kebetulan.

Struktur dasar sebuah A/B testing dimulai dengan membagi pengguna secara acak menjadi dua kelompok, kelompok pertama (kontrol) tetap menggunakan versi yang sudah ada (misalnya tombol checkout warna biru), sementara kelompok kedua (perlakuan) diberikan versi baru yang ingin diuji (misalnya tombol checkout warna hijau). Setelah eksperimen berjalan selama periode waktu tertentu, hasil dari kedua kelompok ini dibandingkan menggunakan pengujian statistik yang sesuai, menghasilkan p-value yang menentukan apakah perbedaan performa antara kedua versi tersebut signifikan secara statistik atau tidak.

Elemen paling krusial dalam merancang A/B testing yang valid adalah randomisasi, yaitu memastikan pembagian pengguna ke kelompok kontrol dan perlakuan benar-benar dilakukan secara acak, bukan berdasarkan kriteria tertentu yang bisa memperkenalkan bias. Sebagai ilustrasi kesalahan yang perlu dihindari, jika Belanjain secara tidak sengaja menempatkan seluruh pengguna aplikasi versi Android ke kelompok kontrol dan seluruh pengguna iOS ke kelompok perlakuan, perbedaan performa yang teramati nantinya bisa jadi bukan disebabkan oleh perbedaan warna tombol yang sedang diuji, melainkan karena perbedaan karakteristik pengguna antara kedua platform tersebut, sebuah bentuk confounding variable yang sudah dibahas pada Bab 19, yang akan menyesatkan kesimpulan dari eksperimen tersebut.

Elemen penting lainnya adalah ukuran sampel yang memadai dan durasi pengujian yang cukup. Pengujian yang dihentikan terlalu cepat, dengan jumlah pengguna yang terlalu sedikit, berisiko menghasilkan kesimpulan yang tidak reliabel, karena fluktuasi acak pada sampel kecil bisa terlihat seperti perbedaan yang nyata padahal sebenarnya hanya kebetulan. Menentukan ukuran sampel dan durasi yang memadai untuk sebuah A/B testing melibatkan perhitungan statistik yang lebih mendalam, sebuah topik yang berada di luar cakupan bab ini, namun penting bagi kamu sebagai Data Analyst untuk menyadari bahwa terburu-buru menyimpulkan hasil A/B testing sebelum data yang cukup terkumpul adalah kesalahan yang cukup sering terjadi dalam praktik.

Menerapkan A/B Testing pada Kasus Belanjain

Untuk mengaplikasikan seluruh konsep yang sudah dibahas sepanjang bab ini secara menyeluruh, mari bayangkan skenario lengkap pengujian tombol checkout Belanjain yang sudah disinggung sebelumnya. Tim produk merancang eksperimen dengan membagi pengguna aplikasi secara acak menjadi dua kelompok berukuran seimbang, masing-masing sekitar sepuluh ribu pengguna, kelompok kontrol tetap melihat tombol checkout warna biru, sementara kelompok perlakuan melihat tombol checkout warna hijau, dengan eksperimen berjalan selama dua minggu penuh untuk memastikan durasi yang cukup.

Setelah dua minggu, hasil menunjukkan tingkat konversi kelompok kontrol (tombol biru) sebesar 3.2%, sementara kelompok perlakuan (tombol hijau) sebesar 3.6%. Secara angka mentah, tombol hijau terlihat lebih baik, namun pertanyaan pentingnya adalah, apakah perbedaan 0.4 persen ini nyata dan signifikan, atau hanya fluktuasi kebetulan yang bisa saja terjadi meskipun sebenarnya tidak ada perbedaan nyata antara kedua warna tombol tersebut.

Setelah dilakukan pengujian statistik yang sesuai, didapatkan p-value sebesar 0.02, lebih kecil dari ambang batas 0.05, sehingga hasil ini dianggap signifikan secara statistik. Confidence interval untuk perbedaan konversi ini berkisar antara 0.1 persen hingga 0.7 persen, yang meskipun tidak terlalu lebar, tetap memberikan gambaran mengenai rentang kemungkinan besaran perbedaan yang sebenarnya. Berdasarkan hasil ini, rekomendasi yang bisa disampaikan kepada tim manajemen adalah, perubahan warna tombol checkout menjadi hijau menunjukkan peningkatan konversi yang signifikan secara statistik, dan layak dipertimbangkan untuk diterapkan secara permanen kepada seluruh pengguna, meskipun besaran peningkatan pastinya masih memiliki rentang ketidakpastian sesuai confidence interval yang dihasilkan.