先日、データを分析している中でシンプソンのパラドックスが発生しているのを見かけました。
興味深い現象なので、紹介したいと思います。
ただし、業務的な情報は書けないので記事中の用語も設定もデータも全部架空の物です。
２種類のアプリがあったとします。それぞれ旧アプリと、新アプリとします。
そしてそれらのアプリを使っているユーザーがとある属性によってグループA,グループBに分かれていたとします。
ユーザー数の内訳が次のようになっていたとします。(単位:人)
| 旧アプリ | 新アプリ | |
|---|---|---|
| グループA | 40000 | 1000 |
| グループB | 60000 | 9000 |
これらのユーザーのコンバージョン数が次の通りだったとします。
| 旧アプリ | 新アプリ | |
|---|---|---|
| グループA | 3200 | 100 |
| グループB | 1800 | 360 |
コンバージョン率を見ると次のようになりますね。
| 旧アプリ | 新アプリ | |
|---|---|---|
| グループA | 8% | 10% |
| グループB | 3% | 4% |
どちらのグループのユーザーに対しても、新アプリの方がコンバージョン率が高いことがわかりました。
しかしここで、グループごとに分けて集計することをやめて、新アプリと旧アプリを単純に比較してみます。
| 旧アプリ | 新アプリ | |
|---|---|---|
| ユーザー数 | 100000 | 10000 |
| コンバージョン数 | 5000 | 460 |
| コンバージョン率 | 5% | 4.6% |
なんと、新アプリより旧アプリの方がコンバージョン率が高いことになりました。
このように、
集団全体を複数の集団に分けてそれぞれの集団で同じ仮説(今回の例では新アプリの方がコンバージョン率が高い)が成り立っても、
集団全体に対してはそれが成り立たないことがあることをシンプソンのパラドックスと呼びます。
これは$\frac{a}{A}>\frac{b}{B}$ かつ $\frac{c}{C}>\frac{d}{D}$ が成り立ったとしても
$$\frac{a+c}{A+C}>\frac{b+d}{B+D}$$
が成り立つわけじゃないと言う単純な数学的な事実から発生する物です。
今回の例で言えば、新アプリの方がどちらのユーザー群に対しても良い効果をもたらしているので良さそうなのに、
全体の集計だけで旧アプリの方が良いと結論づけてしまうと誤った分析をしてしまうことになります。
注意する必要がありますね。