散布図行列入門散布図と相関係数から、売り出す前の中古マンションの成約価格を見積もるまで

どの業務でも、手順は同じです。予測したい数字を目的変数として最後の列に置き、図の最下行で説明変数との関係を見てから、6 つの形を確かめ、列ごとの扱いを決めます。この講座では、最後の行の中古マンションを例題にして、この手順を初めから終わりまで通します。

散布図

散布図 (scatter plot) は、2 つの数値の列を横軸と縦軸に取り、データの 1 行を 1 つの点で表した図です。図 1 は、中古マンション 300 件の面積を横軸、価格を縦軸に取った散布図で、点の 1 つが物件 1 件です。

散布図からは、2 つの列の関係を次の 3 点で読み取ります。

• 向き: 点が右上がりに並べば、横軸の値が大きいほど縦軸の値も大きい関係です。右下がりなら、横軸が大きいほど縦軸は小さくなります。図 1 は右上がりで、広い物件ほど高い傾向を表します。
• 強さ: 点が 1 本の線の近くに集まるほど、関係が強いことを表します。図 1 の点は線の周りに広く散らばっていて、同じ面積でも価格に大きな幅があります。
• 形: 点が直線に沿うか、曲線に沿うか、いくつかのまとまりに分かれるか、1 点だけ離れた点があるかを見ます。

相関係数

相関係数 (correlation coefficient) は、2 つの列の点が 1 本の直線にどれだけ沿うかを、-1 から 1 までの 1 つの数で表した値です。一般に相関係数と言えば、次の式で計算するピアソンの相関係数を指します。

分子は、各点が平均からどちらの向きにずれているかを掛け合わせて足したものです。横も縦も平均より大きい点と、どちらも平均より小さい点が多ければ正の値に、片方だけが大きい点が多ければ負の値になります。分母で割ることで、列の単位（㎡ や万円）に関係なく -1 から 1 の範囲に収まります。

符号は向きを、絶対値は直線への集まり方を表します。相関係数の大きさを「強い」「弱い」と呼ぶ境目には分野ごとの慣習があるだけで、決まった基準はありません。この講座では、説明変数どうしで絶対値が 0.8 を超える組を「相関が強い組」として扱います。

相関係数だけでは足りない理由

相関係数は直線の関係だけを測る値なので、点がどんな形に並んでいるかは数に表れません。統計学者のアンスコムは 1973 年の論文で、このことを 4 組のデータで示しました（図 2）。4 組とも、横軸と縦軸の平均・分散と相関係数（0.816）がほぼ同じですが、点の並び方はまったく違います。

• I: 右上がりの直線の周りに散らばっています。相関係数が想定する並び方です。
• II: 山なりの曲線に沿っています。直線を当てはめると、両端と中ほどで外れます。
• III: 1 点を除いて一直線です。その 1 点が無ければ、相関係数は 1 に近くなります。
• IV: 1 点を除いて縦一列です。1 点だけで相関係数が 0.816 になっています。

相関係数が同じでも、II の列は曲線を表す工夫が要り、III と IV の列は離れた 1 点を確かめる必要があります。機械学習の前に図を描くのは、この違いを見分けるためです。

05 の「離れた点」の例では、1 件の面積に入力ミスを入れたデータを使います。18 行目（0 から数えて 17 行目）の物件の 54.2 ㎡を 542 ㎡にしたもので、次の 1 行で作れます。

列の扱いは、使うモデルによって変わります。この節では、線形回帰と決定木系のモデルに分けて書きます。線形回帰は、各説明変数に係数を掛けて足した式で目的変数を予測するモデルです。決定木系のモデルは、決定木・ランダムフォレスト・LightGBM のような勾配ブースティングを指し、「面積が 60 ㎡以上か」のような分岐を重ねて予測します。

形の当てはまり具合は、決定係数 (R²) で比べます。決定係数は、目的変数のばらつきのうちモデルで説明できた割合で、1 に近いほど予測がデータに当てはまっています。

5.1　価格との関係が曲がっている

見え方: 例題の最下行の age のマスでは、点が右下がりの曲線に沿って並びます（図 4）。価格は築浅のうちに大きく下がり、築 20 年を過ぎると下がり方が緩やかになります。

意味: 線形回帰は直線しか引けないので、このままでは、両端の築浅と築古の物件を安く、中ほどの物件を高く予測します。

扱い: 線形回帰では、age を 2 乗した列か、対数を取った列を加えます。例題で、面積・部屋数・築年数・駅徒歩・地域の線形回帰に age の 2 乗の列を加えると、R² は 0.792 から 0.836 に上がりました。決定木系のモデルは、分岐を重ねて曲線を表すので、列を加えなくても学習できます。

5.2　価格の分布の右の裾が長い

見え方: 対角線の price の分布は、山が左に寄り、右に長い裾を引きます。例題の価格は 2,000〜4,000 万円台に多くの物件が集まり、1 億円を超える物件が少しだけあります。

意味: 線形回帰は誤差の 2 乗の合計を小さくするように学習するので、裾にある少数の高額物件の大きな誤差に引っ張られます。分布の偏りは歪度 (skewness) で確かめます。左右対称なら 0 で、右に裾が長いほど大きな正の値になります。例題の価格の歪度は 1.57 です。

扱い: 価格を対数にすると裾が縮み、例題の歪度は -0.02 になります。歪度が 1 を超える列は、対数を試すのが目安です。目的変数を対数にしたモデルは、誤差を金額ではなく比率で小さくするように学習し、1 億円の物件で 500 万円外すことと、2,000 万円の物件で 100 万円外すことを同じ重さで扱います。この性質は決定木系のモデルでも同じなので、目的変数を対数にするかは、評価したい誤差が金額か比率かで決めます。説明変数を対数にしても、決定木系のモデルの分岐は変わりません。分岐は値の大小の順だけを使うからです。

5.3　説明変数どうしが一直線に近い

見え方: 例題の area_m2 と rooms のマスでは、点が右上がりの直線の近くに集まり、相関係数は 0.86 です（図 5）。広い物件ほど部屋が多いので、2 つの列がほぼ同じ情報を持っています。説明変数どうしがこのように強く相関している状態を、多重共線性 (multicollinearity) と呼びます。

意味: 線形回帰の係数は、「ほかの列の値を固定したまま、その列が 1 増えると、目的変数がいくら変わるか」を表します。面積と部屋数を両方入れると、部屋数の係数は「面積が同じで部屋が 1 つ多いと、価格がいくら変わるか」になり、1 部屋あたりが狭くなる分、小さくなったりマイナスになったりします。例題では、部屋数だけで回帰した係数は +807 万円、面積・築年数・駅徒歩と一緒に入れた係数は -80 万円でした。データから 150 件を選び直して学習し直すと、部屋数の係数は -203 万円から +110 万円まで動きました。

多重共線性の強さは、分散拡大係数 (VIF / Variance Inflation Factor) で確かめます。ある列をほかの説明変数で線形回帰したときの R² を使い、1 / (1 - R²) で求めます。ほかの列で説明できる割合が高いほど VIF は大きくなり、その列の係数は、データが少し変わるだけで大きく動きます。VIF が 5 を超えたら（10 を目安にする文献もあります）、その列の係数を単独の効き目として読みません。

例題の VIF は 3.95 で目安を下回りますが、部屋数の係数は上のとおり大きく動きました。VIF が目安を下回っていても、相関の強い 2 列の係数を、それぞれの効き目として説明に使うのは避けます。

扱い: モデルを何に使うかで決めます。価格の予測だけが目的なら、2 列とも残して構いません。多重共線性は係数を不安定にしますが、予測値はあまり変えないからです。係数を「部屋が 1 つ増えるといくら上がるか」のような説明に使うなら、片方を外すか、1 部屋あたりの面積（area_m2 / rooms）のような比の列に置き換えます。決定木系のモデルでは、2 列のどちらで分岐しても同じような結果になるので、特徴量の重要度が 2 列に割れて、どちらも低く見えることがあります。

5.4　1 点だけ離れている

見え方: 03 で作った入力ミスのデータ bad で散布図行列を描くと、area_m2 の列のマスは横軸が 500 ㎡を超えるところまで広がり、ほかの 299 件が左端に固まります（図 7）。ある列のマスだけ点が片側に押し込まれていれば、その列に離れた値があります。

意味: この 1 件で、面積と部屋数の相関係数は 0.86 から 0.37 に、面積と価格の相関係数は 0.47 から 0.24 に、線形回帰の面積の係数は 1 ㎡あたり 51.5 万円から 4.7 万円に下がりました。線形回帰は誤差の 2 乗を小さくするので、遠くの 1 点に直線が引き寄せられます。図 2 のアンスコムの III・IV と同じ現象です。

扱い: 離れた点を見つけたら、元の資料（販売図面、登記、入力した画面）と照らします。入力ミスなら直します。本物の値なら、その物件が予測の対象に入るかで決めます。一棟売りのビルのように予測の対象外なら学習データから外し、対象なら残します。外れ値 (outlier) を基準値で機械的に消すと、本当に予測したい珍しい物件の情報まで消えます。決定木系のモデルは離れた点を分岐で切り離すので、ほかの物件の予測への影響は線形回帰より小さくなりますが、誤った値を学ぶことに変わりはないので、どちらのモデルでも直します。

5.5　目的変数とぴったり一直線

見え方: vars に fee を加えて描くと、price の行の fee のマスで、点が完全な一直線に並びます。fee と価格の相関係数は 1.00 です。

意味: 目的変数とぴったり一直線に並ぶ列は、データリーク (data leakage) の疑いがあります。データリークは、予測する時点では手に入らない情報が学習データに混ざることです。学習とテストでは高い精度が出ますが、実際に予測する場面ではその列の値が無いので、モデルを使えません。例題に fee を加えて学習すると、R² は 1.000 になります。仲介手数料は成約価格をもとに計算します。成約価格が 400 万円を超える売買では、法律で決まった上限が「成約価格の 3% + 6 万円」（消費税は別）で、例題の fee もこの式で計算しています。売り出す前の物件の価格を予測するとき、成約した後に決まる手数料は手に入りません。

扱い: 一直線に並ぶ列を見つけたら、その列の値が予測する時点で手に入るかを確かめ、手に入らないなら外します。線形回帰でも決定木系でも同じです。

5.6　色で帯が分かれる

見え方: 地域で色分けした図 4 では、最下行の area_m2 のマスで、都心の点が郊外の点より上に別の帯を作ります。例題の価格の中央値は、都心が 3,940 万円、郊外が 2,330 万円です。

意味: 帯が分かれるなら、色分けに使った列は目的変数に効いています。例題では、面積・部屋数・築年数・駅徒歩の線形回帰に地域を加えると、R² が 0.493 から 0.792 に上がりました。2 本の帯の傾きが違うときは、地域によって面積の効き方が違います。この関係を交互作用 (interaction) と呼びます。

扱い: 色分けに使った列を特徴量 (feature) としてモデルに加えます。線形回帰では、帯の傾きが違えば、面積と地域を掛けた列も加えます。決定木系のモデルは、地域で分岐した先で面積の効き方を別々に学ぶので、掛けた列を加えなくても扱えます。色分けに使う列は、散布図行列に数値として並んでいない区分の列（地域、物件の種別、売主が個人か業者か）から選びます。

5.7　形と列の扱いのまとめ