以前調べたのですがしばらく使わないうちにど忘れしてしまっていたので、改めてPandasのDataFrameの表示設定を変更する方法についてまとめていきます。
ちなみにドキュメントはこちらです。
参考: Options and settings — pandas 1.4.1 documentation
(ターミナルで動かしている時も実は事情は同じなのですが、)特にJupyter NotebookでPandasを使ってデータ分析をしている時など、頻繁にデータフレームの中身を表示して中身を確認します。その場合、デフォルトの表示設定では不便な思いをすることがよくあるので、設定の変更方法を知っておくと役に立ちます。
一番頻繁に使うのは表示行数の上限設定でしょうか。
Pandasのデフォルトでは、60行をこえるDataFrameを表示する時、中間のデータが省略されて先頭と末尾のそれぞれ数行だけが表示されます。
例えば以下のようにです。
import pandas as pd
df = pd.DataFrame(range(61), columns=["value"])
print(df)
"""
value
0 0
1 1
2 2
3 3
4 4
.. ...
56 56
57 57
58 58
59 59
60 60
[61 rows x 1 columns]
"""中身をもっとみたい時は、head(60), tail(60), sample(60)やその他ilocなどのスライスを使って対象行数を60行以内に抑えるか、for文で回して中身をprintするなどの対応をとることが多いですが、実はこの60行の上限はPandasが内部の値として持っているもので、これ子を書き換えることが可能です。
# pd.options.display.max_rows が表示される上限の行数
print(pd.options.display.max_rows)
# 60
# 値を代入すると設定が変わる
pd.options.display.max_rows = 1000~61の連番を表示してみてもこの記事のスペースを圧迫するだけなので設定変更した結果表示できるようになったDataFrameの例は載せませんが、上記のコードの最後の行のようにして、max_rowsに大きめの値を入れると、もっと多くの行数を表示できるようになります。
Noneにすると上限がなくなりますが、巨大なDataFrameを表示しようとしてしまった場合にブラウザが固まることがあるなどデメリットもあるので気をつけてください。
設定の確認と値の変更は、上記のようにpd.options.display以下のプロパティを見ていくほか、get_option/ set_option というメソッドで取得/設定することも可能です。これは、この後見ていく他のオプションでも同様です。
# 先ほど設定した 100 表示される
print(pd.get_option("display.max_rows"))
# 100
# set_option で値を設定できる
pd.set_option("display.max_rows", 120)さて、表示量の上限は行数だけでなく、列数や、1行内の文字数にも設定されています。
それぞれ、20列と80文字が上限です。そのため、それを超えるDataFrameをprintすると、列が省略されたり改行されたりします。
# 横に表示される文字数の上限は80文字
print(pd.options.display.width)
# 80
# 同時に表示される列数は20列まで
print(pd.options.display.max_columns)
# 20
# 21列あるテーブルを表示すると、 途中の列が ... で省略される
# さらに、80文字を超えたので改行された
print(pd.DataFrame([range(21)]*5))
"""
0 1 2 3 4 5 6 7 8 9 ... 11 12 13 14 15 16 17 \
0 0 1 2 3 4 5 6 7 8 9 ... 11 12 13 14 15 16 17
1 0 1 2 3 4 5 6 7 8 9 ... 11 12 13 14 15 16 17
2 0 1 2 3 4 5 6 7 8 9 ... 11 12 13 14 15 16 17
3 0 1 2 3 4 5 6 7 8 9 ... 11 12 13 14 15 16 17
4 0 1 2 3 4 5 6 7 8 9 ... 11 12 13 14 15 16 17
18 19 20
0 18 19 20
1 18 19 20
2 18 19 20
3 18 19 20
4 18 19 20
[5 rows x 21 columns]
"""これも、設定を変更すると改善します。例えば、40列、160文字までOKにすると次のようになります。
pd.options.display.width = 160
pd.options.display.max_columns = 40
print(pd.DataFrame([range(21)]*5))
"""
0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
0 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
1 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
2 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
3 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
4 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
"""先ほど設定を変更した文字数の上限は、行トータルの文字数です。
1つのセル内の文字数には、max_colwidth というまた別の設定があります。
# デフォルトは50文字
print(pd.options.display.max_colwidth)
# 50
# 51文字以上のテキストは ... で省略される
print(pd.DataFrame(["a"*51]))
"""
0
0 aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa...
"""
# 100文字に増やしてみる
pd.options.display.max_colwidth = 100
# 省略されずに表示される
print(pd.DataFrame(["a"*51]))
"""
0
0 aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa
"""文字数についての表示のほか、数値については小数を何桁で四捨五入して表示するかといったことも設定可能です。実はこの設定についてはこのブログでも何度か使ったことがあります。
そのうち1記事がこちらです。
参考: 文書をTfidfVectorizerでベクトル化したときの正規化について
この記事では、 pd.options.display.precision = 3 として、小数点以下3位までにヒョ時を制限しています。
import numpy as np
# 乱数でデータ生成
df = pd.DataFrame(np.random.random(size=(3, 3)))
# デフォルトは6桁
print(pd.options.display.precision)
# 6
print(df)
"""
0 1 2
0 0.222825 0.134517 0.054559
1 0.286993 0.400856 0.117309
2 0.960378 0.022352 0.855942
"""
# 3桁までに設定すると小数点以下3桁しか表示されない
pd.options.display.precision = 3
print(df)
"""
0 1 2
0 0.223 0.135 0.055
1 0.287 0.401 0.117
2 0.960 0.022 0.856
"""細かい話なのですが、この時の丸め方は通常の四捨五入ではないのでご注意ください。ほとんどの値については四捨五入と同じ挙動になるのですが、丸められる桁の値がピッタリ5の場合、その上の桁が偶数の方に丸められることがあります。言葉で書くより、実例を見ていただいた方がわかりやすいと思うのでやってみます。以下の例は明らかに不自然な挙動をしているのが伝わると思います。
pd.options.display.precision = 3
print(pd.DataFrame([1.0015, 1.0025, 1.0035, 1.0045]))
"""
0
0 1.002
1 1.002
2 1.004
3 1.004
"""
# 桁数によっては、偶数への丸めにならないこともある。
pd.options.display.precision = 4
print(pd.DataFrame([1.00015, 1.00025, 1.00035, 1.00045]))
"""
0
0 1.0002
1 1.0003
2 1.0004
3 1.0005
"""通常の四捨五入をしてほしい、という場合は、displayの設定変更ではなく専用のメソッドを使って四捨五入しましょう。
さて、ここまで自分がよく使うやつを中心に挙げてきましたが、他にも設定可能な項目はたくさんあります。公式ドキュメントにまとまっているので、一度目を通されることをお勧めします。
再掲: Options and settings — pandas 1.4.1 documentation