UNIX時間(または、エポック秒、UNIX時刻)というのは、UTCの1970年1月1日0時0分0秒を0として、そこからの経過秒数を基準に時間を表そうという方法です。
参考: UNIX時間 – Wikipedia
普段使っているトレジャーデータがログの時刻をUNIX時間で記録しているので、僕は業務で目にすることが多いのですが、基本的にSQLのUDFで文字列に変換して抽出するようにしているので、普段のPythonのプログラムで扱うことはあまりありません。しかし、最近とあるデータをPythonで処理していた時、文字列の時刻とUNIXタイムの変換をする機会があったので方法と注意点をまとめておきます。
注意点というのは、dateteimeモジュールを使うケースと、pandasを使うケースでタイムゾーンに絡む挙動が少々違い、危うく間違った変換をしそうになったのです。
コード例ごとに時刻が違うとこの記事が読みにくくなるのでこの記事では、
日本時間の 2022-05-20 15:00:00 を使います。
時差が9時間あるので、UTCでは 2022-05-20 6:00:00 であり、
UNIX時刻は 1653026400 です。
それでは、具体的な変換方法を見ていきましょう。
標準の datetime ライブラリを用いた変換
参考: datetime — 基本的な日付型および時間型 — Python 3.10.4 ドキュメント
まず、 time スタンプから時刻に変換するには fromtimestamp というメソッドを使います。
import datetime
sample_time = datetime.datetime.fromtimestamp(1653026400)
sample_time # 2022-05-20 15:00:00 を示す datetimeオブジェクトができる。
# datetime.datetime(2022, 5, 20, 15, 0)
# printすると文字列になる
print(sample_time)
# 2022-05-20 15:00:00
# 表示形式を調整したい場合は strftime
print(sample_time.strftime("%Y年%m月%d日 %H時%M分%S秒"))
# 2022年05月20日 15時00分00秒ここで注目すべきは、fromtimestamp が勝手に日本時間で変換してくれている点です。
ドキュメントのfromtimestampにも、「オプションの引数 tz が None であるか、指定されていない場合、タイムスタンプはプラットフォームのローカルな日付および時刻に変換され、」と書いてあります。非常にありがたいですね。
明示的に日本時間(+9時間)であることを指定するにはタイムゾーンの情報も付加します。
tzinfo=datetime.timezone(datetime.timedelta(hours=9))
datetime.datetime.fromtimestamp(1653026400, tz=tzinfo)
# datetime.datetime(2022, 5, 20, 15, 0, tzinfo=datetime.timezone(datetime.timedelta(seconds=32400)))今度は逆に、”2022-05-20 15:00:00″ という文字列をタイムスタンプにしてみます。
これは、strptime() でdatetime型のオブジェクトに変換し、timestamp()メソッドを呼び出せば良いです。
# 指定時刻のdatetimeオブジェクトを作る
sample_time = datetime.datetime.strptime("2022-05-20 15:00:00", "%Y-%m-%d %H:%M:%S")
sample_time
# datetime.datetime(2022, 5, 20, 15, 0)
# timestamp() メソッドでUNIX時間に変換できる
print(sample_time.timestamp())
# 1653026400.0正しく変換されましたね。
ちなみに、元のデータが文字列ではなく,datetimeメソッドで作ったdatetimeオブジェクトでも結果は同様です。ちゃんと日本時間として変換してくれます。
print(datetime.datetime(2022, 5, 20, 15, 0, 0).timestamp())
# 1653026400.0さて、ここまでは標準のdatetimeオブジェクトにおける挙動でした。
端末の環境が日本時間なら、あまりタイムゾーンを意識しなくても正しく動きます。逆にいうと、AWSなどのクラウドサービスを海外リージョンで使っている場合などは環境の時刻設定に気を付けて使う必要があるということです。
次はPandasで見ていきます。
Pandasのデータにおける変換
データ分析の仕事しているため、一個の時刻情報を変換するということはあまりなく、たいていは大量のテーブルデータの一列を丸ごと変換する必要があります。そういう時は、datetimeオブジェクトではなく、Pandasを使います。
早速、僕がちょっとハマったところを共有します。以下のようなデータがあったとします。この時点で、time_str列は文字列です。
df = pd.DataFrame({
"key": ["key1", "key2", "key3"],
"time_str": ["2022-05-20 15:00:00", "2022-05-20 15:00:00", "2022-05-20 15:00:00"]
})
print(df)
"""
key time_str
0 key1 2022-05-20 15:00:00
1 key2 2022-05-20 15:00:00
2 key3 2022-05-20 15:00:00
"""UNIX時刻に変換する準備として文字列を時刻(datetime)型に変換するために、pd.to_datetimeを使います。(細かく指定しなくてもいい感じに日時として解釈してくれる非常に便利な関数です。)
df["time"] = pd.to_datetime(df.time_str)
print(df["time"])
"""
0 2022-05-20 15:00:00
1 2022-05-20 15:00:00
2 2022-05-20 15:00:00
Name: time, dtype: datetime64[ns]
"""ここから、dt.timestamp() みたいなメソッドで変換できると楽なのですが、dtにはtimestamp()がありません。しかし、datetime64の各要素はtimestamp()メソッドを持っているので一見これで変換できるように見えます。
df.time.apply(lambda t: t.timestamp())
"""
0 1.653059e+09
1 1.653059e+09
2 1.653059e+09
Name: time, dtype: float64
"""floatになるので、整数への変換もやりましょう。
df.time.apply(lambda t: int(t.timestamp()))
"""
0 1653058800
1 1653058800
2 1653058800
Name: time, dtype: int64
"""はい、できました、と思ってしまいますがよく見ると結果が違いますよね。
$1653058800 – 1653026400 = 9 * 60 * 60$ なので、ちょうど9時間分ずれた結果になってしまいました。要するに、pd.to_datetime は 与えられた時刻をUTCで解釈しているわけです。
以下の二つが違う結果になるのってちょっとビックリませんか。
print(datetime.datetime.strptime("2022-05-20 15:00:00", "%Y-%m-%d %H:%M:%S").timestamp())
# 1653026400.0
print(pd.to_datetime("2022-05-20 15:00:00").timestamp())
# 1653058800.0この問題を解消し、日本時間として解釈してUNIX時間に変換するには、結果から 9時間分 = 32400 秒 引いてあげても良いです。ただ、コードの可読性的にいまいちなので、タイムゾーンを設定してあげるのが良いと思います。それには、 tz_localize というのを使います。
参考: pandas.Series.tz_localize — pandas 1.4.2 documentation
(tz_convert という似てるけど用途が違うものもあるので注意してください。)
df["time"] = pd.to_datetime(df.time_str)
print(df.time)
"""
0 2022-05-20 15:00:00
1 2022-05-20 15:00:00
2 2022-05-20 15:00:00
Name: time, dtype: datetime64[ns]
"""
# タイムゾーンを Asia/Tokyo にローカライズする
df.time = df.time.dt.tz_localize('Asia/Tokyo')
print(df.time)
"""
0 2022-05-20 15:00:00+09:00
1 2022-05-20 15:00:00+09:00
2 2022-05-20 15:00:00+09:00
Name: time, dtype: datetime64[ns, Asia/Tokyo]
"""
# タイムスタンプに変換
print(df.time.apply(lambda t: int(t.timestamp())))
"""
0 1653026400
1 1653026400
2 1653026400
Name: time, dtype: int64
"""今度は正しく、 1653026400 になりました。
これで、 to_datetimeを使って生成された時刻データもUNIX時間に変換できましたね。
ちなみに、逆にPandasのデータでUNIX時間の列があった場合にそれを時刻に変換したい場合は、もうdatetimeライブラリに頼った方がいいと思います。
sr = pd.Series([1653026400, 1653026400, 1653026400])
print(sr.apply(datetime.datetime.fromtimestamp))
"""
0 2022-05-20 15:00:00
1 2022-05-20 15:00:00
2 2022-05-20 15:00:00
dtype: datetime64[ns]
"""以上で、標準ライブラリを使う場合とPandasを使う場合で、時刻とUNIX時刻の相互変換ができるようになりました。