PyMySQLの公式ドキュメントのExamplesで使われている、
cursorclass=pymysql.cursors.DictCursor
の話です。
import pymysql.cursors
# Connect to the database
connection = pymysql.connect(
host='localhost',
user='user',
password='passwd',
database='db',
charset='utf8mb4',
cursorclass=pymysql.cursors.DictCursor # これの話。
)
ドキュメントにも詳しい説明はないし、pep249でも言及されていないようなのでPyMySQLのソースコードも含めて調べてみました。
結論から言えば、実用上は黙って cursorclass=pymysql.cursors.DictCursor を指定しておけばよく、この記事は無駄知識の類のものになります。
まず、cursorclass に指定できる値は pymysql.cursors.DictCursor 以外に何があるのかですが、
これは、こちらのファイルで定義されている4種類のクラスが指定できます。
Github: pymysql/cursors.py
– pymysql.cursors.Cursor
– pymysql.cursors.DictCursor
– pymysql.cursors.SSCursor
– pymysql.cursors.SSDictCursor
https://github.com/PyMySQL/PyMySQL/blob/master/pymysql/connections.py#L179
に、
class Connection:
# 中略
def __init__(
# 中略
cursorclass=Cursor,
とある通り、デフォルトは、 pymysql.cursors.Cursor です。
この４種類のカーソルの違いですが、
Cursor と SSCursor は結果をタプルで返し、
DictCursor と SSDictCursor は結果を辞書で返してくれます。
結果の形に、CursorとSSCursor、DictCursorとSSDictCursorの間にはそれぞれ違いはありません。
SSとつく二つの方ですが、これらは主にデータが非常に大きいときや、ネットワークが遅いときなどに使います。
SSCursorのコメントがわかりやすいですね。
Unbuffered Cursor, mainly useful for queries that return a lot of data,
or for connections to remote servers over a slow network.
Instead of copying every row of data into a buffer, this will fetch
rows as needed. The upside of this is the client uses much less memory,
and rows are returned much faster when traveling over a slow network
or if the result set is very big.
There are limitations, though. The MySQL protocol doesn’t support
returning the total number of rows, so the only way to tell how many rows
there are is to iterate over every row returned. Also, it currently isn’t
possible to scroll backwards, as only the current row is held in memory.
個人的な感想としては最近の端末には十分なメモリが搭載されていて、数百万行単位のレコードを扱うときも、SS無しの方で十分さばけているので、
とりあえず DictCursor を使って、本当にメモリ不足で困った時だけ SSDictCursor を検討したらいいのかなと思っています。
Cursor(タプル) と DictCursor(辞書)についてはそれぞれ実行して結果を比較しておきましょう。
まず、cursorclassにpymysql.cursors.Cursorを指定した(もしくは何も指定しなかった場合)の結果です。
テーブルは以前の記事で作ったやつをそのまま使います。
with connection.cursor() as cursor:
sql = "SELECT id, email, password FROM users"
cursor.execute(sql)
result = cursor.fetchall()
print(result)
"""
(
(1, 'webmaster@python.org', 'very-secret'),
(2, 'sato@python.org', 'very-secret'),
(3, 'suzuki@python.org', 'very-secret'),
(4, 'takahashi@python.org', 'very-secret'),
(5, 'tanaka@python.org', 'very-secret')
)
"""
1レコードごとに結果がタプルで戻っているだけでなく、fetchallすると戻り値はタプルのタプルになっていますね。
戻ってきた結果の各値が、SELECT句のどの列の値なのかが明示されていないので、自分でマッピングする必要があります。
正直これは少し使いにくいです。
続いて、pymysql.cursors.DictCursor を指定した場合の結果です。
with connection.cursor() as cursor:
sql = "SELECT id, email, password FROM users"
cursor.execute(sql)
result = cursor.fetchall()
print(result)
"""
[
{'id': 1, 'email': 'webmaster@python.org', 'password': 'very-secret'},
{'id': 2, 'email': 'sato@python.org', 'password': 'very-secret'},
{'id': 3, 'email': 'suzuki@python.org', 'password': 'very-secret'},
{'id': 4, 'email': 'takahashi@python.org', 'password': 'very-secret'},
{'id': 5, 'email': 'tanaka@python.org', 'password': 'very-secret'}
]
"""
ご覧の通り、1レコードごとに「列名:値」の辞書として値が得られ、それらの配列として結果が返されます。
各値がSELECT句のどの列のものなのかはっきりしているのでとても便利です。
また、このままpandasのデータフレームに変換することもできます。
通常はこれを使えば良いでしょう。