PythonでExcelファイルを扱う際、特に大きなファイルを扱うとき、読み込み速度が遅いという問題があります。しかし、いくつかの方法を用いることで、読み込み速度を大幅に向上させることが可能です。
CSV形式を利用する
PythonでExcelファイルを読み込むよりも、CSV形式のファイルを読み込む方が約10倍高速です。ただし、CSVファイルはExcelファイルよりもファイルサイズが大きくなる傾向があります。
データフレームの作成方法を工夫する
PandasのDataFrameの作成方法を変更することで、プロセスをスピードアップできます。各ファイルを既存のDataFrameに追加する代わりに、各DataFrameを個別にリストにロードします。次に、リスト全体を単一のDataFrameに連結します。
XML形式を直接扱う
Excelファイルの中身を見ると、実はXML形式でデータが記載されています。そのXMLファイルを直接読み込む方法もあります。
まとめ
PythonでExcelファイルを高速に読み込むための方法はいくつか存在します。CSV形式を利用する方法、データフレームの作成方法を工夫する方法、XML形式を直接扱う方法などがあります。これらの方法を適切に組み合わせることで、PythonでのExcelファイルの読み込み速度を大幅に向上させることが可能です。.