PythonでExcelの読み込みを高速化する方法

PythonはExcelファイルの処理にとても優れています。しかし、大きなExcelファイルを扱う際には、読み込み速度が問題になることがあります。この記事では、PythonでExcelの読み込みを高速化するいくつかの方法を紹介します。

CSV形式を利用する

PythonでExcelファイルを読み込む際には、CSV形式を利用することで読み込み速度が大幅に向上することがあります。ExcelファイルをCSV形式で保存するだけで、読み込み速度が大幅に向上することがあります。

import pandas as pd

# Excelファイルを読み込む
df_excel = pd.read_excel('file.xlsx')

# 同じデータをCSV形式で読み込む
df_csv = pd.read_csv('file.csv')

データフレームの効率的な作成

PandasのDataFrameの作成方法を変更することで、プロセスをスピードアップできます。各ファイルを既存のDataFrameに追加する代わりに、各DataFrameを個別にリストにロードします。次に、リスト全体を単一のDataFrameに連結します。

df = []
for file_number in range(10):
    temp = pd.read_csv(f"Dummy {file_number}.csv")
    df.append(temp)
df = pd.concat(df, ignore_index=True)

まとめ

Pythonを使えば、巨大なExcelファイルでも簡単に処理でき、再利用可能なコードを作成できるほか、同僚にドキュメントを提供することもできます。またPythonの高度な機能にも簡単にアクセスできることも確認できました。レポートの作成プロセス自体を完全に自動化することもできるでしょう。.