PythonでCSVファイルを読み込む際には、様々な方法があります。ここでは、大量のCSVファイルを高速に読み込む方法と、1行ずつ読み込む方法について説明します。
大量のCSVファイルを高速に読み込む方法
大量のCSVファイルを読み込む際には、pandas.read_csvを用いて各ファイルをDataFrameとして読み込み、最後にpandas.concatで一つのDataFrameにまとめる方法があります。具体的なコードは以下の通りです。
import pandas as pd
_list = []
for file in fileslist:
df_tmp = pd.read_csv(file)
_list.append(df_tmp)
df = pd.concat(_list)
この方法では、forループを用いて各CSVファイルを読み込み、それらを一つのリストに格納します。最後にpandas.concatを用いて、リスト内の全てのDataFrameを一つにまとめます。
1行ずつCSVファイルを読み込む方法
1行ずつCSVファイルを読み込む場合には、pandas.read_csvのchunksizeパラメータを利用します。以下に具体的なコードを示します。
chunksize = 1
reader = pd.read_csv('sample.csv', chunksize=chunksize, encoding='utf-8')
for row in reader:
print(row)
このコードでは、chunksizeパラメータに1を指定することで、CSVファイルを1行ずつ読み込むことができます。
以上、PythonでCSVファイルを効率的に読み込む方法について説明しました。これらの方法を活用することで、大量のデータを効率的に処理することが可能となります。.