Pythonのライブラリであるpandasを使って、CSVファイルから重複行を削除する方法を紹介します。
まずは、pandasをインポートし、CSVファイルを読み込みます。
import pandas as pd
# CSVファイルの読み込み
df = pd.read_csv('your_file.csv', encoding="utf-8")
次に、drop_duplicates関数を使用して重複行を削除します。この関数は新しいDataFrameを返すので、結果を別の変数に保存します。
# 重複行の削除
df_unique = df.drop_duplicates()
最後に、新しいCSVファイルとして結果を保存します。
# CSVファイルとして保存
df_unique.to_csv('unique_file.csv', index=False)
以上で、Pythonとpandasを使ってCSVファイルから重複行を削除する方法を紹介しました。この方法は大量のデータを扱う際に非常に便利です。.