【Python】第6章第11回：ファイル操作のパフォーマンス最適化

本記事では、Pythonを使用してファイル操作を高速化するための方法を解説します。大容量ファイルを効率的に処理し、アプリケーションのパフォーマンスを向上させる技術を学びましょう。

0. 記事の概要

この記事を読むメリット

• 効率的なファイル操作を理解：Pythonでのファイル操作のパフォーマンス向上方法を学べます。
• 時間短縮のスキル習得：大容量ファイルの処理におけるベストプラクティスを習得できます。
• 実践的な知識の取得：メモリ管理やストリーミング処理の基礎を身につけられます。

この記事で学べること

• ファイル操作のパフォーマンスを制約する要因
• 効率的なファイル処理テクニック
• Pythonでのストリーミング処理の活用法

1. ファイル操作のパフォーマンスに影響する要因

1.1 主な要因

• ファイルサイズ：大容量ファイルでは処理時間が長くなる。
• 読み書き回数：頻繁な操作はパフォーマンスを低下させる。
• 入出力バッファ：小さすぎるバッファは効率を悪化させる。
• ストレージデバイスの速度：HDDよりもSSDの方が高速。

2. ファイル操作を高速化する方法

2.1 バッファサイズを調整する

# バッファサイズを指定してファイルを読み込む
with open("large_file.txt", "r", buffering=8192) as file:  # 8KBのバッファを指定
    for line in file:
        print(line.strip())

2.2 チャンク単位で処理する

# チャンク単位でファイルを読み込む
with open("large_file.txt", "r") as file:
    while chunk := file.read(4096):  # 4KBずつ読み込む
        print(chunk)

動作解説

1. bufferingオプションでバッファサイズを設定することで、ファイル操作の効率を向上させます。
2. チャンク単位での処理は、大容量ファイルの分割処理に適しています。

3. 応用例：並列処理による高速化

3.1 concurrent.futuresを使用した並列処理

# 複数ファイルの並列処理
from concurrent.futures import ThreadPoolExecutor

def process_file(file_name):
    with open(file_name, "r") as file:
        return sum(1 for line in file)

file_list = ["file1.txt", "file2.txt", "file3.txt"]

with ThreadPoolExecutor() as executor:
    results = executor.map(process_file, file_list)

print(list(results))

動作解説

1. ThreadPoolExecutorを使用して複数のファイルを並列処理します。
2. 各スレッドでファイルを処理し、合計行数を計算しています。

4. 練習問題

以下の課題に挑戦してみましょう。

1. 指定したバッファサイズで大容量ファイルを効率的に読み込むコードを書いてください。
2. 複数の大容量ファイルをチャンク単位で読み込み、合計サイズを計算してください。
3. 並列処理を用いて複数ファイルの内容を一度に処理するプログラムを作成してください。

5. 練習問題の解答と解説

問1〜3の解答例

# 問1: バッファサイズで読み込む
with open("large_file.txt", "r", buffering=16384) as file:  # 16KBバッファ
    for line in file:
        print(line.strip())

# 問2: 複数ファイルの合計サイズを計算
files = ["file1.txt", "file2.txt", "file3.txt"]
total_size = 0

for file_name in files:
    with open(file_name, "r") as file:
        while chunk := file.read(4096):  # 4KBチャンク
            total_size += len(chunk)

print(f"合計サイズ: {total_size} バイト")

# 問3: 並列処理を使った処理
from concurrent.futures import ThreadPoolExecutor

def count_lines(file_name):
    with open(file_name, "r") as file:
        return sum(1 for line in file)

file_list = ["file1.txt", "file2.txt", "file3.txt"]

with ThreadPoolExecutor() as executor:
    results = executor.map(count_lines, file_list)

print(f"行数: {list(results)}")

6. まとめ

本記事では、Pythonでのファイル操作のパフォーマンス最適化方法を学びました。バッファサイズの調整、チャンク処理、並列処理を活用して、効率的なプログラムを構築してください。