【Python】第6章第8回：テキストファイルの効率的な処理方法

本記事では、Pythonを使用してテキストファイルを効率的に処理する方法を解説します。特に大容量ファイルの処理に役立つテクニックを紹介します。

0. 記事の概要

この記事を読むメリット

• テキストファイル処理の基礎を理解：Pythonでテキストデータを簡単に扱えるようになります。
• 効率的な手法を学習：大容量ファイルを効率的に処理する方法を習得できます。
• エラー回避のスキルを向上：ファイル処理時の注意点を理解できます。

この記事で学べること

• テキストファイル処理の基本操作
• 大容量ファイルの効率的な処理方法
• 便利なライブラリの活用例

1. テキストファイル処理の基本

1.1 読み込みと書き込みの基本

# テキストファイルを開いて読み込む
with open("example.txt", "r") as file:
    content = file.read()
    print(content)

# テキストファイルにデータを書き込む
with open("example.txt", "w") as file:
    file.write("こんにちは、Python!")

1.2 各行を順次処理する方法

# 各行を順次読み込む
with open("example.txt", "r") as file:
    for line in file:
        print(line.strip())

動作解説

1. read()メソッドでファイル全体を文字列として読み込むことができます。
2. forループを使用すると、各行を順番に処理できます。
3. strip()メソッドを使うと、余分な空白を削除できます。

2. 大容量ファイルの処理方法

2.1 チャンク単位で読み込む

# チャンク単位でファイルを読み込む
with open("large_file.txt", "r") as file:
    while chunk := file.read(1024):  # 1024バイトずつ読み込む
        print(chunk)

2.2 メモリ効率を考慮した行単位の処理

# 行を一度に読み込まず、1行ずつ処理
with open("large_file.txt", "r") as file:
    for line in file:
        # 各行を処理
        print(line.strip())

動作解説

1. read()の代わりにチャンク単位で読み込むことで、メモリ消費を抑えられます。
2. 行単位の処理では、forループがメモリ効率に優れています。

3. 応用例：複数ファイルの統合

3.1 複数ファイルを1つにまとめる

# 複数のテキストファイルを1つにまとめる
files = ["file1.txt", "file2.txt", "file3.txt"]

with open("merged_file.txt", "w") as outfile:
    for fname in files:
        with open(fname, "r") as infile:
            outfile.write(infile.read() + "\\n")

4. 練習問題

以下の課題に挑戦してみましょう。

1. テキストファイルを1行ずつ読み込んで、特定のキーワードを含む行だけを出力してください。
2. 大容量ファイルをチャンク単位で読み込み、出力してください。
3. 複数のファイルを1つにまとめて保存してください。

5. 練習問題の解答と解説

問1〜3の解答例

# 問1: 特定キーワードを含む行を出力
keyword = "Python"
with open("example.txt", "r") as file:
    for line in file:
        if keyword in line:
            print(line.strip())

# 問2: チャンク単位で読み込み
with open("large_file.txt", "r") as file:
    while chunk := file.read(1024):
        print(chunk)

# 問3: 複数ファイルを1つに統合
files = ["file1.txt", "file2.txt", "file3.txt"]
with open("merged_file.txt", "w") as outfile:
    for fname in files:
        with open(fname, "r") as infile:
            outfile.write(infile.read() + "\\n")

6. まとめ

本記事では、Pythonでのテキストファイルの効率的な処理方法を学びました。特に大容量ファイルの処理や複数ファイルの統合を活用して、効率的なプログラムを作成してください。