ChatGPTで簡単！ファインチューニング用教師データ作成ガイド

ChatGPTのファインチューニングに挑戦しようとしているあなた、以下のような悩みを抱えていませんか？

教師データの作成方法がわからない
CSVデータをJSONL形式に変換する作業が面倒
ファインチューニング用のデータの準備に時間がかかりすぎる

今日はそんなあなたに朗報です。ChatGPTを使って、ファインチューニングに必要な教師データを簡単に作成する方法をご紹介します。

この記事を読めば、CSVデータを瞬時にJSONL形式に変換し、ファインチューニングの準備時間を大幅に短縮できるようになります。プログラミング初心者の方でも簡単に実践できる3ステップのガイドをお届けしますので、ぜひ最後までお付き合いください。

1. ChatGPTファインチューニングの教師データとは

ChatGPTのファインチューニングを行うためには、適切な形式の教師データが必要不可欠です。この教師データは、モデルに新しい知識や振る舞いを学習させるための基礎となります。

通常、教師データはJSONL（JSON Lines）形式で準備する必要があります。しかし、多くのエンジニアにとって、このデータ形式の準備は面倒な作業になりがちです。特に大量のデータを扱う場合、手作業での変換は時間がかかり、ミスも発生しやすくなります。

2. ChatGPTを使った簡単データ変換

2.1 CSVからJSONLへの変換：ChatGPTの活用

ここで注目したいのが、ChatGPTを使ったデータ変換の方法です。ChatGPTは単なる会話AIではありません。適切なプロンプトを使うことで、データ変換ツールとしても活用できるのです。

CSVデータをアップロードし、特定のプロンプトを使用することで、ChatGPTは自動的にJSONL形式に変換してくれます。この方法を使えば、プログラミングスキルに関係なく、誰でも簡単にファインチューニング用のデータを準備できます。

2.2 変換プロンプトの詳細

ChatGPTにCSVデータを変換させるための具体的なプロンプトは以下の通りです：


# 指示
- インタープリターで実行
- 空文字の行は削除する
- CSVのカラム名を確認して、自動で適切なrole名前に割り当てる
- 与えられたCSVをChatGPTのファインチューニング用のJSONL形式に変換
- 日本語を含むテキストを正しくエンコードするために、json.dump関数でensure_ascii=Falseを使用する
- 出力されたJSONLファイルに重複する行があれば削除する
- JSONLとしてパースできるかを確認する

# 出力例
{"messages": [{"role": "system", "content": "Marv is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "What's the capital of France?"}, {"role": "assistant", "content": "Paris, as if everyone doesn't know that already."}]}
{"messages": [{"role": "system", "content": "Marv is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "Who wrote 'Romeo and Juliet'?"}, {"role": "assistant", "content": "Oh, just some guy named William Shakespeare. Ever heard of him?"}]}
{"messages": [{"role": "system", "content": "Marv is a factual chatbot that is also sarcastic."}, {"role": "user", "content": "How far is the Moon from Earth?"}, {"role": "assistant", "content": "Around 384,400 kilometers. Give or take a few, like that really matters."}]}

このプロンプトを使用することで、ChatGPTはCSVファイルの内容を理解し、適切なJSONL形式に変換します。