こんばんは、エンジニアの眠れない夜です。
KerasのTokenizerの保存方法とファイルから読み込む関数の紹介です。
KerasのR用のエクステンションだとTokenizerを保存するようの関数が用意されているのですが本家のPython版にはありません。
すっごく簡単な関数ですが、PythonにTokenizerを保存、読み込みをする関数を書いたので是非ご利用ください。
保存する時は作成したtokenとファイル名（ファイルパス）を引数に入れるだけです。
読み込む時はファイル名（ファイルパス）を引数に入れるだけです。
pickle のインストールをお忘れなく！
pip install pickle
コメントを残す