[Keras] Tokenizerを保存、読み込む方法

Keras-tokenizer-save-load

こんばんは、エンジニアの眠れない夜です。

KerasのTokenizerの保存方法とファイルから読み込む関数の紹介です。

KerasのR用のエクステンションだとTokenizerを保存するようの関数が用意されているのですが本家のPython版にはありません。

すっごく簡単な関数ですが、PythonにTokenizerを保存、読み込みをする関数を書いたので是非ご利用ください。
保存する時は作成したtokenとファイル名(ファイルパス)を引数に入れるだけです。

読み込む時はファイル名(ファイルパス)を引数に入れるだけです。

pickle のインストールをお忘れなく!

pip install pickle

Leave a Reply

This site uses Akismet to reduce spam. Learn how your comment data is processed.