はじめに
IBM watsonx.ai は、さまざまな言語処理モデルを提供し、その中には日本語処理に特化したものも含まれています。ここではその中から、2024年2月29日にリリースされたgranite-8b-japaneseを取り上げ、その性能と特徴に焦点を当てます。
granite-8b-japanese に搭載されたバイリンガルトークナイザ
granite-8b-japaneseは、日本語処理におけるトークン化の問題に焦点を当てて設計されています。一般的なトークナイザでは日本語文字を複数のバイトトークンに分割してしまうことがあり、その結果、文脈を考慮できるトークン数が制限されてしまいます。これにより、文脈の長さが短くなり、日本語の処理が効率的ではありません。granite-8b-japaneseでは、SentencePieceを利用した日本語・英語のバイリンガルトークナイザが採用されており、日本語の特性を考慮したトークナイザを実現しています。
評価方法：トークン数と処理時間
下記テキストを要約する処理を実施し、各モデルの処理時間と処理されたトークン数を比較しました。
青空文庫「桃太郎」：文字数：5,379 （本文: 5,353 + 指示文: 26）
計測結果
| watsonx.ai LLMモデル | 入力トークン数 | 処理時間（秒; 3回平均） | 備考 |
| granite-8b-japanese | 3,135 | 8.0 | - |
| granite-13b-chat-v2 | 5,547 | 10.4 | 結果は英語表示 |
| elyza-japanese-llama-2-7b-instruct | 6,119 | - | 処理エラー（入力トークン制限(4,096)超過） |
| llama-2-70b-chat | 6,119 | - | 処理エラー（入力トークン制限(4,096)超過） |
結果評価と考察
granite-8b-japaneseは、トークン数が他のモデルに比べて少なく、処理も比較的短い時間あることがわかりました。トークン数は処理コストにも影響するため、コストダウンも期待できます。
また、各LLMには入力トークン数の制限があるため、日本語長文の処理に向いていることも分かります。
これらのことから、日本語処理を行い、日本語の自然な表現や文脈を考慮した応答が必要な場合には、granite-8b-japaneseを選択することが適切と解釈できます。
参考情報
IBM Research 「Granite 基盤モデル」
楠山正雄 「桃太郎」 青空文庫
Granite-8b-japaneseのバイリンガルトークナイザの効果検証 ～その2: OpenAI GPTとの比較～
※当ブログはOpenAI ChatGPTが出力した文章を参考にしています。
