初めに

ollama（※1)でIBM Graniteモデルが使えるようになったので、試してみた。

※１：ollma(https://ollama.com)とは、ローカル環境で大規模言語モデルを手軽に扱えるようにするツール

前提条件

dockerが導入済みであること

手順

1.以下のコマンドを入力し、ollamaのコンテナ名を起動

docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

2. 以下のコマンドを入力し、Graniteモデルを起動

docker exec -it ollama ollama run granite3.1-dense:2b

3. プロンプトを入力し結果を取得

[>>>]というプロンプトを入力する記号が出力されるので、プロンプトを入力し、結果を取得します。
以下は、サンプルの入力と出力結果になります。
※CPUで推論するので、結果が出力されるのに時間がかかります。

>>>  Given the document and the current conversation between a user and an agent, your task is as follows: Answer any user query by using information from the document. The respon
... se should be detailed.
... 
... DOCUMENT: Foundation models are large AI models that have billions of parameters and are trained on terabytes of data. Foundation models can do various tasks, including text,
...  code, or image generation, classification, conversation, and more. Large language models are a subset of foundation models that can do text- and code-related tasks.
... DIALOG: USER: What are foundation models?

Foundation models are extensive AI models characterized by having billions of parameters and being trained over vast amounts of data, typically in the terabytes range. 
These models possess a broad capability set, enabling them to perform a wide array of tasks. Some common applications include text generation, text classification, code 
generation, image generation, conversation modeling, and more. It's important to note that large language models are a specific type of foundation model, focusing primarily 
on text- and code-related tasks due to their extensive training on related data.

最後に

ollmaでは、Llama等のいくつかのオープンソースモデルが使用可能です。また、GPUを搭載した環境では、GPUで推論させることも可能ですので、興味がある方はドキュメントを参照の上、試してみてください。