llama-cpp-pythonは、Facebookが開発した言語生成AI、Llama2をPythonで扱うためのバインディングです。この記事では、その使い方について詳しく解説します。
Llama2とは
Llama2は、Facebookを運営するMeta社が開発した言語生成AI (LLM)で、OpenAI社のChatGPTに匹敵する性能を持っています。Llama2の特徴としては、軽量モデルで高性能、そして無料で使えるオープンソースであるため、開発者にとって扱いやすいモデルになっています。
llama-cpp-pythonのインストール
llama-cpp-pythonはpipを使って簡単にインストールすることができます。
pip install llama-cpp-python
Llama2モデルで推論する
llama-cpp-pythonを使って、Llama2のモデルで推論を行うことができます。以下にそのコードを示します。
from llama_cpp import Llama
llm = Llama(model_path="ggml-model-chat-q4_0.gguf")
prompt = "what is facebook?"
prompt = "Q: " + prompt + " A: "
output = llm(prompt, max_tokens=256, stop=["Q:", "\\n"], echo=True)
print(output["choices"][0]["text"])
このコードは、Llama2のモデルを使って、指定したプロンプトに対する回答を生成します。
以上がllama-cpp-pythonの基本的な使い方です。これを使って、自分のプロジェクトにLlama2の強力な言語生成能力を取り入れることができます。