LLMforUnityを使用してローカル環境でLLMサーバーを構築しています。
※CPUとGPU共にベンチマークソフト程度の負荷がかかります。
LLM言語モデル(.gguf)が必要です。
HuggingFaceなどから取得できます。
※Llama-3-ELYZA-JP-8B-q4_k_m.gguf(約5GByte)辺りの使用を想定しています。
//最低限の設定などWindows10以降展開して作成されたフォルダ(AIIS)を適当な場所に保存、\AIIS\AIIS_Data\StreamingAssets\LLMModels内にggufファイルを格納してください。
自動的にアタッチされます。
AIIS.exeを実行後、StartボタンでLLMサーバーが起動します。
初回生成時は数分程度かかると思います。
//その他機能LLM管理、プロンプトの保存と管理、アバター呼び出しなど。
//2025/04/15AIIS0.101に更新しました。
・historyDataの管理機能。
データの上限値を設定することで、上限値を超えた部分は古い履歴から削除されます。
・LLMパラメータ管理機能。
現在値の読み込み、編集、保存機能を追加しました。
crispumworks の作品が 1 件見つかりました 全1ページ

公開日:2025年4月10日
サークル:crispumworks
最安価格:440 円
LLMforUnityを使用してローカル環境でLLMサーバーを構築しています。※CPUとGPU共にベンチマークソフト程度の負荷がかかります。LLM言語モデル(.gguf)が必要です...