Janって何ぞや!?
JanはOpen AIのChatGPTのようなAIチャットを公開っされているモデルを使ってローカル環境で実行できるAIプラットフォームです。(公開モデルはGGUF形式のみ対応しています。)
加えてこのJanはWeb APIサーバとして起動することも可能です。(試したことはない。)
インストール
作業環境
- CPU:AMD 3600
 - メモリ:24GB
 - グラボ:NVIDIA GeForce RTX 2070 SUPER
 - OS:Windows11
 
インストール作業
- CUDA:最新(12.6)
 - Jan:最新
 - Cortex(Jan拡張機能):最新
 
CUDAインストーラーはこちらでダウンロードしてください。
Janインストーラーはこちらでダウンロードしてください。
CortexはJanを起動して設定からインストールしましたはずですが、手順は忘れました。
Janを使ってみる
- Hugging Faceでモデルを探す。
 - Janから対象モデルのモデル名/URLを入力し、モデルをダウンロードする。
 - Janでスレッドを新規作成し、ダウンロードしたモデルを選択する。
 - 質問してみる。
 
Fugaku-LLMが動作しない…。
元々スーパーコンピュータ富岳で学習したAIモデルが公開されているということで使ってみたくJanを入れてみたのですが、そのFugaku-LLMが動作しませんでした。(何だかGGUF形式に異常の趣旨のメッセージが表示されていたような気がします。)
私はもう諦めましたので、エラーを解消する方法があれば教えてください!