Janって何ぞや!?
JanはOpen AIのChatGPTのようなAIチャットを公開っされているモデルを使ってローカル環境で実行できるAIプラットフォームです。(公開モデルはGGUF形式のみ対応しています。)
加えてこのJanはWeb APIサーバとして起動することも可能です。(試したことはない。)
インストール
作業環境
- CPU:AMD 3600
- メモリ:24GB
- グラボ:NVIDIA GeForce RTX 2070 SUPER
- OS:Windows11
インストール作業
- CUDA:最新(12.6)
- Jan:最新
- Cortex(Jan拡張機能):最新
CUDAインストーラーはこちらでダウンロードしてください。
Janインストーラーはこちらでダウンロードしてください。
CortexはJanを起動して設定からインストールしましたはずですが、手順は忘れました。
Janを使ってみる
- Hugging Faceでモデルを探す。
- Janから対象モデルのモデル名/URLを入力し、モデルをダウンロードする。
- Janでスレッドを新規作成し、ダウンロードしたモデルを選択する。
- 質問してみる。
Fugaku-LLMが動作しない…。
元々スーパーコンピュータ富岳で学習したAIモデルが公開されているということで使ってみたくJanを入れてみたのですが、そのFugaku-LLMが動作しませんでした。(何だかGGUF形式に異常の趣旨のメッセージが表示されていたような気がします。)
私はもう諦めましたので、エラーを解消する方法があれば教えてください!