ローカルLLM構築

IT

昨年調達したM4 Mac mini(SSD 256GB)にてローカルLLMの味見。

取り敢えず著名な「LM Studio」をコンソールから入れてみたが、やっぱりGUIでなくSSH経由で使えないと不便なので、続いて「Ollama」を入れてみた。

% curl -fsSL https://ollama.com/install.sh | sh

まずはllama3.2

% ollama run llama3.2

日本の総理大臣は？ 現在の日本の総理大臣は菅下勲です（2021年10月に任期を終えたため、2022年10月から岸田総理大臣に交代しました）。 昨年のNPBの順位と、シーズンのトピックスをサマリして 昨年のNPBの順位は、以下のようになっています。

  1. DeNA BayStars
  2. Orix Buffaloes
  3. Hanshin Tigers
  4. Yokohama De Nerve
  5. Tohoku Rakuten Golden Eagles
  6. Chiba Lotte Marines
  7. Fukuoka SoftBank Hawks
  8. Hiroshima Toyo Carp
  9. Yomiuri Giants
  10. Tokyo Yakult Swallows 昨年のシーズンのトピックスは以下の通りです。
  • DeNA BayStarsが初めてタイトルを獲得しました。
  • Orix Buffaloesが3年連続でプレーオフに進出しました。
  • Hanshin Tigersが4年連続で中堅でした。
  • Fukuoka SoftBank Hawksが2年連続で最強のチームとして活躍しました。
  • ヤクルトが3年連続でトラブルが多く、チームの最下位に留まっていました。
  • ヤクルトが2022年のNPBの最優秀選手となる松山元気選手が選出されました。 これらのトピックスは、昨年のNPBシーズンを代表しています。

Knowledge cutoffは？ 私の知識カットオフは2023年12月までです。新しい情報が追加される前に、2023年12月以前に取得した情報を使用できます。

続いてgemma3:4b

% ollama run gemma3:4b

日本の総理大臣は？ 2024年5月16日現在の日本の内閣総理大臣は、岸田 文雄（きしだ ふみお） 氏です。 最新の情報は、以下のウェブサイトで確認できます。

昨年のNPBの順位と、シーズンのトピックスをサマリして 昨年の（2023年）NPB（日本プロ野球）の順位とシーズンのトピックスをサマリします。 2023年 日本プロ野球 順位

  • セ・リーグ優勝: 阪神タイガース
  • パ・リーグ優勝: 阪神タイガース
  • 順位 (セ・リーグ): 1. 阪神タイガース、2. 広島東洋カープ、3. 軟銀ロイヤルズ、4. 読売ジャイアンツ、5. 東京ヤクルトスワローズ
  • 順位 (パ・リーグ): 1. 阪神タイガース、2. 中日ドラゴンズ、3. オリックス・バファローズ、4. 福岡ソフトバンクホークス、5. 日本ハムファイター ズ 2023年 NPB シーズンのトピックス
  • 阪神タイガースの日本一: 5年ぶりの日本一を達成し、社会現象となりました。特に川崎駅でのファン感謝イベントは、スポーツ界の新たなスタンダー ドを打ち立てたと言えるでしょう。
  • 阪神タイガースのリーグ優勝: セ・リーグ、パ・リーグの両リーグを制覇し、NPB全体で唯一のリーグ優勝となりました。
  • 中日ドラゴンズの躍進: チームの再建が奏功し、2位という好成績を残しました。
  • オリックス・バファローズの優勝争い: チームメイトの誕生日を祝う「あの日」の奇跡で優勝争いに加わり、ファンを熱狂させました。
  • 若手選手の台頭: 広島の菊池涼介、阪神の筒香嘉純、中日や福岡ソフトバンクなど、様々なチームで若手選手が大きく成長し、注目を集めました。
  • 試合数の減少: 天候不順の影響で、観戦試合数が減少するという課題も浮き彫りになりました。 その他注目ポイント
  • 2023年 10月1日限りで引退を発表した選手: 長年広島で活躍した長嶋智幸選手、プロ野球通算本塁打数1位の松井秀喜選手など、数々の名選手たちが引 退を発表しました。 より詳細な情報は、以下のサイトで確認できます。
  • 日本野球機構（NPB）公式サイト: https://npb.jp/

Knowledge cutoffは？ 私の知識 cutoff は 2023年1月です。それ以降の出来事については学習していません。

取り敢えず情報系の内容は当てにならない事がわかったが、cutoffは古いものの、gemma3:4bの方が良さそうですな。

% ollama list NAME ID SIZE MODIFIED gemma3:4b a2af6cc3eb7f 3.3 GB 1 days ago llama3.2:latest a80c4f17acd5 2.0 GB 1 days ago

(後日)「LM Studio」でもlmsコマンドでできるとわかったので書いておく。

% lms ls Waking up LM Studio service… You have 3 models, taking up 4.44 GB of disk space. LLM PARAMS ARCH SIZE DEVICE google/gemma-3-4b (1 variant) 4B gemma3 3.03 GB Local llama-3.2-1b-instruct 1B Llama 1.32 GB Local EMBEDDING PARAMS ARCH SIZE DEVICE text-embedding-nomic-embed-text-v1.5 Nomic BERT 84.11 MB Local % lms load google/gemma-3-4b % lms chat

参照

ITmedia PC USER https://www.itmedia.co.jp/pcuser/