モバイルなローカル LLM 環境
- 2025.01.05 作成
- gadgets
ROG XG Mobile を購入しました
ROG XG Mobile GC31 という外付け GPU ドックなるものを購入しました。
ROG XG Mobile は大幅モデルチェンジとなる RTX5090 搭載モデルが発表され (GC34)、だいぶ型落ちモデルではありますが……。
[余談] 最新 ROG XG Mobile GC34 は専用ケーブルではなく、 Thunderbolt 5 準拠の USB-C ケーブルを利用します。もはや ROG 専用の外付け GPU ボックスではなくなる可能性もありそう。ただ、現時点で Thunderbolt 5 が搭載されたマシンを確認すると、軒並み高スペックで、30 万円近くかけて (RTX5090 モデルの場合) 外付け GPU で強化する必要がどれだけあるのかはちょっと疑問...。[/余談]
前口上
一昨年あたりから OpenAI などを始めとする、いわゆる生成系 AI がもてはやされるようになり、私も周回遅れ気味ながら追いかけています。最近では業務などでもそれなりの頻度で利用するようになっています。
日常的に利用するようになると、多少なりとも拘りたいのは、ローカルの環境で LLM(大規模言語モデル)を動作させること。
ネットがない環境でも利用したいですし、自分が入力したデータ(プロンプト)の漏洩も避けたい。API での利用は従量課金になることが多く、利用料を気にしながら使うのも避けたい。
ただし、ローカルで動作させる場合、消費電力が増えたりするはずなので、いずれにしてもコストはかかります。
2021 年末に購入したデスクトップ PC は、機械学習用の環境構築がひとつの目的だったので、これに Stable Diffusion など入れたりもしていました。
このマシンには、RTX3060 というグラフィックチップが搭載されています。モデルとしてはミドルクラスでも廉価版にあたり、スペック的には、中の下という位置づけ(2025 年初頭の現在では、ローエンドと言ってしまってよいと思いますが)。
ただ、VRAM が 12GB あり、これが機械学習向けには優位に効いています。ローカルで生成 AI を利用すると、とかくメモリを使いがちです。
コスト的にはデスクトップ PC の強化をすることが有利なんですが、日本とニュージーランドを行き来することが、それなりにあるのでモバイル環境でのローカル生成 AI の道もかねてより探っていました。
外付け GPU という選択肢
最近では NPU を搭載した CPU を使って Windows Copilot などローカル環境でも動作するようになっているようですが、一般的に配布されている LLM を利用するには、やはり GPU が重要です。
Apple M シリーズは CPU/GPU 共有メモリな特徴を活かして、 GPU 側にメモリを多めに割り振ることで比較的大きなモデルでも動作させることができるようです。ただ、メモリ多く積んだマシンは高額で、MacBook Air を比較的最近購入したのもあり、今回は対象外。
手元にあるモバイル PC は ROG Flow X13 / ROG Ally ……これには ROG XG Mobile 外付け GPU ドックという周辺機器が存在します。
一方で、そもそも X13 も Ally も本体だけでも十分に実用に堪えるマシンです。ROG XG Mobile 存在自体はもちろん知っていて、気にもしていましたが、本体以上の価格なので(要するにもう一台同等のスペックのマシンを追加できる)、おいそれと購入できるものではありません。
私以外のみんなもそのように感じているらしく、ROG XG Mobile がラインアップされているリテールショップでは、品切れになることも特になくずっと並んでいる状態でした。
そこへモデルチェンジの影響でしょうか、クリアランスセールに出されていてだいぶ安くなっていました。それでも ROG Ally より高く、高価なものなので、迷いましたが……。
- ROG Ally / ROG Flow X13 と ROG XG Mobile に対応したマシンを複数所有している
- RTX3080 世代的には古いが、VRAM 16GB 積んでいる
- 携帯性に優れ、ドッグとして利用できるので、空間利用効率も良さそう
という点を鑑みて、購入に踏み切りました。
購入時点での ROG XG Mobile のモデル GC33 には、より高性能な RTX4090 が積まれているのですが、VRAM は一緒。チップそのものの性能よりも、メモリ量を重視したい私にとって費用対効果が良さそうでした。
どちらで利用するか …
ROG Ally と ROG Flow X13 どちらで利用するか……。現在のところ ROG Ally で利用する機会が多いです。
- CPU 性能は ROG Ally の方が優れている
- キーボード付きの X13 の方が持ち出す機会が多かったりする
自宅での利用、もともと ROG Ally は据え置きマシンのように利用することが多かったので、ROG XG Mobile をドックのように利用する形で、違和なく導入できました。
ROG XG Mobile を接続したら、すぐに利用できるという訳でなく、ROG XG Mobile というアプリ(?)による切替動作が必要です。10 ~ 20 秒ほど切替に時間がかかります。
切り替わった後は再起動時で待たされることはないです。あくまでも起動後に切替える時だけ時間がかかります(GPU 利用しているプロセスを一旦落として、安全に切替えられるようにしているようです)。
利用してみて
搭載されている RTX3080 はモバイル版なので、デスクトップ版ほどの性能はないと思いますが、それでも私が所有しているデスクトップ PC に搭載されている RTX3060 12GB よりも優れたパフォーマンスを発揮しています。
結果として、どう見ても携帯ゲーム機にしか見えない ROG Ally ですが、私が所有するマシンでは最も性能が出るマシンとなりました。
ただ、現状では ROG Ally を使ってゲームをすることはほとんどなく、グラフィック表現や表示速度などに関して、その圧倒的な性能を体感することはあまりなかったりします。
一方で LM Studio などを通して、ローカル環境での生成 AI の利用は日常的に行っているのですが、ここでは Z1 Extreme 16GB + RTX3080 16GB の威力を実感しています。
例えば、同じモデルを利用した時、X13 Flow (Ryzen 9 5980HS 16GB + GTX1650 4GB) と比較して 40 倍以上、MacBook Air (M2 GPU 10core / 24GB) と比較して 3 倍以上の速さで応答が返ってきたりします。
X13 Flow 単体だと LM Studio の日常的な利用は正直厳しいですが、ROG Ally + ROG XG mobile では全く問題なさそうです。