要点（30秒で）: 社内に眠るMacやGPUを、公開鍵で直結するP2P網で束ね、OpenAI互換の1つのAPIに見せる「Mesh LLM」が公開された。1台では載らない235Bのモデルを複数マシンに分割して走らせられる。まずは「クラウドに送りたくないデータ」を持つチームが、手元のハードで何ができるかを試す価値がある。
この記事の内容（約7分で読めます）
大きなモデルを動かしたいなら、大きなGPUを買え——この当たり前を、ちょっとズラす道具が出てきた。
「Mesh LLM」は、複数マシンのGPUを束ねて1つの計算資源として扱い、それをOpenAI互換のAPIとして外に見せる仕組みだ。売り文句は素っ気ないほど明快で、大きなGPUを買わずに大きなモデルを走らせる。社内のあちこちに散らばった既存ハードを、そのまま推論に使い回す発想である。
何が新しいのか
分散推論そのものは新しくない。だがMesh LLMが面白いのは、その土台に「iroh」というP2Pネットワークライブラリを敷いた点にある。
irohは、IPアドレスではなく公開鍵でマシンを名指しし、その2台の間に認証済みでNAT越えするQUIC接続を張る。要はTailscaleやSteamのネットワーキングに近いが、サービスではなくアプリに組み込むライブラリだ。開発元のnumber zero(n0)によれば、接続の約9割は中継サーバを介さず直結でき、転送データの95%はマシン間を直接流れる。
このirohが、今年6月15日に1.0へ到達したばかりというのも見逃せない。ワイヤプロトコルが安定し、Python・Node.js・Swift・Kotlin向けの公式バインディングも揃った。Mesh LLMは、その「安定した土管」の上に建った最初の実用アプリの一つと言える。
① 仕組み図：Skippyは1台に載らないモデルを「レイヤー単位」で分割し、マシン間はアクティベーション(KB級)だけを流す。ユーザーには localhost:9337/v1 という1つのOpenAI互換API窓口に見える。
仕組み——3つの走らせ方と「Skippy」
Mesh LLMには3つの動作モードがある。手元のGPUでそのまま実行する、すでにそのモデルを動かしている別ノードへ転送する、そして1台には載りきらない巨大モデルを複数マシンに分割する——この分割モードに「Skippy」という名がついている。
分割の考え方はパイプライン並列だ。モデルをレイヤー単位で区切って各マシンに割り当て、途中の計算結果(アクティベーション)だけを次の段へ受け渡していく。ここが肝で、マシン間を流れるのは重み(ギガバイト級)ではなく、アクティベーション(キロバイト級)にすぎない。だから1Gbpsのイーサネットでも成立する。
内部ではQUICのALPNで3種のプロトコルを切り替える。メッシュのゴシップとルーティングを担うmesh-llm/1、設定と所有権のmesh-llm-control/1、そして分割モデルのアクティベーション転送用skippy-stage/2だ。推論エンジンにはllama.cppを使い、ユーザーからはlocalhost:9337/v1という、どのOpenAIクライアントにも刺さる1つの窓口に見える。
配布物はわずか18MB前後。40以上のモデルを扱え、ノートPCに載る5億パラメータ級から、235BのMoE(Mixture of Experts)の巨人まで幅がある。
② 比較表：似た試みの中でのMesh LLMの立ち位置。exo（Mac専用）やインターネット規模を志向したPetalsと、対応環境・方式・現実的な範囲・課題で対比する。
実測——「使える」の一歩手前
では実際どれくらい出るのか。Hacker Newsでの報告が具体的だ。M3 UltraとM1 Ultraの2台のMac Studioを1Gbitイーサで繋ぎ、5msの遅延を加えた条件で、GLM 5.2が毎秒およそ10トークン。Qwenの235B MoEは2ノードで毎秒16トークンが出て、「対話に使える一歩手前」と評された。
導入の容易さも評判がいい。あるMacBook Proユーザーは、たった1コマンドでメッシュに参加してモデルを配れたと書き、「どれだけ簡単だったか、言い尽くせない」と絶賛している。モデルの選択・ダウンロード・GPU利用が一気通貫で繋がる体験は、地味だが効く。
③ チェックリスト図：導入判断。手元資産を束ねる価値が高い場面と、遅延の壁・プライバシー未解決ゆえに慎重になるべき場面を左右で対比する。
限界——なぜ「社内まで」なのか
ここで冷静になるべき数字がある。ネットワーク遅延だ。あるコメントは、4台に分割すると1トークンあたり約3msの遅延が積み上がり、遅延1msの網でも理論上は毎秒30トークンで頭打ちになると試算した。段を増やすほど、トークン生成は待ち時間の連なりになる。
だから「アクティベーションしか流れない」利点があっても、Mesh LLMが現実的なのはローカルや社内のネットワークまで、という結論になる。インターネット越しに世界中のマシンを束ねるBitTorrent型の夢——Petalsが挑んだ領域は、遅延の壁に阻まれる。
もう一つ、まだ答えの出ていない問題がプライバシーだ。分割推論では、経路上のすべてのノードが入力の全文を見られる。悪意あるノードへの防御策も現状は未整備で、開発側も満足いく解決策はまだ無いと認めている。途中でノードが落ちても動的に再ルーティングする耐障害性は用意されているが、信頼できない相手とメッシュを組むのは、まだ早い。
立ち位置——exoとの違い
似た試みは他にもある。よく比較されるのがexoだが、こちらはMac専用だ。Mesh LLMはirohの土台ゆえにクロスプラットフォームで組める点が差別化になる。tensor並列のように演算を細かく割ってデータセンター級の帯域を要求するのではなく、レイヤー単位のパイプライン並列に振り切ったことで、寄せ集めのハードでも成立させている。
日本・個人開発の視点
この話が日本の読者に効くのは、「手元にある資産の使い回し」という一点だ。円安と電力コストの中で、最新の大型GPUを買い足すのは重い。だが研究室や小さなチームには、型落ちのMacや遊んでいるワークステーションが案外ある。
それらを1コマンドで束ね、40万円のローカルAI開発機を1台買うのとは別の解き方を示せるなら、意味は小さくない。カルテや設計図のようにクラウドへ出しにくいデータを扱う現場ほど、社内で閉じた推論網の価値は上がる。
要点まとめ
- Mesh LLMは複数マシンのGPUを束ね、OpenAI互換の1つのAPIとして見せる分散推論の仕組み。土台は公開鍵で直結するP2Pライブラリiroh。
- モデルをレイヤー単位で分割する「Skippy」モードにより、1台に載らない235B級も複数マシンで走らせられる。流れるのは重みでなくアクティベーションだけ。
- 実測はMac Studio 2台でGLM 5.2が毎秒10トークン、235B MoEが16トークン。導入は1コマンドと手軽。
- 遅延の壁ゆえ現実的なのはローカル・社内網まで。プライバシー(全ノードが入力を閲覧可)とセキュリティは未解決。
- exoのMac専用に対しクロスプラットフォームが強み。
🐦⬛ 編集部の視点
正直に言えば、数字だけ見ればまだ「実用一歩手前」だ。毎秒10〜16トークンは、クラウドのAPIに慣れた指には遅い。それでもこのニュースが刺さるのは、方向が正しいからだ。
クラウドAIの本質的な不自由は、いつモデルが変わるか、データがどこへ行くか、どのハードで動くかを、こちらが選べないことにある。Mesh LLMはそこに「自分たちのハードで、自分たちの網で」という選択肢を、ライブラリ一本の手軽さで差し込んできた。しかもirohが1.0に到達した直後というタイミングが良い。土管が安定して初めて、その上に住むアプリが本気になれる。
問いを一つ。あなたのオフィスに、いま何台のGPUが遊んでいるだろうか。それを束ねて235Bを走らせられるとしたら、まだクラウドに毎月払い続けるだろうか。
出典・リンク
- 出典: https://www.iroh.computer/blog/mesh-llm
- iroh公式 / number zero: https://www.iroh.computer/
- iroh (GitHub): https://github.com/n0-computer/iroh
- Hacker News 議論: https://news.ycombinator.com/item?id=48876505
- Iroh 1.0 リリース解説(Pinggy): https://pinggy.io/blog/iroh_1_0_dial_keys_not_ips/
コメントを残す