要点（30秒で）: LINEヤフーの親会社LY Corporationが、AIエージェントにiOSシミュレータとAndroid実機/エミュレータの「目と手」を与えるOSS「sim-use」を公開した。アクセシビリティ木を生JSONの約16分の1に圧縮し、同じコマンド体系で両OSを叩ける。モバイルアプリにエージェントを噛ませたいなら、まず brew install lycorp-jp/tap/sim-use から触ってみる価値がある。

この記事の内容（約8分で読めます）

1. 背景・文脈
2. 仕組み・特徴
3. 競合との位置取り
4. 始め方と使いどころ
5. 日本・個人開発の視点
6. 要点まとめ
7. 出典・リンク

ブラウザを操作するAIエージェント、たとえばBrowser Useは2026年に入ってGitHubスター9万超まで膨らんだ。だが「スマホアプリを触らせる」側は、まだ決定打が無い。

そこに日本の大手——LY Corporation（旧LINEヤフー、ZホールディングスとLINEの統合体）——が静かに投げ込んだのが、Apache 2.0ライセンスのCLIツール「sim-use」だ。リポジトリの概要文は短い。「Give your AI agent eyes and hands on iOS Simulator and Android emulator/devices.」——AIエージェントに、シミュレータと実機の目と手を与える。

背景・文脈

AIにスマホを操作させる試みは、ここ1年でMCP（Model Context Protocol）サーバーの形で複数立ち上がっている。joshuayoes氏の「ios-simulator-mcp」、mobile-next/mobile-mcp、Callstack社の「agent-device」あたりが代表格だ。

設計思想はおおむね二派に分かれる。スクリーンショットを取って画像でLLMに渡す派と、アクセシビリティ木（OSが内部に持つUI構造）を文字列でLLMに渡す派だ。

トークン効率の差は決定的で、複数の検証では、画面1枚のアクセシビリティ木が約4,000トークンで済むのに対し、同じ画面のスクリーンショットは50,000トークン前後に膨らむと報告されている。20ステップのワークフローを回せばこの差は速度・コスト・正確性のすべてに効いてくる。sim-useははっきりとアクセシビリティ木派、しかも「圧縮した木」を渡す設計を選んでいる。

仕組み・特徴

sim-useの中身は、Swift 85.5%、Kotlin 5.3%、Shell 6.8%、TypeScriptが少々。iOS側のベースは、英国のCameron Cooke氏が個人で公開していた「AXe」（MITライセンス、Apple非公開アクセシビリティAPIをSwiftから叩くCLI）のフォークで、ここにAndroidのAccessibilityServiceを足し、コマンド体系を両OS共通に揃え直したものだ。下回りでMeta社のidb XCFrameworksも使う。

最大のセールスポイントは三つある。

ひとつはアクセシビリティ木の圧縮で、リポジトリは「生JSONより約16倍コンパクト」と明記する。sim-use ui を叩くと、画面上の要素に @1, @2… というエイリアスが振られた読みやすいアウトラインが返り、LLMはそれを見て sim-use tap @9 のような短い指示で叩ける。

二つ目はコマンド体系の統一で、iOSでもAndroidでも同じ動詞・同じフラグが効く。sim-use ui --device $UDID で観測し、sim-use tap --label "General" でラベル指定で叩く。プラットフォーム固有の知識を覚え直す必要がない。

三つ目は速度だ。端末ごとにバックグラウンドで常駐デーモンを立てる設計のおかげで、初回以降は1往復約300msで済むという。Webview内の要素やシステムオーバーレイまでアクセシビリティ木を歩いて拾うため、ハイブリッドアプリ相手でも取りこぼしが少ない。

競合との位置取り

似た領域には先行プロダクトがある。mobile-next/mobile-mcpはアクセシビリティ優先＋スクリーンショット代替の二段構えで、MCPサーバーとして配るのが特徴。Callstackのagent-deviceはMITライセンスで、対象がモバイルにとどまらずTV・デスクトップ・Webまで広がっており、@e1, @e2 といったセマンティック参照を返す。

sim-useはそれらに比べて、「iOSとAndroidの両方を、同じCLIで、同じ動詞で叩く」一点に絞り込んでいるのが特色だ。MCPサーバーとして起動する形ではなく、純粋なCLIである点も実はメリットで、エージェント側のフレームワークに依存せず、シェルから直接でも、Claude CodeやCodexのようなコーディングエージェントのbashツール経由でも、同じように動く。

始め方と使いどころ

導入は2行で終わる。

brew tap lycorp-jp/tap
brew install lycorp-jp/tap/sim-use

そのあと sim-use init --client claude を叩けば、ClaudeのSkillディレクトリにsim-use用のエージェントスキルが配置される。あとはClaude側に「このアプリのログイン画面のテストを通して」と頼めば、sim-use ui で画面を読み、sim-use tap でボタンを押し、sim-use type 'Hello World!' で文字を入れ、必要なら sim-use record-video --fps 15 --output recording.mp4 で証跡まで残す——という流れがそのまま動く。

刺さるのは、E2Eテストの自動化、QAの「再現手順だけ書けばあとはAIにやってもらう」運用、それからアプリの操作デモを大量に作りたい現場あたりだろう。同じシナリオをiOSとAndroidで二重に回すコストが、構造的にぐっと下がる。

日本・個人開発の視点

注目したいのは出自だ。LY CorporationはLINEとYahoo! JAPANを統合した日本最大級のインターネット企業で、グループ全体のエンジニアは7,000人規模。今年は独自のAIエージェントブランド「Agent i」も発表しており、社内に大量のモバイルアプリとそれを支えるテスト基盤を抱えている。

そんな会社が、社内で磨いたであろうツールを、Apache 2.0で出してきた。しかも母体はCameron Cooke氏というイギリスの個人開発者のOSS（AXe）であり、その上にAndroid対応を足してコミュニティに戻している。

「個人OSSを社内で使い、機能を足し、ライセンスを守ってフォークを公開する」——日本の大手がここまできれいにOSSの流儀に乗ってくる例は、まだ多くない。AIエージェント時代のテスト・自動化の基盤を、海外勢だけでなく日本発からも提示し始めた、という意味でも記録に残しておきたい一本だ。コーディングエージェントの土台選びについてはコーディングAI比較｜Claude Code・Copilot・Cursorどれが最強？も合わせて参考にしてほしい。

要点まとめ

• LY Corporation（旧LINEヤフー）がOSS「sim-use」をApache 2.0で公開。AIエージェントにiOSシミュレータとAndroid端末の「目と手」を与えるCLI。
• アクセシビリティ木をLLM向けに約16倍に圧縮し、@1, @2 のエイリアス指定でタップ可能。スクリーンショット派より圧倒的にトークン効率が良い。
• iOSとAndroidで動詞・フラグを統一し、同じコマンドで両OSを叩ける。デーモン常駐により初回以降は約300msで往復。
• 出自はCameron Cooke氏の個人OSS「AXe」のフォーク＋Android対応。Meta社のidbも下回りで利用。
• brew install lycorp-jp/tap/sim-use で導入、sim-use init --client claude でClaudeのSkillに自動統合される。

出典・リンク

• 出典: https://github.com/lycorp-jp/sim-use
• 親プロジェクト（フォーク元）: cameroncooke/AXe
• 比較対象: mobile-next/mobile-mcp / callstack/agent-device / joshuayoes/ios-simulator-mcp
• 背景: LY Corporation「Agent i」発表 / Browser Use（参考：ブラウザ操作AIの代表格）
• アクセシビリティ木とAIエージェントのトークン効率: The Accessibility Tree Is How AI Agents Read Your Site（SEJ）