vimGPT：GPT-4Vがリンクのクリックを覚えるとき

AIがテキストを生成するだけでなく、Webページと実際にやり取りし、ボタンを押し、フォームに入力し、タブ間を移動すると想像してみてください。SFのようですが、これがvimGPTが実現することです。GPT-4VのパワーとVimiumの利便性を組み合わせています。

なぜ興味深いのか？

ほとんどのAIアシスタントはテキストの入出力のみに対応しています。しかし、インターネットは主にビジュアルな環境です。問題は、一般的なLLMはDOMにアクセスできないため、Webページの構造を理解できないことです。

vimGPTの作成者は、GPT-4Vとブラウザの間の「仲介役」としてVimium——キーボードナビゲーション拡張機能——を使用する効率的な解決策を見つけました。その結果、モデルはページを「見て」どこをクリックするかを選択でき、標準的なvim風のコマンドを使用します。

動作の仕組み

1. 視覚的知覚: GPT-4Vはページのスクリーンショットを受け取る
2. 分析: モデルはどの要素がインタラクティブかを判断する
3. アクション: 対応するコマンドがVimiumを通じて送信される（例：リンクをフォローするためのf）
4. 反復: タスクが完了するまでプロセスが継続される

技術的には、Pythonを使用して以下のように実装されています：

• ブラウザ自動化のためのPlaywright
• GPT-4Vでの作業のためのOpenAI API
• ナビゲーション制御のためのVimium

主な機能

1. 音声コントロール

--voiceモードを有効にすると、AIがリアルタイムでアクションを実行している様子をみながら、何を行う必要があるかを単に言うことができます：

python main.py --voice

2. 自動ナビゲーション

vimGPTは以下のことができます：

• フォームへの入力
• 検索の実行
• ウェブサイト上の複雑なパスのナビゲート
• マルチステップシナリオの実行

3. アクセシビリティ

このプロジェクトは、障碍を持つ人々のために、声によるブラウザ制御を可能にし、新しい可能性を開きます。

ユースケース

1. ルーティンタスクの自動化: アカウントへのログイン、請求書の支払い
2. Webインターフェースのテスト: ユーザビリティの確認
3. 教育: AIが実際のインターフェースでどのように動作するかのデモンストレーション
4. 研究: ビジュアル環境でのLLM行動の研究

将来の方向性

作成者は多くの改善アイデアを提案しています：

• Assistant APIとの統合
• 代替モデルの使用（LLaVA、CogVLM）
• 画像解像度向上
• Whisperによる音声追加

試してみるべきか？

vimGPTはコンピュータビジョンと言語モデルの交差点における大胆な実験です。以下に該当する場合は：

• AIアシスタントを開発している
• マルチモーダルAIに興味がある
• Webインタラクションを自動化したい
• LLMの新しいインターフェースを探求している

...このプロジェクトは確かに注目に値します。まだプロダクションのコンセプトですが、潜在的なアプリケーションは自動化からアクセシビリティまで非常に巨大です。

AIが新しい方法でWebとやり取りする様子を試してみてください：

git clone https://github.com/ishan0102/vimGPT.git
cd vimGPT
pip install -r requirements.txt
./setup.sh
python main.py

興味深いことに、このプロジェクトはすでに認知されています——Hacker Newsで議論され、WIREDでさえ言及されました。これは今日、GPT-4Vを使用する方法の中で最も異例の1つです。