ローカルモデルで始める個人向けAIワークスペースの作り方
気づいたら、仕事中のタブ切り替えが延々と続く状態になっていました。ChatGPTが1つのタブ、Notionがもう1つ、3つ目のタブではウェブメールでメールを確認し、ターミナルではOllamaでローカルのLlamaを動かしている。データが5つの異なるサービスに散らばり、会話のコンテキストが失われ,每月十几ものサブスクリプション料金を払うのにうんざりしていました。
最近、Odysseusリポジトリを見つけました。このプロジェクトは、すべてのツールを自分のサーバーやホームコンピュータ上で一元化管理できる解决方案を提供します。
このオールインワンプラットフォームとは
開発者はOdysseusをセルフホストワークスペースと呼んでいます。本質的には、ニューラルネットワークチャット、メールクライアント、カレンダー、テキストエディタ、エージェントタスク実行システムを組み合わせたPython Webプラットフォームです。
プロジェクトの核となるアイデアはシンプルです。企業データや個人メモをサードパーティのクラウドに送信する代わりに、アプリケーションをローカルにデプロイし、好みのプロバイダーのローカルウェイトまたはAPIエンドポイントを接続します。
内部構成
開発者たちはシステムに印象的なモジュール群を詰め込んでいます。
チャット、エージェント、MCPプロトコル
基盤はamiliarな会話型インターフェースですが、ツールサポートが備わっています。モデルはシェルコマンドを実行し、ファイル操作を行い、長期メモリでコンテキストを維持できます。MCP(Model Context Protocol)標準をサポートしているため、外部ツールやカスタムスクリプトをチャットに接続できます。
ディープリサーチモジュール
複雑なトピックに関する情報を収集する必要がある場合、エージェントは検索エンジンで調査し、ページをダウンロードし、ソースを読み取り、構造化されたレポートを生成します。これは商用サービスの同様の機能に似ていますが、好きなモデルで使用できます。
ブラインドテスト(比較)
興味深い機能として、インターフェースにはブラインドモデル比較モードが含まれています。1つのプロンプトを2つのネットワークに同時に送信し、匿名の回答を見て、より良い方を選び、統合された結果を得られます。ローカル量子化モデルが重たいクラウドバージョンと同等のパフォーマンスを発揮するかを実践的に検証したい場合に便利です。
ドキュメント、メール、タスク
システムにはMarkdown、HTML、CSVサポート、シンタックスハイライトを備えたテキストエディタが含まれています。モデルはテキスト内で直接編集を提案できます。
メールにはIMAPとSMTPプロトコルのサポートがあります。ボットは受信メッセージをソートし、長いメールスレッドを要約し、返信の下書きを準備できます。カレンダーとタスクリストはCalDAV経由で同期するため、スケジュールされたタスクをエージェントに割り当てられます。
デプロイ方法
Dockerを使えば、数分でローカルにシステムを起動できます。
リポジトリをクローンしてディレクトリに移動します:
デフォルト設定をコピーしてコンテナを起動します:
起動後、インターフェースはhttp://localhost:7000でアクセスできます。初期管理者パスワードは自動生成されるため、ログから取得する必要があります:
リポジトリには、仮想化のオーバーヘッドなしでGPUの最大パフォーマンスを引き出したい場合のmacOSとLinuxへのネイティブインストール手順も含まれています。
このプロジェクトの対象者
シンプルなOpenAI APIラッパーがあれば十分な場合、このプロジェクトは過剰に感じるでしょう。メール、ノート、カレンダー、シェルなど、多くの機能が含まれています。しかし、ローカルハードウェア、テキスト作業、ルーティン自動化を一元的なインターフェースで組み合わせ、外部にデータを送信せずに済む解决方案を探しているなら、Odysseusは確かに試す価値があります。
セキュリティを忘れないでください。開発者は正直に警告しています:ツールはターミナルとファイルシステムにアクセスできるため、認証とHTTPSが設定されていない状態でポートを外部に公開することは強く推奨されません。このプロジェクトはAGPL-3.0でライセンスされています。
関連プロジェクト