Jak zbudować osobisty obszar roboczy AI z modelami lokalnymi

Złapałem się na tym, że mój dzień pracy zamienił się w nieustanne przełączanie kart. ChatGPT w jednej zakładce, Notion w drugiej, e-mail przez interfejs webowy w trzeciej, a Ollama uruchamiająca lokalną Llamę w terminalu. Dane porozrzucane po pięciu różnych serwisach, kontekst rozmów ginący, a płacenie za tuzin subskrypcji co miesiąc zaczęło mnie nużyć.

Ostatnio natknąłem się na repozytorium Odysseus. Projekt oferuje zebranie wszystkich tych narzędzi pod jednym dachem na własnym serwerze lub komputerze domowym.

Czym jest ta platforma all-in-one

Programiści nazywają Odysseus samodzielnie hostowanym obszarem roboczym. Zasadniczo to platforma webowa w Pythonie, która łączy czat z sieciami neuronowymi, klienta pocztowego, kalendarz, edytor tekstu i system wykonywania zadań przez agentów.

Główna idea projektu jest prosta. Zamiast przekazywać firmowe dane lub osobiste notatki chmurom stron trzecich, wdrażasz aplikację lokalnie i łączysz ją albo z lokalnymi wagami, albo z punktami końcowymi API od wybranych dostawców.

Co jest w środku

Programiści zapakowali w ten system imponujący zestaw modułów.

Czat, agenci i protokół MCP

Fundamentem jest znajomy interfejs konwersacyjny, ale z obsługą narzędzi. Modele mogą wykonywać polecenia powłoki, pracować z plikami i utrzymywać kontekst w pamięci długoterminowej. Istnieje wsparcie dla standardu MCP (Model Context Protocol), więc możesz łączyć z czatem zewnętrzne narzędzia i niestandardowe skrypty.

Moduł Deep Research

Jeśli potrzebujesz zebrać informacje na temat złożony, agent przeszukuje wyszukiwarki, pobiera strony, czyta źródła i generuje ustrukturyzowany raport. To jest podobne do odpowiedniej funkcji w usługach komercyjnych, ale działa z dowolnymi modelami, które sam wybierzesz.

Testy w ciemno (Compare)

Ciekawe rozwiązanie: interfejs zawiera tryb ślepego porównywania modeli. Wysyłasz jedno polecenie do dwóch sieci jednocześnie, przeglądasz anonimowe odpowiedzi, wybierasz lepszą i otrzymujesz skonsolidowany wynik. Wygodne, gdy chcesz praktycznie zweryfikować, czy lokalny skwantowany model radzi sobie tak dobrze jak ciężka wersja chmurowa.

Dokumenty, poczta i zadania

System zawiera edytor tekstu z obsługą Markdown, HTML, CSV i podświetlaniem składni. Model może sugerować edycje bezpośrednio w tekście.

W przypadku poczty e-mail istnieje wsparcie dla protokołów IMAP i SMTP. Bot może sortować przychodzące wiadomości, podsumowywać długie wątki e-mailowe i przygotowywać projekty odpowiedzi. Kalendarz i lista zadań synchronizują się przez CalDAV, więc możesz przypisywać zaplanowane zadania agentom.

Jak to wdrożyć

Możesz uruchomić system lokalnie w zaledwie kilka minut przez Docker.

Sklonuj repozytorium i przejdź do katalogu:

Skopiuj domyślną konfigurację i uruchom kontenery:

Po uruchomieniu interfejs jest dostępny pod adresem http://localhost:7000. Początkowe hasło administratora jest generowane automatycznie i musisz je pobrać z logów:

Repozytorium zawiera również instrukcje natywnej instalacji na macOS i Linuxie, jeśli chcesz wycisnąć maksymalną wydajność z GPU bez narzutu wirtualizacji.

Dla kogo jest ten projekt

Jeśli potrzebujesz tylko prostego wrappera API OpenAI, ten projekt będzie wydawał się przerośnięty. Jest tu tego za dużo: e-mail, notatki, kalendarz, powłoka. Ale jeśli szukałeś ujednoliconego interfejsu do połączenia lokalnego sprzętu, pracy z tekstem i automatyzacji rutynowych zadań bez wysyłania danych na zewnątrz, Odysseus zdecydowanie warto sprawdzić.

Miej na uwadze bezpieczeństwo. Programiści uczciwie ostrzegają: narzędzia mają dostęp do terminala i systemu plików, więc wystawianie portów na zewnątrz bez skonfigurowanego uwierzytelniania i HTTPS jest zdecydowanie odradzane. Projekt jest licencjonowany na AGPL-3.0.