Verktyg och kapaciteter

Översikt

Verktyg är de åtgärder dina agenter kan vidta under konversationer. När en agent behöver surfa på webben, köra ett kommando, läsa en fil eller styra en enhet använder den verktyg.

Neotask tillhandahåller en rik uppsättning inbyggda verktyg som täcker filhantering, kodexekvering, webbläsarautomatisering, enhetsstyrning, meddelanden, webbsökning och mer.

Filoperationer

Agenter kan läsa, skriva och redigera filer i sin arbetsyta:

• Läs, Läs filinnehåll
• Skriv, Skapa eller skriv över filer
• Redigera, Gör riktade redigeringar av specifika delar av en fil
• Tillämpa patch, Tillämpa flerblock unified diffs för komplexa filmodifikationer

Kodexekvering

Agenter kan köra skalkommandon med konfigurerbar isolering:

• Gateway-exekvering, Kör kommandon direkt på maskinen som är värd för Gateway
• Sandlådeexekvering, Kör kommandon i isolerade Docker-containrar med resursgränser
• Nodexekvering, Kör kommandon på anslutna följarenheter (macOS, Linux-noder)

Exekveringsfunktioner

• Konfigurerbara tidsgränser (standard 30 minuter)
• Bakgrundsjobbhantering (lista, polla, döda, rensa)
• Auto-bakgrund för långvariga kommandon
• TTY-stöd för interaktiva program
• Förhöjt läge för privilegierade operationer (enbart Gateway-värd)

Godkännandearbetsflöden

Känsliga kommandon kan kräva användargodkännande innan exekvering:

• Tillåtningslista, Enbart förgodkända kommandon körs
• Fråga, Okända kommandon uppmanar till godkännande
• Fullständig, Inga begränsningar

Webbläsarautomatisering

Agenter styr en fullständig Chromium-baserad webbläsare (Chrome, Brave eller Edge):

Åtgärder

• Navigera, Öppna URL:er och navigera mellan sidor
• Interagera, Klicka, skriv, hovra, dra, välj, fyll i formulär
• Fånga, Ta skärmbilder, exportera PDF:er
• Inspektera, Ta ögonblicksbild av DOM eller tillgänglighetsträd
• Kör, Kör JavaScript i sidkontexten
• Ladda upp, Ladda upp filer till webbformulär
• Hantera, Hantera dialoger (varningar, bekräftelser), läs konsolutdata

Webbläsarprofiler

Flera isolerade webbläsarprofiler för att separera konton:

• Varje profil har sina egna cookies, lagring och historik
• Auto-tilldelade CDP-portar för programmatisk styrning
• Fjärrwebbläsarstöd (anslut till webbläsare på andra maskiner)

Canvas och A2UI

Agent-till-UI (A2UI)-systemet låter agenter rendera interaktivt visuellt innehåll på anslutna enheter:

• Presentera, Visa webbsidor eller anpassat innehåll på en enhets canvas
• Navigera, Styr vad som visas i canvas-fönstret
• Utvärdera, Kör JavaScript i canvas-kontexten
• Ögonblicksbild, Fånga vad som för närvarande visas
• A2UI Push, Skicka strukturerade UI-uppdateringar (JSONL-nyttolaster) till canvas
• A2UI Reset, Rensa canvas-tillståndet

Canvas-rendering är tillgänglig på macOS (WebKit), iOS (SwiftUI), Android (Jetpack Compose) och webben (WebChat).

Nodenhetskapaciteter

Via anslutna följappar kan agenter:

Kamera

• Snap, Ta foton (fram- eller bakkamera)
• Klipp, Spela in videoklipp med konfigurerbar varaktighet och bildfrekvens

Skärm

• Spela in, Fånga skärminspelningar med konfigurerbar varaktighet och kvalitet

Plats

• Hämta, Hämta GPS-koordinater med noggrannhetsval

Notiser

• Meddela, Skicka inbyggda OS-notiser med titel, innehåll och prioritet

Systemkommandon

• Kör, Kör skalkommandon på nodenheten
• Which, Kontrollera om ett kommando är tillgängligt på noden

Meddelanden

Agenter kan skicka och hantera meddelanden på anslutna kanaler:

• Skicka, Skicka meddelanden till vilken ansluten kanal/mottagare som helst
• Redigera, Redigera tidigare skickade meddelanden
• Reagera, Lägg till reaktioner på meddelanden
• Tråd, Skapa trådar och svara inom dem
• Omröstning, Skapa omröstningar på stödda plattformar
• Röst, Kontrollera röstkanalsstatus (Discord)

Webb

• Sök, Webbsökning via Brave Search API
• Hämta, Hämta webbsidor och konvertera HTML till markdown/text

Minne och kontext

• Minnessökning, Vektorsimilaritetssökning över agentminnefiler
• Minneshämtning, Hämta specifika minnesfiler med namn

Sessionshantering

• Lista sessioner, Visa aktiva sessioner på agenter
• Sessionshistorik, Hämta transkript för vilken session som helst
• Skicka till session, Skicka meddelanden till andra agentsessioner
• Skapa underagent, Starta isolerade underagentkörningar
• Lista agenter, Visa tillgängliga agenter

Automatisering

• Cron, Skapa, redigera, kör och hantera schemalagda jobb
• Gateway, Starta om gateway, tillämpa konfigurationsändringar, kör uppdateringar

Bildanalys

Agenter kan analysera bilder med konfigurerade synmodeller, beskriva innehåll, extrahera text, identifiera objekt och svara på frågor om visuellt innehåll.

Verktygsgrupperingar

Verktyg är organiserade i grupper för enkel behörighetshantering: