Інструменти та можливості

Огляд

Інструменти, це дії, які ваші агенти можуть виконувати під час розмов. Коли агенту потрібно переглянути веб, виконати команду, прочитати файл або керувати пристроєм, він використовує інструменти.

Neotask надає багатий набір вбудованих інструментів, що охоплюють управління файлами, виконання коду, автоматизацію браузера, керування пристроями, обмін повідомленнями, веб-пошук та інше.

Файлові операції

Агенти можуть читати, записувати та редагувати файли у своєму просторі роботи:

• Read, Читання вмісту файлів
• Write, Створення або перезапис файлів
• Edit, Цільове редагування конкретних частин файлу
• Apply Patch, Застосування багатоблокових уніфікованих diff-файлів для складних змін файлів

Виконання коду

Агенти можуть виконувати команди оболонки з конфігурованою ізоляцією:

• Виконання через Gateway, Запуск команд безпосередньо на машині, що хостує Gateway
• Виконання в Sandbox, Запуск команд в ізольованих Docker-контейнерах з обмеженнями ресурсів
• Виконання на вузлі, Запуск команд на підключених допоміжних пристроях (вузли macOS, Linux)

Функції виконання

• Конфігуровані тайм-аути (за замовчуванням 30 хвилин)
• Управління фоновими завданнями (список, опитування, завершення, очищення)
• Автоматичне виконання у фоновому режимі для тривалих команд
• Підтримка TTY для інтерактивних програм
• Підвищений режим для привілейованих операцій (лише хост Gateway)

Робочі процеси затвердження

Чутливі команди можуть вимагати затвердження користувача перед виконанням:

• Дозволений список, Виконуються лише попередньо схвалені команди
• Запит, Невідомі команди запитують затвердження
• Повний, Без обмежень

Автоматизація браузера

Агенти керують повноцінним браузером на основі Chromium (Chrome, Brave або Edge):

Дії

• Навігація, Відкривати URL та переміщатися між сторінками
• Взаємодія, Натискати, вводити текст, наводити курсор, перетягувати, вибирати, заповнювати форми
• Захоплення, Робити скріншоти, експортувати PDF
• Інспекція, Знімок DOM або дерева доступності
• Виконання, Запуск JavaScript у контексті сторінки
• Завантаження, Завантаження файлів у веб-форми
• Управління, Обробка діалогів (оповіщення, підтвердження), читання виводу консолі

Профілі браузера

Кілька ізольованих профілів браузера для розділення акаунтів:

• Кожен профіль має власні файли cookie, сховище та історію
• Автоматично призначені CDP-порти для програматичного керування
• Підтримка віддаленого браузера (підключення до браузерів на інших машинах)

Полотно та A2UI

Система «Агент до інтерфейсу» (A2UI) дозволяє агентам рендерити інтерактивний візуальний контент на підключених пристроях:

• Present, Відображення веб-сторінок або власного контенту на полотні пристрою
• Navigate, Керування тим, що відображається у вікні полотна
• Evaluate, Виконання JavaScript у контексті полотна
• Snapshot, Захоплення того, що відображається на даний момент
• A2UI Push, Надсилання структурованих оновлень інтерфейсу (JSONL-навантаження) на полотно
• A2UI Reset, Очищення стану полотна

Рендеринг полотна доступний на macOS (WebKit), iOS (SwiftUI), Android (Jetpack Compose) та веб (WebChat).

Можливості вузлових пристроїв

Через підключені додатки-компаньйони агенти можуть:

Камера

• Snap, Робити фотографії (передня або задня камера)
• Clip, Записувати відеокліпи з конфігурованою тривалістю та частотою кадрів

Екран

• Record, Захоплення записів екрана з конфігурованою тривалістю та якістю

Геолокація

• Get, Отримання GPS-координат з вибором точності

Сповіщення

• Notify, Надсилання нативних сповіщень ОС з заголовком, текстом та пріоритетом

Системні команди

• Run, Виконання команд оболонки на вузловому пристрої
• Which, Перевірка доступності команди на вузлі

Обмін повідомленнями

Агенти можуть надсилати повідомлення та керувати ними через підключені канали:

• Send, Надсилання повідомлень до будь-якого підключеного каналу/отримувача
• Edit, Редагування раніше надісланих повідомлень
• React, Додавання реакцій до повідомлень
• Thread, Створення тем та відповіді всередині них
• Poll, Створення опитувань на підтримуваних платформах
• Voice, Перевірка статусу голосового каналу (Discord)

Веб

• Search, Веб-пошук через Brave Search API
• Fetch, Отримання веб-сторінок та конвертація HTML в markdown/текст

Пам'ять та контекст

• Memory Search, Векторний пошук за схожістю в файлах пам'яті агента
• Memory Get, Отримання конкретних файлів пам'яті за назвою

Управління сесіями

• List Sessions, Перегляд активних сесій між агентами
• Session History, Отримання транскрипту будь-якої сесії
• Send to Session, Надсилання повідомлень до інших сесій агентів
• Spawn Sub-Agent, Запуск ізольованих запусків суб-агентів
• List Agents, Перегляд доступних агентів

Автоматизація

• Cron, Створення, редагування, запуск та управління запланованими завданнями
• Gateway, Перезапуск Gateway, застосування змін конфігурації, запуск оновлень

Аналіз зображень

Агенти можуть аналізувати зображення за допомогою налаштованих моделей розпізнавання, описувати вміст, витягувати текст, ідентифікувати об'єкти та відповідати на запитання про візуальний контент.

Групи інструментів

Інструменти організовані у групи для зручного управління дозволами: