Чат

Песочница чата

Работайте с API генерации ответов чата. Ниже показан пример интерфейса:

Промпты

В левой части песочницы можно редактировать сообщения промпта. Доступны три роли: система, пользователь и ассистент.

Система: обычно заранее заданная инструкция, которая устанавливает контекст, определяет поведение модели или ограничивает способ генерации ответов.
Пользователь: входные данные или запрос человека, взаимодействующего с LLM.
Ассистент: ответ, сгенерированный LLM.

Редактирование системного сообщения

В верхней части песочницы можно добавить и отредактировать системное сообщение.

Редактирование сообщений пользователя и ассистента

Чтобы добавить сообщение пользователя или ассистента, нажмите Add.

Чтобы удалить сообщение пользователя или ассистента, нажмите кнопку с минусом в его правом углу.

Чтобы изменить роль сообщения, нажмите User или Assistant в его начале.

Загрузка изображения

Чтобы добавить изображения в промпт, нажмите Upload Image.

Загрузка аудио

Чтобы добавить аудиофайлы в промпт, нажмите Upload Audio.

Очистка промптов

Нажмите Clear, чтобы очистить все промпты.

Выбор модели

Выберите доступную модель GPUStack из раскрывающегося списка в правом верхнем углу песочницы. О развёртывании моделей см. Управление развёртыванием моделей.

Настройка параметров

В разделе Parameters можно настроить параметры генерации ответа.

Генерация ответа

Для генерации ответа нажмите Submit или клавишу Enter.

Просмотр кода

Поэкспериментировав с промптами и параметрами, нажмите View Code, чтобы увидеть, как программно вызвать API с теми же входными данными. Доступны примеры на curl, Python и Node.js.

Песочница сравнения

В песочнице можно сравнивать несколько моделей. Ниже показан пример интерфейса:

Режим сравнения

Кнопками выбора вида можно включить сравнение 2, 3, 4 или 6 моделей.

Промпты

Сообщения промпта настраиваются так же, как в песочнице чата.