Параметры

Параметры выборки формируют процесс генерации токенов модели. Вы можете отправить любые параметры из следующего списка, а также другие, в AITUNNEL.

Temperature

• Ключ: temperature

• Опционально, float, от 0.0 до 2.0

• По умолчанию: 1.0

Этот параметр влияет на разнообразие ответов модели. Более низкие значения приводят к более предсказуемым и типичным ответам, в то время как более высокие значения поощряют более разнообразные и менее распространенные ответы. При значении 0 модель всегда дает один и тот же ответ для данного входного запроса.

Top P

• Ключ: top_p

• Опционально, float, от 0.0 до 1.0

• По умолчанию: 1.0

Этот параметр ограничивает выбор модели процентом вероятных токенов: только топ токены, чьи вероятности в сумме дают P. Более низкое значение делает ответы модели более предсказуемыми, в то время как настройка по умолчанию позволяет использовать полный диапазон выбора токенов. Думайте об этом как о динамическом Top-K.

Top K

• Ключ: top_k

• Опционально, integer, 0 или выше

• По умолчанию: 0

Это ограничивает выбор токенов моделью на каждом шаге, заставляя ее выбирать из меньшего набора. Значение 1 означает, что модель всегда будет выбирать наиболее вероятный следующий токен, что приводит к предсказуемым результатам. По умолчанию эта настройка отключена, позволяя модели рассматривать все варианты.

Frequency Penalty

• Ключ: frequency_penalty

• Опционально, float, от -2.0 до 2.0

• По умолчанию: 0.0

Этот параметр направлен на контроль повторения токенов на основе того, как часто они появляются во входных данных. Он пытается реже использовать те токены, которые чаще появляются во входных данных, пропорционально частоте их появления. Штраф токена масштабируется с количеством появлений. Отрицательные значения будут поощрять повторное использование токенов.

Presence Penalty

• Ключ: presence_penalty

• Опционально, float, от -2.0 до 2.0

• По умолчанию: 0.0

Регулирует, как часто модель повторяет определенные токены, уже использованные во входных данных. Более высокие значения делают такое повторение менее вероятным, в то время как отрицательные значения делают обратное. Штраф токена не масштабируется с количеством появлений. Отрицательные значения будут поощрять повторное использование токенов.

Repetition Penalty

• Ключ: repetition_penalty

• Опционально, float, от 0.0 до 2.0

• По умолчанию: 1.0

Помогает уменьшить повторение токенов из входных данных. Более высокое значение делает модель менее склонной к повторению токенов, но слишком высокое значение может сделать вывод менее связным (часто с длинными предложениями, в которых отсутствуют маленькие слова). Штраф токена масштабируется на основе вероятности исходного токена.

Min P

• Ключ: min_p

• Опционально, float, от 0.0 до 1.0

• По умолчанию: 0.0

Представляет минимальную вероятность для токена, чтобы он был рассмотрен, относительно вероятности наиболее вероятного токена. (Значение меняется в зависимости от уровня уверенности наиболее вероятного токена.) Если ваш Min-P установлен на 0.1, это означает, что он будет допускать только токены, которые как минимум в 1/10 раз вероятнее, чем лучший возможный вариант.

Top A

• Ключ: top_a

• Опционально, float, от 0.0 до 1.0

• По умолчанию: 0.0

Рассматривает только топ токены с "достаточно высокой" вероятностью на основе вероятности наиболее вероятного токена. Думайте об этом как о динамическом Top-P. Более низкое значение Top-A фокусирует выбор на основе токена с наивысшей вероятностью, но с более узким охватом. Более высокое значение Top-A не обязательно влияет на креативность вывода, а скорее уточняет процесс фильтрации на основе максимальной вероятности.

Seed

• Ключ: seed

• Опционально, integer

Если указан, вывод будет детерминированным, так что повторные запросы с тем же seed и параметрами должны возвращать тот же результат. Детерминированность не гарантируется для некоторых моделей.

Max Tokens

• Ключ: max_tokens

• Опционально, integer, 1 или выше

Устанавливает верхний предел для количества токенов, которые модель может сгенерировать в ответе. Она не произведет больше этого лимита. Максимальное значение - это длина контекста минус длина промпта.

Logit Bias

• Ключ: logit_bias

• Опционально, map

Принимает JSON-объект, который сопоставляет токены (указанные их ID токена в токенизаторе) с соответствующим значением смещения от -100 до 100. Математически, смещение добавляется к логитам, сгенерированным моделью перед выборкой. Точный эффект будет варьироваться в зависимости от модели, но значения между -1 и 1 должны уменьшить или увеличить вероятность выбора; значения типа -100 или 100 должны привести к запрету или исключительному выбору соответствующего токена.

Logprobs

• Ключ: logprobs

• Опционально, boolean

Возвращать ли логарифмические вероятности выходных токенов или нет. Если true, возвращает логарифмические вероятности каждого возвращенного выходного токена.

Top Logprobs

• Ключ: top_logprobs

• Опционально, integer

Целое число от 0 до 20, указывающее количество наиболее вероятных токенов для возврата на каждой позиции токена, каждый с соответствующей логарифмической вероятностью. logprobs должен быть установлен в true, если используется этот параметр.

Response Format

• Ключ: response_format

• Опционально, map

Заставляет модель производить определенный формат вывода. Установка { "type": "json_object" } включает режим JSON, который гарантирует, что сообщение, генерируемое моделью, является действительным JSON.

Примечание

При использовании режима JSON вы также должны сами проинструктировать модель производить JSON через системное или пользовательское сообщение.

Structured Outputs

• Ключ: structured_outputs

• Опционально, boolean

Если модель может возвращать структурированные выходные данные, используя response_format json_schema.

Stop

• Ключ: stop

• Опционально, array

Немедленно остановить генерацию, если модель встретит любой токен, указанный в массиве stop.

Tools

• Ключ: tools

• Опционально, array

Параметр вызова инструментов, следующий форме запроса вызова инструментов OpenAI. Для непровайдеров OpenAI он будет преобразован соответствующим образом. Нажмите здесь, чтобы узнать больше о вызове инструментов

Tool Choice

• Ключ: tool_choice

• Опционально, array

Контролирует, какой (если есть) инструмент будет вызван моделью. 'none' означает, что модель не будет вызывать никакой инструмент и вместо этого сгенерирует сообщение. 'auto' означает, что модель может выбрать между генерацией сообщения или вызовом одного или нескольких инструментов. 'required' означает, что модель должна вызвать один или несколько инструментов. Указание конкретного инструмента через {"type": "function", "function": {"name": "my_function"}} заставляет модель вызвать этот инструмент.