Лицензирование моделей
В этой инструкции рассказывается о том, как в разделе «Нейросети» в панели администратора, настроить лимиты токенов для ролей, тенантов, групп и отдельных пользователей, а также разберемся, как эти лимиты отображаются в интерфейсе и учитываются при работе с модулем QA.
Лимиты токенов нужны, чтобы контролировать расход ресурсов языковых моделей на стенде. Администратор задаёт максимальный лимит в четырёх разрезах — по роли, тенанту, группе и конкретному пользователю. Для каждого пользователя действует один итоговый лимит: наибольшее из доступных ему значений. Лимиты из разных разрезов не суммируются. Один и тот же лимит распространяется на все проекты пользователя и учитывается при запросах в модуле Q&A.
Где найти раздел
- Откройте меню учётной записи.
- Перейдите в «Администрирование» (панель администратора).
- Откройте раздел «Нейросети» — он расположен перед вкладкой «Настройки».
По умолчанию открыта вкладка «Роли».
Вкладки и таблица лимитов
В разделе «Нейросети» четыре вкладки:
- «Роли» — лимиты по ролям на уровне стенда;
- «Тенанты» — лимиты по тенантам;
- «Группы» — лимиты по группам пользователей;
- «Пользователи» — индивидуальные лимиты.
На каждой вкладке — таблица со всеми доступными объектами выбранного типа. Столбцы одинаковые по смыслу:
- Роль / Тенант / Группа / Пользователь - Название объекта в зависимости от вкладки
- Текущий лимит токенов - Сколько токенов доступно сейчас для расхода
- Максимальный лимит токенов - Верхняя граница, до которой восстанавливается текущий лимит
- Потраченные токены - Сколько токенов фактически израсходовано за всё время
Длинные списки прокручиваются внутри таблицы.
Три вида лимита
- Максимальный лимит — задаёт администратор. Это потолок доступных токенов для объекта или пользователя.
- Текущий лимит — остаток, который можно потратить прямо сейчас. Уменьшается при запросах к языковой модели в модуле Q&A.
- Потраченные токены — накопленный расход за всё время. Это значение не сбрасывается при ежедневном восстановлении текущего лимита.
Если для объекта лимит ещё не задан, в поле максимального лимита отображается 0. На новых стендах по умолчанию может быть установлен лимит 50 000 токенов — фактическое значение зависит от настроек вашего экземпляра.
Как задать максимальный лимит
- Откройте нужную вкладку — «Роли», «Тенанты», «Группы» или «Пользователи».
- Найдите строку объекта в таблице.
- В столбце «Максимальный лимит токенов» измените значение в поле ввода.
- Сохраните изменение — система примет целое неотрицательное число (0 и больше). Отрицательные значения сохранить нельзя.
После сохранения система пересчитает максимальные лимиты затронутых пользователей:
- если новый максимум меньше текущего лимита пользователя, текущий лимит уменьшится до нового максимума;
- если новый максимум больше или равен текущему лимиту, текущий лимит не увеличится сразу — он восстановится до нового максимума при ежедневном обновлении или после ручного сброса.
При изменении роли пользователя, его тенанта или состава группы максимальный лимит пересчитывается автоматически. Текущий лимит при этом не увеличивается.
Как сбросить текущий лимит
Иногда нужно вернуть пользователю (или объекту в таблице) полный остаток до максимума, не дожидаясь ежедневного обновления.
- В строке нужного объекта в столбце «Текущий лимит токенов» нажмите значок «Сбросить текущий лимит» (иконка обновления).
- В модальном окне прочитайте предупреждение: «Вы собираетесь сбросить текущий лимит доступных токенов (роли/тенанта/группы/пользователя) до максимального».
- Нажмите «Продолжить», чтобы подтвердить, или «Отмена», чтобы закрыть окно без изменений.
После подтверждения текущий лимит станет равным максимальному для выбранного объекта. Количество потраченных токенов не изменится.
Как складывается лимит пользователя
Для каждого пользователя система смотрит лимиты из всех разрезов, к которым он относится:
- роль на стенде;
- тенант;
- группы;
- индивидуальная запись на вкладке «Пользователи».
Из этих значений выбирается наибольшее — оно и есть максимальный лимит пользователя. Лимиты не складываются.
Пример: у роли задан максимум 10 000, у группы — 30 000, у самого пользователя — 5 000. Итоговый максимальный лимит пользователя — 30 000.
Лимит действует на все проекты пользователя и учитывается модулем Q&A при каждом запросе к языковой модели.
Ежедневное восстановление
Текущий лимит пользователя ежедневно восстанавливается до актуального максимального — по времени сервера. При этом:
- потраченные токены не обнуляются;
- если администратор уменьшил максимум так, что текущий лимит стал выше нового потолка, текущий лимит сначала опускается до нового максимума, а затем восстанавливается по обычным правилам.
Как пользователь видит лимит
Помимо таблиц в панели администратора, лимиты отображаются в рабочем интерфейсе Fastboard. Наведите курсор на иконку пользователя в верхней панели. В подсказке показываются текущий и максимальный лимит токенов. Информация доступна во всех разделах, где есть верхняя панель.
Модуль Q&A в проекте
Если в проекте включён модуль Q&A, под заголовком чата отображаются текущий и максимальный лимит. Значение обновляется после каждого запроса к ассистенту.
Что происходит при исчерпании лимита
Когда текущий лимит пользователя 0 или меньше:
- новый запрос в Q&A не отправляется;
- под полем ввода появляется сообщение: «Лимит токенов исчерпан. Отправка запросов будет доступна после обновления лимита.»
Токены списываются после получения ответа языковой модели — на фактически потреблённое количество. Если во время обработки нескольких параллельных запросов лимит закончился, часть ответов может быть возвращена, а следующие — заблокированы.
После ежедневного восстановления или ручного сброса администратором пользователь снова может отправлять запросы в пределах восстановленного лимита.
На что обратить внимание
- Увеличение максимального лимита не добавляет токены к текущему остатку сразу — дождитесь ежедневного обновления или выполните сброс текущего лимита.
- Потраченные токены — учётная метрика за всё время; она не влияет на расчёт доступного остатка напрямую, но помогает оценить фактический расход.
- Ошибка при загрузке лимита в интерфейсе не блокирует остальные разделы Fastboard — работа с проектами и дашбордами продолжается.
- Лимиты относятся к модулям языковых моделей на стенде; модуль Q&A проверяет текущий лимит перед отправкой запроса.