что за входящие и исходящие в АИ?у как, научились не только на токены народ разводить, еще считают
скока ты спросил и какого размера ответ ;)
отельно указывается количество reasoning tokens, либо общие число
токенов и сколько использовано в финальном ответе (разница и будет те самые токены размышления). екоторые провайдеры дополнительно
позволяют получить все эти мыслительные процессы, какие-то провайдеры выход мысленных токенов не дают.
отельно указывается количество reasoning tokens, либо общие число
токенов и сколько использовано в финальном ответе (разница и
будет те самые токены размышления). екоторые провайдеры
дополнительно позволяют получить все эти мыслительные процессы,
какие-то провайдеры выход мысленных токенов не дают.
Хех. а голову учёного одеваем "аналлизатор" и оцениваем стоимость
оплаты его труда - по числу "используемых токенов".:)
Хотел ещё добавить, что почти все LLM'ки имеют параметр - уровень мышления, в API называется
reasoning.effort="high", thinking, thinkingLevel="high", thinkingBudget=8096, ... Как же
влияет уровень мышления на стоимость запроса, если отдельно в прайс-листе не указывается это,
а просто цена за токены? Когда модель начинает размышлять (reasoning), то она генерирует
reasoning tokens (thinking tokens), которые не попадут в финальный ответ, но за которые
придётся заплатить по прейскуранту как выходные токены. В ответе API либо отельно указывается
количество reasoning tokens, либо общие число токенов и сколько использовано в финальном
ответе (разница и будет те самые токены размышления). екоторые провайдеры дополнительно
позволяют получить все эти мыслительные процессы, какие-то провайдеры выход мысленных токенов
не дают.
Хех. а голову учёного одеваем "аналлизатор" и оцениваем стоимость оплаты его труда - по
числу "используемых токенов".:)
| Sysop: | Angel Ripoll |
|---|---|
| Location: | Madrid, Spain |
| Users: | 16 |
| Nodes: | 8 (0 / 8) |
| Uptime: | 125:15:43 |
| Calls: | 1,388 |
| Files: | 2,871 |
| D/L today: |
4 files (6K bytes) |
| Messages: | 72,147 |