====================================================

AI大模型Token分析示例

====================================================

<o:p>

1. Token数量对比分析：

----------------------------------------

文本: Hello, how are you t...

语言:英文

字符数:25

字节数:25

Token数:7

字符/Token:3.57

字节/Token:3.57

效率比:1 Token ≈ 3.6 字符

<o:p>

文本: 你好，今天过得怎么样？...

语言:中文

字符数:11<o:page>

字节数:33

Token数:12

字符/Token:0.92

字节/Token:2.75

效率比:1 Token ≈ 0.9 字符

<o:p>

文本: こんにちは、元気ですか？...

语言:中文

字符数:12

字节数:36

Token数:7

字符/Token:1.71

字节/Token:5.14

效率比:1 Token ≈ 1.7 字符

<o:p>

文本: Artificial Intellige...

语言:英文

字符数:50

字节数:50

Token数:8

字符/Token:6.25

字节/Token:6.25<o:page>

效率比:1 Token ≈ 6.2 字符

<o:p>

文本: 人工智能正在改变世界！让我们拥抱这个充满...

语言:中文

字符数:26

字节数:78

Token数:32

字符/Token:0.81

字节/Token:2.44

效率比:1 Token ≈ 0.8 字符

<o:p>

====================================================

2. 详细分词演示（中文示例）：

----------------------------------------

文本: '人工智能'

字符数: 4

Token数量: 5

<o:p>

Token详情:

Token1: ID=17792, 文本='人', 字节=b'\xe4\xba\xba'<o:page>

Token2: ID=49792, 文本='工', 字节=b'\xe5\xb7\xa5'

Token3: ID=45114, 文本='�', 字节=b'\xef\xbf\xbd'

Token4: ID=118, 文本='�', 字节=b'\xef\xbf\xbd'

Token5: ID=27327, 文本='能', 字节=b'\xe8\x83\xbd'

====================================================

3. AI调用成本估算：

----------------------------------------

用户输入: 请用中文解释什么是机器学习，并给出三个实际应用例子。...

AI回复: 机器学习是人工智能的一个分支，它使计算机系统能够从数据中学习和改进，而无需明确编程。

<o:p>

三个实际应用...

成本详情:

model:gpt-4

input_tokens:28

output_tokens:126

total_tokens:154

input_cost:$0.0008<o:page>

output_cost:$0.0076

total_cost:$0.0084

<o:p>

总计: 154 Token, 成本: $0.0084

<o:p>

====================================================

4. 中英文混合文本分析：

----------------------------------------

混合文本: 'GPT-4 is amazing! 它能够理解和生成多种语言。'

总Token数: 21

详细分词:

Token序列:G | PT | - | 4 |is |amazing | ! |� | � | 能 | � | � | 理 | 解 | 和 | 生成 | 多 | 种 | 语 | 言 | 。

<o:p>

============================================================

5. Token与字符关系总结：

----------------------------------------

Hello, how are ...<o:page>

字符:Token= 1:3.57 (1个Token包含多个字符)

你好，今天过得怎么样？...

字符:Token= 1:0.92 (大致1:1)

こんにちは、元気ですか？...

字符:Token= 1:1.71 (1个Token包含多个字符)