通义千问大语言模型以用户文本形式的指令(prompt)以及不定轮次的对话消息作为输入,并基于这些信息生成回复作为输出。在这一过程中,文本将被转换为语言模型可以处理的token序列。Token是模型用来表示自然语言文本的基本单位,可以直观地理解为“字”或“词”。对于中文,一个token平均对应1.8到2个汉字,例如“通义千问大语言模型”,转换成token后为: ["通", "义", "千", "问", "大", "语言", "模型"], 对于英文,通常一个token对应3到4个字母或者一个单词,例如:Artificial intelligence has made great progress at present. 转换成为token后为: ["Art", "ificial", " intelligence", " has", " made", " great", " progress", " at", " present", "."]。
由于模型以token为单位进行计算,所以在计量上以token个数为单位,单次请求的token数与输入和输出的长度相关。具体计量信息,可以从API返回结果的usage字段中查看您每次调用使用的token数量。您也可以使用Token计算器或者调用Token计算API来预估文本对应的token数量。
API详情:https://help.aliyun.com/zh/dashscope/developer-reference/api-details
使用教程:https://blog.csdn.net/chrnhao/article/details/135868918
Phi-3 WebGPU是一款结合了Transformers.js和onnxruntime-web的AI模型,它利用WebGPU加速技术,提供超过20t/s的处理速度,并且所有数据处理在本地完成,确保用户隐私安全。尽管在中文回答上存在一些不足,但其在浏览器中提供的AI模型运行能力仍然值得关注。