前端计算Tokens

    133

    openai官方提供了一个token计算的网站：https://platform.openai.com/tokenizer

    前端计算token的库是tiktoken：https://www.npmjs.com/package/tiktoken

    我的前端项目用的是vite，所以需要加入以下内容

    mport wasm from "vite-plugin-wasm";
import topLevelAwait from "vite-plugin-top-level-await";
import { defineConfig } from "vite";

export default defineConfig({
  plugins: [wasm(), topLevelAwait()],
});

    在代码中使用

    import { get_encoding, encoding_for_model } from "tiktoken";
const encodeStr = enc.encode("hello world");
console.log(`tokens: ${encodeStr.length}`);