gpt-tokenizer
Version:
A pure JavaScript implementation of a BPE tokenizer (Encoder/Decoder) for GPT-2 / GPT-3 / GPT-4 and other OpenAI models
| Filename | Content Type | Size | |
|---|---|---|---|
| ../ | |||
| 216 B | |||
| 710 B | |||
| 716 B | |||
| 112 B | |||
| 320 B | |||
| 218 B | |||
| 215 B | |||
| 708 B | |||
| 714 B | |||
| 214 B | |||
| 429 B | |||
| 446 B | |||
| 214 B | |||
| 577 B | |||
| 582 B | |||
| 214 B | |||
| 429 B | |||
| 446 B | |||