UNPKG
tokenizr
Version:
latest (2.0.3)
2.0.3
2.0.2
2.0.1
2.0.0
1.7.2
1.7.1
1.7.0
1.6.10
1.6.9
1.6.8
1.6.7
1.6.6
1.6.5
1.6.4
1.6.3
1.6.2
1.6.1
1.6.0
1.5.8
1.5.7
1.5.6
1.5.5
1.5.4
1.5.3
1.5.2
1.5.1
1.5.0
1.4.1
1.4.0
1.3.10
1.3.9
1.3.8
1.3.7
1.3.6
1.3.5
1.3.4
1.3.3
1.3.2
1.3.1
1.3.0
1.2.1
1.2.0
1.1.8
1.1.7
1.1.6
1.1.5
1.1.4
1.1.3
1.1.2
1.1.1
1.1.0
1.0.2
1.0.1
1.0.0
0.9.9
0.9.8
0.9.7
0.9.6
0.9.5
0.9.4
0.9.3
0.9.2
0.9.1
0.9.0
String Tokenization Library for JavaScript
github.com/rse/tokenizr
rse/tokenizr
tokenizr
/
dst
4 files
Filename
Content Type
Size
../
tokenizr.cjs.js
text/javascript
19.1 kB
tokenizr.d.ts
text/typescript
3.42 kB
tokenizr.esm.js
text/javascript
19 kB
tokenizr.umd.js
text/javascript
11.5 kB