cjk-tokenizer
Version:
A CJK text tokenizer
81 lines (80 loc) • 917 B
JavaScript
;
/**
* english module
* @module english
* @see module:index
*/
module.exports = [
'a',
'about',
'all',
'an',
'and',
'are',
'as',
'at',
'be',
'been',
'but',
'by',
'can',
'com',
'could',
'else',
'for',
'from',
'has',
'have',
'he',
'her',
'hers',
'him',
'his',
'how',
'i',
'if',
'in',
'is',
'it',
'its',
'may',
'might',
'not',
'of',
'on',
'one',
'or',
'our',
'ours',
'shall',
'she',
'should',
'so',
'that',
'the',
'their',
'them',
'then',
'there',
'these',
'they',
'this',
'those',
'thus',
'to',
'us',
'was',
'we',
'what',
'when',
'where',
'which',
'who',
'will',
'with',
'would',
'www',
'you',
'your',
'yours',
];