lexed
Version:
English word and sentence tokenizer, for natural language processing.
134 lines (133 loc) • 1.63 kB
JavaScript
;
Object.defineProperty(exports, "__esModule", { value: true });
exports.list = [
{
a: "'",
z: "'",
},
{
a: "(",
z: ")"
},
{
a: "[",
z: "]"
},
{
a: "{",
z: "}"
},
{
a: "<",
z: ">"
},
{
a: "/",
z: "/"
},
{
a: "\\",
z: "\\"
},
{
a: "`",
z: "`"
},
{
a: "\"",
z: "\"",
},
{
a: "*",
z: "*"
},
{
a: "“",
z: "”"
},
{
a: "„",
z: "“"
},
{
a: "»",
z: "«"
},
{
a: "«",
z: "»"
},
{
a: "”",
z: "”"
},
{
a: "„",
z: "”"
},
{
a: "「",
z: "」"
},
{
a: "»",
z: "«"
},
{
a: "﹁",
z: "﹂"
},
{
a: "‘",
z: "’"
},
{
a: "⟦",
z: "⟧"
},
{
a: "‹",
z: "›"
},
{
a: "⸤",
z: "⸥"
},
{
a: "【",
z: "】"
},
{
a: "⁅",
z: "⁆"
},
{
a: "﴾",
z: "﴿"
},
{
a: "｛",
z: "｝"
},
{
a: "〝",
z: "〞"
},
{
a: "｟",
z: "｠"
},
{
a: "〈",
z: "〉"
},
{
a: "《",
z: "》"
},
{
a: "（",
z: "）"
},
];
exports.default = exports.list;