nizavisim/src/lexer.js

Независимый язык программирования с поддержкой русского языка.

function lexer(input) {
    const tokens = []; // Массив токенов
    const words = input.split(/\s+/); // Разделяем вход на слова

    words.forEach(word => {
        // Пример обработки токенов
        if (word === 'функция') {
            tokens.push({ type: 'FUNCTION', value: word });
        } else if (word === 'вывести') {
            tokens.push({ type: 'PRINT', value: word });
        } else {
            tokens.push({ type: 'IDENTIFIER', value: word });
        }
    });

    return tokens;
}

module.exports = { lexer };