ts-content-based-recommender/dist/src/lib/tokenizers/EnglishTokenizer.d.ts

A TypeScript-based content-based recommender with multilingual support (Japanese & English). Forked from content-based-recommender.

import { ITokenizer } from '../../types/index.js';
/**
 * 英語テキスト用のトークナイザークラス
 * TF-IDFとN-gram（unigram, bigram, trigram）を生成します
 */
export declare class EnglishTokenizer implements ITokenizer {
    /**
     * 英語テキストをトークン化する
     * @param text 対象テキスト
     * @returns トークン配列のPromise
     */
    tokenize(text: string): Promise<string[]>;
}
//# sourceMappingURL=EnglishTokenizer.d.ts.map