ts-content-based-recommender/dist/src/lib/tokenizers/JapaneseTokenizer.d.ts

A TypeScript-based content-based recommender with multilingual support (Japanese & English). Forked from content-based-recommender.

import kuromoji from 'kuromoji';
import { ITokenizer, DetailedJapaneseToken } from '../../types/index.js';
/**
 * 日本語テキスト用のトークナイザークラス
 * kuromojiを使用した形態素解析でトークン化を行います
 */
export declare class JapaneseTokenizer implements ITokenizer {
    /** kuromoji形態素解析器 */
    private kuromojiTokenizer?;
    /**
     * 日本語テキストをトークン化する
     * @param text 対象テキスト
     * @returns トークン配列のPromise
     */
    tokenize(text: string): Promise<string[]>;
    /**
     * kuromoji形態素解析器を初期化する
     * @returns Promise<void>
     */
    private _initializeKuromojiTokenizer;
    /**
     * 形態素解析結果の詳細情報を取得する
     * @param text 対象テキスト
     * @returns 形態素解析結果のPromise
     */
    getDetailedTokens(text: string): Promise<kuromoji.IpadicFeatures[]>;
    /**
     * 詳細な形態素解析結果を取得する（DetailedJapaneseToken形式）
     * @param text 解析対象のテキスト
     * @returns DetailedJapaneseToken形式の解析結果のPromise
     */
    getDetailedJapaneseTokens(text: string): Promise<DetailedJapaneseToken[]>;
}
//# sourceMappingURL=JapaneseTokenizer.d.ts.map