ts-content-based-recommender/dist/src/lib/filters/JapaneseTokenFilter.d.ts

A TypeScript-based content-based recommender with multilingual support (Japanese & English). Forked from content-based-recommender.

import { IJapaneseTokenFilter, TokenFilterOptions, DetailedJapaneseToken } from '../../types/index.js';
/**
 * 日本語専用トークンフィルタークラス
 * ストップワード除去、重複除去、長さフィルタリング、品詞フィルタリング等を行います
 */
export declare class JapaneseTokenFilter implements IJapaneseTokenFilter {
    /** フィルターオプション */
    private options;
    /** 日本語デフォルトストップワード */
    private static readonly DEFAULT_STOPWORDS;
    /**
     * コンストラクタ
     * @param options フィルターオプション
     */
    constructor(options?: TokenFilterOptions);
    /**
     * トークン配列をフィルタリングする
     * @param tokens フィルタリング対象のトークン配列
     * @returns フィルタリング済みトークン配列
     */
    filter(tokens: string[]): string[];
    /**
     * 品詞情報を使用したフィルタリング（日本語用）
     * @param tokens 品詞情報付きトークン配列
     * @returns フィルタリング済みトークン配列
     */
    filterWithPos(tokens: DetailedJapaneseToken[]): string[];
    /**
     * 長さによるフィルタリング
     * @param tokens トークン配列
     * @returns フィルタリング済みトークン配列
     */
    private _filterByLength;
    /**
     * ストップワード除去（日本語用）
     * @param tokens トークン配列
     * @returns ストップワード除去済みトークン配列
     */
    private _removeStopwords;
    /**
     * 重複除去
     * @param tokens トークン配列
     * @returns 重複除去済みトークン配列
     */
    private _removeDuplicates;
    /**
     * ストップワードセットを取得する
     * @returns ストップワードのSet
     */
    private _getStopwords;
}
//# sourceMappingURL=JapaneseTokenFilter.d.ts.map