ts-content-based-recommender/dist/src/lib/filters/EnglishTokenFilter.d.ts

A TypeScript-based content-based recommender with multilingual support (Japanese & English). Forked from content-based-recommender.

import { IEnglishTokenFilter, TokenFilterOptions } from '../../types/index.js';
/**
 * 英語専用トークンフィルタークラス
 * ストップワード除去、重複除去、長さフィルタリング、N-gram対応等を行います
 */
export declare class EnglishTokenFilter implements IEnglishTokenFilter {
    /** フィルターオプション */
    private options;
    /** 英語デフォルトストップワード */
    private static readonly DEFAULT_STOPWORDS;
    /**
     * コンストラクタ
     * @param options フィルターオプション
     */
    constructor(options?: TokenFilterOptions);
    /**
     * トークン配列をフィルタリングする
     * @param tokens フィルタリング対象のトークン配列
     * @returns フィルタリング済みトークン配列
     */
    filter(tokens: string[]): string[];
    /**
     * N-gram対応フィルタリング（英語用）
     * ストップワードを含むN-gramを除去します
     * @param tokens トークン配列
     * @returns フィルタリング済みトークン配列
     */
    filterWithNgrams(tokens: string[]): string[];
    /**
     * 長さによるフィルタリング
     * @param tokens トークン配列
     * @returns フィルタリング済みトークン配列
     */
    private _filterByLength;
    /**
     * ストップワード除去（英語用）
     * @param tokens トークン配列
     * @returns ストップワード除去済みトークン配列
     */
    private _removeStopwords;
    /**
     * N-gramのストップワードフィルタリング（英語用）
     * @param tokens トークン配列
     * @returns フィルタリング済みトークン配列
     */
    private _filterNgramsWithStopwords;
    /**
     * 重複除去
     * @param tokens トークン配列
     * @returns 重複除去済みトークン配列
     */
    private _removeDuplicates;
}
//# sourceMappingURL=EnglishTokenFilter.d.ts.map