article-writer-cn/dist/crawler/utils.d.ts

AI 驱动的智能写作系统 - 专注公众号/自媒体文章创作

/**
 * 爬虫工具函数
 */
/**
 * 检测是否为文档网站
 */
export declare function isDocumentationSite(url: string): boolean;
/**
 * 清理文件名
 */
export declare function sanitizeFilename(filename: string): string;
/**
 * 预估爬取时间
 */
export declare function estimateDuration(pageCount: number, rateLimit?: number, concurrency?: number): number;
/**
 * 格式化字节大小
 */
export declare function formatBytes(bytes: number): string;
/**
 * 延迟函数
 */
export declare function sleep(ms: number): Promise<void>;
/**
 * 重试函数
 */
export declare function retry<T>(fn: () => Promise<T>, retries?: number, delay?: number): Promise<T>;
/**
 * 检查 URL 是否有效
 */
export declare function isValidUrl(url: string): boolean;
/**
 * 获取域名
 */
export declare function getDomain(url: string): string;
/**
 * 规范化 URL（移除 hash 和某些 query 参数）
 */
export declare function normalizeUrl(url: string): string;
/**
 * 检测文本语言
 */
export declare function detectLanguage(text: string): 'zh' | 'en' | 'unknown';
//# sourceMappingURL=utils.d.ts.map