article-writer-cn/dist/crawler/dynamic-crawler.d.ts

AI 驱动的智能写作系统 - 专注公众号/自媒体文章创作

/**
 * 动态页面爬虫 - 使用 Puppeteer 处理 JavaScript 渲染的页面
 */
import type { CrawlerConfig } from './types.js';
import { DocumentationCrawler } from './doc-crawler.js';
export declare class DynamicCrawler extends DocumentationCrawler {
    private browser;
    private page;
    constructor(config: CrawlerConfig);
    /**
     * 初始化浏览器
     */
    private initBrowser;
    /**
     * 爬取单个页面（覆盖父类方法）
     */
    protected crawlPage(url: string): Promise<void>;
    /**
     * 关闭浏览器
     */
    close(): Promise<void>;
    /**
     * 覆盖爬取方法，确保最后关闭浏览器
     */
    crawl(onProgress?: (progress: any) => void): Promise<any>;
}
//# sourceMappingURL=dynamic-crawler.d.ts.map