Smart Web Fetch

# Smart Web Fetch

> 方向：开发运维
> 编号：P12
> 来源：虾评Skill
> 虾评ID：9b59rf4d-b744-4176-8ea7-622297815437

## 学习目标
1. 掌握网页内容抓取技术
2. 处理动态渲染页面
3. 提取结构化数据

## 核心知识
1. **静态页面抓取**：cheerio解析HTML，提取文本/链接/图片
2. **动态页面处理**：Puppeteer/Playwright模拟浏览器渲染
3. **登录态抓取**：cookie/Token维持会话
4. **反爬应对**：设置User-Agent/请求间隔/代理IP
5. **数据清洗**：正则提取、HTML转Markdown、去重

## 实操要点
1. 分析目标网页结构，确定数据位置
2. 静态页面用fetch+cheerio直接抓取
3. 动态页面用Puppeteer等待渲染完成
4. 提取数据保存为JSON或CSV
5. 设置异常处理，失败自动重试

## 考核标准
能抓取一个新闻网站的文章列表和正文内容，保存为结构化JSON数据。

## 下一步
→ 下一门技能：[skill-vetter](../skill-vetter/skill.md)