php curl 抓取数据伪装

封面图 • 2025-09-23 • PHP

在使用 `PHP` 的 `cURL` 抓取数据时，有时需要**伪装成浏览器或特定用户代理（User-Agent）**，以避免被目标网站识别为爬虫而被封禁。以下是实现这一功能的完整示例和说明。

---

## ✅ 一、基本思路

通过设置 cURL 的 `User-Agent` 请求头，让服务器认为你是一个真实的浏览器访问。

---

## ✅ 二、PHP cURL 伪装 User-Agent 示例代码

```php
<?php
// 目标网址
$url = 'https://example.com';

// 初始化 cURL 句柄
$ch = curl_init();

// 设置 cURL 选项
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); // 返回结果不直接输出
curl_setopt($ch, CURLOPT_HEADER, false); // 不返回响应头
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true); // 跟随重定向
curl_setopt($ch, CURLOPT_TIMEOUT, 10); // 超时时间（秒）

// 设置 User-Agent 头（模拟浏览器）
curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/128.0.0.0 Safari/537.36');

// 执行请求
$response = curl_exec($ch);

// 检查是否有错误
if ($response === false) {
    echo 'cURL Error: ' . curl_error($ch);
} else {
    echo $response;
}

// 关闭 cURL 句柄
curl_close($ch);
?>
```

---

## ✅ 三、常见 User-Agent 示例

你可以根据需要选择不同的 User-Agent：

### 常见浏览器 User-Agent 示例：

- **Chrome Windows**：
  ```
  Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/128.0.0.0 Safari/537.36
  ```

- **Firefox Windows**：
  ```
  Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:127.0) Gecko/20100101 Firefox/127.0
  ```

- **Safari Mac**：
  ```
  Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/16.5 Safari/605.1.15
  ```

- **Edge Windows**：
  ```
  Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/128.0.0.0 Safari/537.36 Edg/128.0.0.0
  ```

---

## ✅ 四、其他常用 cURL 设置（可选）

| 设置项 | 说明 |
|--------|------|
| `CURLOPT_REFERER` | 设置 Referer，模拟从某页面跳转过来 |
| `CURLOPT_HTTPHEADER` | 自定义 HTTP 请求头 |
| `CURLOPT_SSL_VERIFYPEER` | 是否验证 SSL 证书（有些网站要求） |
| `CURLOPT_COOKIE` | 设置 Cookie，用于登录状态保持 |

---

## ✅ 五、示例：添加 Referer 和 Cookie

```php
curl_setopt($ch, CURLOPT_REFERER, 'https://www.google.com'); // 模拟来源页
curl_setopt($ch, CURLOPT_COOKIE, 'sessionid=123456'); // 模拟登录 Cookie
```

---

## ✅ 六、注意事项

- 避免频繁请求，防止被封 IP。
- 使用合法的 User-Agent，不要用恶意或非法工具。
- 尊重网站的 `robots.txt` 文件，遵守网站的爬取规则。

---

如果你有具体的目标网站，我可以帮你定制更合适的 User-Agent 或设置。需要的话可以告诉我！