掌握 curl 发送 HTTPS 请求的核心技巧 – wiki基地

精通 curl 与 HTTPS：深入探索安全数据传输的核心技巧

在现代网络交互中，curl（Client URL）无疑是最强大、最灵活的命令行工具之一。它允许用户通过各种协议（包括 HTTP、HTTPS、FTP、SCP 等）与服务器进行数据传输。特别是对于开发者、系统管理员和安全研究人员而言，熟练使用 curl 发送 HTTPS 请求是一项至关重要的技能。HTTPS（Hypertext Transfer Protocol Secure）在 HTTP 的基础上加入了 SSL/TLS 加密层，确保了数据传输的机密性、完整性和身份验证。

然而，HTTPS 的引入也带来了额外的复杂性，尤其是在证书验证、客户端认证、协议版本协商等方面。仅仅知道 curl https://example.com 是远远不够的。要真正发挥 curl 的威力，并安全、高效地与 HTTPS 服务交互，我们需要掌握一系列核心技巧。本文将深入探讨这些技巧，助您从 curl 新手蜕变为 HTTPS 请求专家。

一、 HTTPS 请求基础：超越简单的 GET

最基础的 curl 用法是发起一个 GET 请求：

bash curl https://api.example.com/data

curl 会自动处理 HTTPS 握手、证书验证（使用系统默认的 CA 证书库）并显示响应体。但实际应用远不止于此。

指定请求方法 (-X 或 --request):
虽然 curl 会根据是否有 -d 或 -F 等选项推断方法（默认为 GET，有数据时通常为 POST），但显式指定方法是良好实践，特别是对于 PUT、DELETE、PATCH 等方法。

“`bash

发送 POST 请求

curl -X POST https://api.example.com/users

发送 PUT 请求

curl -X PUT https://api.example.com/users/123

发送 DELETE 请求

curl -X DELETE https://api.example.com/users/123
“`
显示响应头 (-i 或 --include):
默认 curl 只显示响应体。要查看完整的 HTTP 响应（包括状态行和头部信息），使用 -i。

bash curl -i https://example.com
仅显示响应头 (-I 或 --head):
有时我们只关心响应头信息（如状态码、Content-Type 等），而不关心响应体内容。-I 选项会发送一个 HEAD 请求（除非用 -X 指定了其他方法，此时它仅显示响应头）。

bash curl -I https://example.com

二、核心关键：SSL/TLS 证书处理

HTTPS 的核心在于 SSL/TLS 加密和认证。curl 在处理证书方面提供了强大的控制能力。

默认证书验证:
默认情况下，curl 会尝试验证服务器证书的有效性。它会检查：
- 证书是否由受信任的证书颁发机构（CA）签发。
- 证书是否在有效期内。
- 证书中的主机名是否与请求的 URL 匹配。
  curl 通常依赖操作系统提供的 CA 证书库（如 /etc/ssl/certs/ca-certificates.crt on Debian/Ubuntu, 或通过 OpenSSL 配置的路径）。
指定自定义 CA 证书 (--cacert 和 --capath):
在某些情况下（例如，内部服务的自签名证书、特定的企业 CA），系统默认的 CA 库可能不包含所需的根证书或中间证书。
- --cacert <file>: 指定一个包含 PEM 格式的 CA 证书的文件。这可以是单个根证书，也可以是包含多个证书的证书链文件。
  
  “`bash
  
  使用自定义的 CA 证书文件验证服务器
  
  curl –cacert /path/to/your/ca.crt https://internal.example.com
  `` *–capath
  : 指定一个包含多个 PEM 格式 CA 证书文件的目录。curl（通常依赖于 OpenSSL）会在此目录中查找证书。使用此选项前，通常需要对目录中的证书文件运行c_rehash` (OpenSSL) 或类似命令来创建正确的哈希链接。
  
  “`bash
  
  （先确保目录已 rehash）
  
  c_rehash /path/to/ca_certs_directory/
  
  使用指定目录中的 CA 证书进行验证
  
  curl –capath /path/to/ca_certs_directory/ https://internal.example.com
  “`
忽略 SSL 证书验证 (-k 或 --insecure) – 强烈不推荐:
这是 curl 中最危险的选项之一。它完全跳过服务器证书的验证过程。这意味着 curl 不会检查证书是否由受信任的 CA 签发、是否过期、主机名是否匹配。这使得连接容易受到中间人攻击（MITM）。
仅在绝对必要且完全理解风险的情况下（例如，在受控的测试环境中连接已知但证书配置错误的服务器），才应使用此选项。绝不应在生产环境或处理敏感数据时使用 -k。

“`bash

警告：此操作不安全，会跳过证书验证！

curl -k https://self-signed.example.com
“`
客户端证书认证 (Mutual TLS – mTLS):
某些 HTTPS 服务要求客户端也提供证书以进行身份验证，这称为双向 TLS (mTLS)。
- --cert <cert_file>: 指定客户端证书文件（PEM 格式）。
- --key <key_file>: 指定与客户端证书对应的私钥文件（PEM 格式）。
- --pass <password>: 如果私钥文件被密码保护，使用此选项提供密码。注意：直接在命令行提供密码可能不安全，会被记录在历史记录中。更安全的方式是让 curl 提示输入，或者从文件、环境变量读取。
“`bash

使用客户端证书和私钥进行认证

curl –cert /path/to/client.crt –key /path/to/client.key https://secure-api.example.com

如果私钥有密码，curl 会提示输入，或者使用 –pass

curl –cert client.crt –key client.key –pass ‘your_password’ https://secure-api.example.com

更安全的方式（curl 会提示）：

curl –cert client.crt –key client.key https://secure-api.example.com

`` *–cert-type : 指定证书类型 (PEM, DER, ENG)。默认为 PEM。 *–key-type `: 指定私钥类型 (PEM, DER, ENG)。默认为 PEM。

三、精确控制 TLS 协议和加密套件

有时，出于兼容性或安全策略要求，需要强制 curl 使用特定的 TLS 协议版本或加密套件 (Cipher Suites)。

指定 TLS 版本:
- --tlsv1.0, --tlsv1.1, --tlsv1.2, --tlsv1.3: 强制使用指定的 TLS 版本。使用这些选项时要小心，因为服务器可能不支持你强制指定的版本，导致握手失败。通常 curl 会自动协商支持的最高版本。
  
  “`bash
  
  强制使用 TLS 1.2
  
  curl –tlsv1.2 https://example.com
  
  尝试强制使用 TLS 1.3
  
  curl –tlsv1.3 https://example.com
  `` *–tls-max : 设置允许协商的最高 TLS 版本 (e.g.,–tls-max 1.2`)。
指定加密套件 (--ciphers):
可以指定一个或多个允许使用的加密套件列表（使用 OpenSSL 或 NSS 的语法，取决于 curl 的编译后端）。这通常用于满足特定的安全基线或测试服务器的密码套件支持情况。

“`bash

仅允许使用特定的 AES-GCM 加密套件 (OpenSSL 语法示例)

curl –ciphers ‘ECDHE-RSA-AES128-GCM-SHA256:ECDHE-ECDSA-AES128-GCM-SHA256’ https://example.com

查看 curl 支持的 TLS 后端和默认密码套件

curl –version

“`
修改默认密码套件需要深入理解 TLS 和密码学，错误配置可能导致连接失败或降低安全性。

四、发送数据与设置请求头

与 HTTPS 服务交互通常涉及发送数据（如 JSON、表单数据）和设置自定义请求头（如 Authorization, Content-Type）。

发送请求体数据:
- -d 或 --data <data>: 发送 HTTP POST 请求（默认），数据会进行 URL 编码（application/x-www-form-urlencoded）。
  
  “`bash
  
  发送表单数据
  
  curl -X POST -d “name=John Doe” -d “[email protected]” https://api.example.com/register
  
  发送 JSON 数据 (需要手动设置 Content-Type)
  
  curl -X POST -H “Content-Type: application/json” -d ‘{“username”:”test”, “value”:123}’ https://api.example.com/data
  `` *–data-raw : 类似-d，但数据**不会**进行 URL 编码。如果数据以@开头，后面的内容会被视为文件名，curl` 会读取该文件内容作为数据。
  
  “`bash
  
  发送原始 JSON 字符串
  
  curl -X POST -H “Content-Type: application/json” –data-raw ‘{“username”:”test”, “value”:123}’ https://api.example.com/data
  
  从文件发送 JSON 数据
  
  curl -X POST -H “Content-Type: application/json” –data-raw @payload.json https://api.example.com/data
  `` *–data-urlencode : 明确进行 URL 编码。可以多次使用，效果同-d。也支持name=value和name@filename` 格式。
  
  bash curl -X POST --data-urlencode "comment=This needs encoding!" https://api.example.com/submit
  * -F 或 --form <name=content>: 发送 multipart/form-data 请求，常用于文件上传。
  * name=string: 发送普通表单字段。
  * name=@filename: 上传文件。
  * name=<filename: 从文件读取内容作为字段值。
  
  “`bash
  
  上传文件和表单字段
  
  curl -X POST -F “user=daniel” -F “profile_pic=@/path/to/avatar.jpg” https://api.example.com/upload
  `` *-G或–get: 将使用-d,–data,–data-raw,–data-urlencode` 指定的数据附加到 URL 后面作为查询参数，并强制使用 GET 方法。
  
  “`bash
  
  发送 GET 请求，参数在 URL 中
  
  curl -G -d “query=search term” -d “page=1” https://search.example.com/find
  
  等效于： curl “https://search.example.com/find?query=search%20term&page=1”
  
  “`
设置请求头 (-H 或 --header):
发送自定义请求头非常普遍，例如设置内容类型、接受类型、认证令牌等。可以多次使用 -H 添加多个头。

“`bash

设置 Content-Type 和 Accept 头

curl -X POST \
-H “Content-Type: application/json” \
-H “Accept: application/vnd.api+json” \
-d ‘{“data”:{“type”:”articles”, “attributes”:{“title”:”My Article”}}}’ \
https://api.example.com/articles

发送 Bearer Token进行认证

curl -H “Authorization: Bearer YOUR_ACCESS_TOKEN” https://api.example.com/secure/resource

清除默认添加的头（如 ‘Accept: /‘），然后设置自己的

curl -H “Accept:” -H “Accept: application/json” https://api.example.com

发送包含分号的头（需要引用）

curl -H ‘Header-With-Semicolon: value1; param=something’ https://example.com
“`

五、调试与高级选项

当 HTTPS 请求不如预期时，curl 提供了丰富的调试工具。

详细输出 (-v 或 --verbose):
这是最重要的调试选项之一。-v 会打印出详细的交互信息，包括：
- 尝试连接的 IP 地址和端口。
- SSL/TLS 握手过程的详细信息（协商的协议版本、密码套件、服务器证书信息等）。
- 发送的请求头（以 > 开头）。
- 接收到的响应头（以 < 开头）。
- 其他连接相关的诊断信息。
  通过 -v 的输出，可以快速定位是网络问题、DNS 解析问题、TLS 握手失败、证书验证错误还是服务器端的问题。
“`bash

启用详细输出模式进行调试

curl -v https://expired-cert.example.com

观察输出中关于证书验证失败的信息

“`
跟踪更详细的信息 (--trace <file> 和 --trace-ascii <file>):
比 -v 更详尽，会将所有传入和传出的数据（包括二进制数据）以十六进制形式转储到指定文件。--trace-ascii 则尝试以 ASCII 形式显示。这对深入分析协议交互细节非常有用。

“`bash

将所有通信数据（十六进制）记录到 trace.log

curl –trace trace.log https://api.example.com

将通信数据（ASCII）记录到 trace.txt

curl –trace-ascii trace.txt https://api.example.com
“`
处理重定向 (-L 或 --location):
默认情况下，如果服务器返回 3xx 重定向响应，curl 不会自动跟随。使用 -L 会让 curl 跟随重定向。

“`bash

跟随 HTTP 重定向

curl -L http://example.com # 可能会重定向到 https://www.example.com
“`
使用代理 (-x 或 --proxy):
在需要通过代理服务器访问外部网络的环境中，使用 -x 指定代理地址和端口。
- 支持 HTTP, HTTPS, SOCKS4, SOCKS4a, SOCKS5, SOCKS5h 代理。协议类型通常从代理 URL 推断（如 http://, https://, socks5://）。
“`bash

通过 HTTP 代理访问 HTTPS 网站

curl -x http://proxy.example.com:8080 https://google.com

通过需要认证的 HTTP 代理

curl -x http://user:[email protected]:8080 https://google.com

通过 SOCKS5 代理 (让代理进行 DNS 解析)

curl –proxy socks5h://localhost:1080 https://ifconfig.me
`` *–proxy-user : 单独指定代理认证信息。 *–proxy-cacert : 如果代理本身是 HTTPS 代理且需要验证其证书，使用此选项指定 CA 证书。 *–proxy-insecure`: （同样危险）忽略 HTTPS 代理服务器的证书验证。
设置超时 (--connect-timeout 和 --max-time):
在脚本或自动化任务中，为防止 curl 无限期等待，设置超时非常重要。
- --connect-timeout <seconds>: 设置建立 TCP 连接（和 TLS 握手）的最大等待时间。
- --max-time <seconds>: 设置整个操作（连接、发送、接收）允许的总时间。
“`bash

连接超时 5 秒，总操作超时 30 秒

curl –connect-timeout 5 –max-time 30 https://api.example.com/long_running_task
“`
保存输出 (-o 和 -O):
- -o <filename> 或 --output <filename>: 将响应体保存到指定文件，而不是打印到标准输出。
  
  bash curl -o page.html https://example.com
  * -O 或 --remote-name: 将响应体保存到文件，文件名使用 URL 中的最后一部分。
  
  “`bash
  
  下载文件并保存为 download.zip
  
  curl -O https://example.com/files/download.zip
  “`
处理 Cookie (-b, -c, --cookie, --cookie-jar):
curl 可以读取和写入 Cookie，用于维护会话状态。
- -c <file> 或 --cookie-jar <file>: 操作结束后，将服务器发送的 Cookie 保存到指定文件。
- -b <data|file> 或 --cookie <data|file>: 向服务器发送 Cookie。可以是 Name=Value 格式的字符串，也可以是包含 Netscape 或 Set-Cookie 格式 Cookie 的文件名。
“`bash

1. 登录并将 Cookie 保存到 cookies.txt

curl -X POST -d “user=test&pass=secret” -c cookies.txt https://example.com/login

2. 使用保存的 Cookie 访问受保护页面

curl -b cookies.txt https://example.com/dashboard
“`

六、脚本编写与安全实践

在脚本中使用 curl 时，需要注意：

错误处理: 使用 -f 或 --fail 选项。如果服务器返回 HTTP 错误码（4xx 或 5xx），curl 会静默退出并返回非零状态码（通常是 22），而不是输出错误页面内容。这便于脚本判断请求是否成功。

“`bash
if curl -f -s -o /dev/null https://api.example.com/health; then
echo “API is healthy”
else
echo “API health check failed (HTTP status >= 400 or other error)”
fi

-s or –silent: 静默模式，不显示进度条或错误信息 (配合 -f 使用)

-o /dev/null: 丢弃响应体

“`
敏感数据处理: 避免在命令行直接写入密码或 API 密钥。
- 使用环境变量。
- 从文件读取 (-d @file, -K/--config file)。
- 对于密码，让 curl 提示输入（如客户端证书私钥密码）。
- 使用 -u user:password 时，密码会显示在进程列表中，考虑使用 --netrc 文件或更安全的认证机制。
参数引用: 在 shell 脚本中，确保对包含特殊字符的 URL、数据、头信息使用正确的引号（单引号或双引号），防止 shell 解释。
再次强调 -k/--insecure 的风险: 在自动化脚本中尤其要避免使用此选项，除非有绝对充分的理由并且完全理解其安全隐患。优先解决证书问题（例如，将自签名 CA 添加到信任库或使用 --cacert）。

结论

curl 是一个功能极其丰富的工具，尤其在处理 HTTPS 请求方面，它提供了无与伦比的灵活性和控制力。掌握其核心技巧——从基本的请求方法、数据发送，到关键的 SSL/TLS 证书处理（验证、指定 CA、客户端认证），再到协议版本控制、代理使用、超时设置和调试方法——能够极大地提升您与现代 Web 服务交互的能力和效率。

理解 HTTPS 的工作原理以及 curl 提供的相关选项，不仅能帮助您解决连接问题，更能确保数据传输的安全性和可靠性。花时间实践这些命令，并结合 -v (verbose) 模式观察其效果，是加深理解的最佳途径。随着经验的积累，您将发现 curl 不仅仅是一个工具，更是探索和驾驭网络世界的强大助手。不断学习和实践，您就能真正精通 curl，自信地应对各种复杂的 HTTPS 交互场景。

发送 POST 请求

发送 PUT 请求

发送 DELETE 请求

使用自定义的 CA 证书文件验证服务器

（先确保目录已 rehash）

c_rehash /path/to/ca_certs_directory/

使用指定目录中的 CA 证书进行验证

警告：此操作不安全，会跳过证书验证！

使用客户端证书和私钥进行认证

如果私钥有密码，curl 会提示输入，或者使用 –pass

curl –cert client.crt –key client.key –pass ‘your_password’ https://secure-api.example.com

更安全的方式（curl 会提示）：

curl –cert client.crt –key client.key https://secure-api.example.com

强制使用 TLS 1.2

尝试强制使用 TLS 1.3

仅允许使用特定的 AES-GCM 加密套件 (OpenSSL 语法示例)

查看 curl 支持的 TLS 后端和默认密码套件

curl –version

发送表单数据

发送 JSON 数据 (需要手动设置 Content-Type)

发送原始 JSON 字符串

从文件发送 JSON 数据

上传文件和表单字段

发送 GET 请求，参数在 URL 中

等效于： curl “https://search.example.com/find?query=search%20term&page=1”

设置 Content-Type 和 Accept 头

发送 Bearer Token进行认证

清除默认添加的头（如 ‘Accept: /‘），然后设置自己的

发送包含分号的头（需要引用）

启用详细输出模式进行调试

观察输出中关于证书验证失败的信息

将所有通信数据（十六进制）记录到 trace.log

将通信数据（ASCII）记录到 trace.txt

跟随 HTTP 重定向

通过 HTTP 代理访问 HTTPS 网站

通过需要认证的 HTTP 代理

通过 SOCKS5 代理 (让代理进行 DNS 解析)

连接超时 5 秒，总操作超时 30 秒

下载文件并保存为 download.zip

1. 登录并将 Cookie 保存到 cookies.txt

2. 使用保存的 Cookie 访问受保护页面

-s or –silent: 静默模式，不显示进度条或错误信息 (配合 -f 使用)

-o /dev/null: 丢弃响应体