Go代理教程：从零开始构建你自己的代理服务器 – wiki基地

作者： /

Go代理教程：从零开始构建你自己的代理服务器

前言

在Go语言的生态系统中，“代理”这个词通常有两个主要的含义：一个是作为Go模块的依赖代理，另一个是作为网络请求的中间人，即我们常说的网络代理服务器。本教程将深入探讨这两个方面，帮助你全面理解Go中的代理，并从零开始构建一个自己的HTTP代理服务器。

第一部分：理解和使用Go模块代理

Go模块代理是一个服务器，它充当你的go命令和模块源代码（如GitHub）之间的中间人。当你构建或运行Go程序时，go命令会从代理服务器下载所需的模块，而不是直接从源代码库下载。自Go 1.13版本以来，go命令默认使用https://proxy.golang.org作为模块代理。

为什么使用模块代理？

使用模块代理有几个显著的好处：

  • 提高构建的可靠性: 代理服务器会缓存模块的特定版本。即使原始代码库（如GitHub上的某个项目）被删除或无法访问，你仍然可以成功构建你的项目。
  • 增强安全性: 官方的Go模块代理与一个全局的校验和数据库（sum.golang.org）协同工作，验证下载的模块内容是否被篡改，确保你获取的代码是可信的。
  • 加快下载速度: 模块可以从地理位置更近的代理服务器上获取，大大减少了下载时间。
  • 版本不可变性: 一旦一个模块版本被代理缓存，它就会保持不变。这可以防止因为上游依赖库的意外更新或修改而导致的构建失败。

配置GOPROXY环境变量

Go模块代理的行为由GOPROXY环境变量控制。这个变量可以是一个或多个代理URL的列表（用逗号分隔），也可以是几个特殊的关键字：

  • https://proxy.golang.org: 官方的Go模块代理。
  • direct: 指示go命令直接从源代码托管服务器（如GitHub）下载模块。
  • off: 禁止使用任何模块代理，并且阻止go命令直接从网络下载模块。

GOPROXY的默认值是https://proxy.golang.org,direct。这意味着go命令会首先尝试从官方代理下载模块，如果失败（例如，模块在代理上不存在），它会再尝试直接从源代码库下载。

你可以使用以下命令查看当前的GOPROXY设置：

bash
go env GOPROXY

如果你在中国大陆，由于网络原因，可能无法顺利访问proxy.golang.org。这时，你可以配置使用国内的代理，例如goproxy.cn：

bash
go env -w GOPROXY=https://goproxy.cn,direct

处理私有模块

当你的项目依赖于私有模块时（例如，公司内部的Git仓库），你需要配置Go绕过公共代理和校验和数据库。这通过GOPRIVATE环境变量来完成。

GOPRIVATE告诉go命令哪些模块路径是私有的，不应该通过公共的GOPROXY下载，也不应该使用sum.golang.org进行校验。

例如，如果你的所有私有模块都在git.mycompany.com下，你可以这样设置：

bash
go env -w GOPRIVATE=git.mycompany.com

GOPRIVATE的值是一个以逗号分隔的glob模式列表。设置GOPRIVATE会自动为你配置GONOPROXY和GONOSUMDB，所以通常你只需要设置这一个变量就足够了。

第二部分：从零开始构建一个HTTP代理服务器

Go语言强大的网络编程能力使其非常适合用来构建网络应用，包括代理服务器。一个HTTP代理服务器可以转发客户端的请求到目标服务器，并将目标服务器的响应返回给客户端。这在调试、日志记录、访问控制等方面非常有用。

下面，我们将一步步构建一个简单的HTTP代理服务器。

项目结构

为了保持代码的整洁，我们创建一个简单的项目结构：

/my-proxy
├── go.mod
└── main.go

编码实现

这是我们代理服务器的核心代码。将以下内容保存到main.go文件中。

“`go
package main

import (
“fmt”
“io”
“log”
“net”
“net/http”
“strings”
)

// handleRequest 是我们代理服务器的核心处理函数
func handleRequest(w http.ResponseWriter, r *http.Request) {
// 记录接收到的请求
log.Printf(“Received request: %s %s %s”, r.Method, r.Host, r.URL.String())

// 1. 复制原始请求到代理请求
// 我们将创建一个新的请求，用于转发给目标服务器
proxyReq, err := http.NewRequest(r.Method, r.URL.String(), r.Body)
if err != nil {
    http.Error(w, "Error creating proxy request", http.StatusInternalServerError)
    log.Printf("Error creating proxy request: %v", err)
    return
}

// 复制Header
for name, values := range r.Header {
    for _, value := range values {
        proxyReq.Header.Add(name, value)
    }
}

// 2. 添加 X-Forwarded-For 头
// 这个Header记录了请求的来源IP
if clientIP, _, err := net.SplitHostPort(r.RemoteAddr); err == nil {
    if prior, ok := proxyReq.Header["X-Forwarded-For"]; ok {
        clientIP = strings.Join(prior, ", ") + ", " + clientIP
    }
    proxyReq.Header.Set("X-Forwarded-For", clientIP)
}

// 3. 发送代理请求
// 使用http.DefaultClient发送我们创建的代理请求
resp, err := http.DefaultClient.Do(proxyReq)
if err != nil {
    http.Error(w, "Error sending request to target", http.StatusBadGateway)
    log.Printf("Error sending request to target: %v", err)
    return
}
defer resp.Body.Close()

// 4. 将目标服务器的响应返回给客户端
// 复制目标服务器的响应头
for name, values := range resp.Header {
    for _, value := range values {
        w.Header().Add(name, value)
    }
}

// 设置响应状态码
w.WriteHeader(resp.StatusCode)

// 复制响应体
if _, err := io.Copy(w, resp.Body); err != nil {
    log.Printf("Error copying response body: %v", err)
}

}

func main() {
// 代理服务器监听在 8080 端口
port := “:8080”
fmt.Printf(“Starting proxy server on port %s\n”, port)

// 注册请求处理函数
http.HandleFunc("/", handleRequest)

// 启动HTTP服务器
// 对于HTTP代理，我们主要处理常规的HTTP请求
// 对于HTTPS，我们需要处理CONNECT方法，这是一个更高级的主题
log.Fatal(http.ListenAndServe(port, nil))

}
“`

代码解析

  1. handleRequest 函数: 这是我们代理服务器的核心。每个进入代理的请求都会由这个函数处理。
  2. 创建代理请求: 我们使用http.NewRequest创建了一个新的请求proxyReq，这个请求将发往客户端指定的URL。我们复制了原始请求的方法、URL和请求体。
  3. 复制请求头: 代理应该尽可能地“透明”，所以我们将原始请求的Header原封不动地复制到新的代理请求中。
  4. X-Forwarded-For: 这是一个事实上的标准，用于标识通过HTTP代理或负载均衡器连接到Web服务器的客户端的原始IP地址。我们在这里添加或追加了客户端的IP。
  5. 发送请求: http.DefaultClient.Do(proxyReq)将我们构建的请求发送出去。
  6. 返回响应: 收到目标服务器的响应后，我们将其响应头、状态码和响应体复制到原始的http.ResponseWriter中，这样客户端就能收到响应了。
  7. 处理HTTPS (CONNECT方法): 我们当前这个简单的代理只能处理HTTP请求。要支持HTTPS，代理需要实现对CONNECT方法的处理。当浏览器想通过代理由HTTPS连接到一个网站时，它会先发送一个CONNECT请求给代理服务器。代理服务器在收到这个请求后，会在客户端和目标服务器之间建立一个TCP隧道，之后的所有数据（TLS握手和加密的应用数据）都会在这个隧道中直接传输，代理服务器本身不解密数据。这是一个更高级的主题，我们在这个入门教程中暂不深入。

如何运行和测试

  1. 初始化项目:
    bash
    go mod init my-proxy

  2. 运行代理服务器:
    bash
    go run main.go
    你会在终端看到 Starting proxy server on port :8080 的输出。

  3. 配置客户端使用代理:
    你可以配置你的浏览器或者使用命令行工具（如curl）来通过这个代理发送请求。

    使用 cURL 测试:
    打开另一个终端，执行以下命令：
    “`bash

    使用 -x 或 –proxy 选项指定代理服务器地址

    curl -x http://localhost:8080 http://example.com
    如果一切正常，你会看到`example.com`的HTML内容。同时，在代理服务器的终端窗口，你会看到类似下面这样的日志：
    2025/12/31 10:30:00 Received request: GET example.com /
    “`

总结

本教程涵盖了Go语言中“代理”的两个核心概念。我们学习了如何配置和使用Go模块代理来优化我们的开发流程，并从零开始构建了一个简单但功能齐全的HTTP代理服务器。

通过这个实践，你不仅能更深入地理解HTTP协议和网络编程，也为你构建更复杂的网络工具打下了坚实的基础。你可以基于当前的代码进行扩展，例如增加缓存、实现认证、或者完整支持HTTPS的CONNECT方法。

滚动至顶部