我将通过这篇著述胪陈一下如何用Swift搭建一个HTTP代理工作器。本文将使用Hummingbird[1]四肢工作端的基本HTTP框架,以及使用AsyncHTTPClient[2]四肢Swift的HTTP客户端来苦求主张工作。
什么是代理工作器代理工作器是一个搭载在客户端和另一个工作端(后头咱们成为主张工作端)的中间工作器,它从客户端转发音书到主张工作端,况兼从主张工作端得到反映信息传回给客户端。在转发音书之前,它不错以某种花式处理这些音书,通常,它也不错处理复返的反映。
让咱们试着构建一个在本文中,咱们将构建一个只将HTTP数据包转发到主张工作的代理工作器。您不错在这里找到本文的示例代码。
迷水商城 创建神情咱们使用Hummingbird模板神情[3] 咫尺最低版块适配 Swift5.5 四肢咱们工作的运行模板。读者不错选拔clone这个存储库,或者径直点击Github神情主页上use this template按钮来创建咱们我方的存储库。用这个模板神情创建一个工作端况兼启动它,不错使用一些适度台选项和文献来建设咱们的期骗。详见here[4]
加多 AsyncHTTPClient咱们将把AsyncHTTPClient四肢依赖加入Package.swift以便咱们后头来使用
迷水商城迷水商城迷水商城dependencies: [ ... .package(url: "https://github.com/swift-server/async-http-client.git", from: "1.6.0"), ],
然后在主张依赖也添加一下
迷水商城targets: [ .executableTarget(name: "App", dependencies: [ ... .product(name: "AsyncHTTPClient", package: "async-http-client"), ],
咱们将把HTTPClient四肢HBApplicatipn的膨胀。这么便捷咱们经管HTTPClient的人命周期以及在HTTPClient删除前调用syncShutdown要领。
extension HBApplication { var httpClient: HTTPClient { get { self.extensions.get(\.httpClient) } set { self.extensions.set(\.httpClient, value: newValue) { httpClient in try httpClient.syncShutdown() }} } }
当HBApplication关闭时候会调用set内部的闭包。这意味着咱们当咱们援用了HBApplication,即使不使用HTTPClient,咱们也有权限去调用它
昏睡药,春药女,迷听水 加多 middleware[中间件]咱们将把咱们的代理工作器四肢中间件。中间件将得到一个苦求,然后将它发送到主张工作器况兼从主张工作器得到反映信息。底下使咱们运行版块的中间件,它需要HTTPClient和主张工作器的URL两个参数。
struct HBProxyServerMiddleware: HBMiddleware { let httpClient: HTTPClient let target: String func apply(to request: HBRequest, next: HBResponder) -> EventLoopFuture<HBResponse> { return httpClient.execute( request: request, eventLoop: .delegateAndChannel(on: request.eventLoop), logger: request.logger ) } }
咫尺咱们有了HTTPClient和HBProxyServerMiddleware中间件,咱们将它们加入建设文献HBApplication.configure。然后缔造咱们代理工作地址为http://httpbin.org
func configure(_ args: AppArguments) throws { self.httpClient = HTTPClient(eventLoopGroupProvider: .shared(self.eventLoopGroup)) self.middleware.add(HBProxyServerMiddleware(httpClient: self.httpClient, target: "http://httpbin.org")) }调养类型
当咱们完成上头的武艺,构建会知道失败。因为咱们还需要调养Hummingbird和AsyncHTTPClient之间的请乞降反映类型。同期咱们需要归拢主张工作的URL到苦求里。
苦求调养为了将Hummingbird HBRequest升沉为AsyncHTTPClient HTTPClient.Request,
原因: 咱们当先需要整理可能仍在加载的HBRequest的body信息,调养经过是异步的
惩处决策:是以它需要复返一个包含后头调养结果的EventLoopFuture,让咱们将调养函数放到HBRequest内部
迷水商城extension HBRequest { func ahcRequest(host: String) -> EventLoopFuture<HTTPClient.Request> { // consume request body and then construct AHC Request once we have the // result. The URL for the request is the target server plus the URI from // the `HBRequest`. return self.body.consumeBody(on: self.eventLoop).flatMapThrowing { buffer in return try HTTPClient.Request( url: host + self.uri.description, method: self.method, headers: self.headers, body: buffer.map { .byteBuffer($0) } ) } } }反映信息装换
从HTTPClient.Response到HBResponse的调养终点浅陋
extension HTTPClient.Response { var hbResponse: HBResponse { return .init( status: self.status, headers: self.headers, body: self.body.map { HBResponseBody.byteBuffer($0) } ?? .empty ) } }
咱们咫尺将这两个调养武艺加入HBProxyServerMiddleware的apply函数中。同期加入一些日记打印信息
func apply(to request: HBRequest, next: HBResponder) -> EventLoopFuture<HBResponse> { // log request request.logger.info("Forwarding \(request.uri.path)") // convert to HTTPClient.Request, execute, convert to HBResponse return request.ahcRequest(host: target).flatMap { ahcRequest in httpClient.execute( request: ahcRequest, eventLoop: .delegateAndChannel(on: request.eventLoop), logger: request.logger ) }.map { response in return response.hbResponse } }
咫尺应该不错普遍编译了。中间件将整理HBRequest的苦求体,将它升沉为HTTPRequest.Request,然后使用HTTPClient将苦求转发给主张工作器。得到的反映信息会升沉为HBResponse复返给期骗。
运行期骗,大开网页大开localhost:8080。咱们应该能看到咱们之前缔造代理的httpbin.org网页信息
Streaming[流]上头的缔造不吊问常理思。它会恭候苦求王人备加载,然后才将苦求转发给主张工作端。同理反映转发亦然需要恭候反映王人备加载后才会转发。这裁汰了音书发送的结果,通常会导致苦求占用普遍内存或者反映信息很大。
咱们不错通过流式传输请乞降反映负载来校阅这小数。一朝咱们有了它的头部,就开端将苦求发送到主张工作,并在汲取到主体部分时对其进行流式处理。访佛地,一朝咱们有了它的头,在另一个标的开端发送反映。排斥对竣工苦求或反映的恭候将耕作代理工作器的性能。
要是客户端和代理之间的通讯以及代理和主张工作之间的通讯以不同的速率运行,春药副作用咱们仍然会遭逢内存问题。要是咱们汲取数据的速率比处理数据的速率快,数据就会开端备份。为了幸免这种情况发生,咱们需要简略施加背压以住手读取迥殊的数据,直到咱们处理了满盈多的内存中的数据。有了这个,咱们不错将代理使用的内存量保抓在最低甘休。
迷水商城迷水商城 流式苦求流式传输苦求负载是一个终点浅陋的经过。骨子上,它简化了构造 HTTPClient.Request 的经过因为咱们不需要恭候苦求王人备加载。咱们如何构造 HTTPClient.Request 主体将基于竣工的 HBRequest 是否依然在内存中。要是咱们复返流苦求,则会自动期骗背压,因为 Hummingbird 工作器框架会为咱们推行此操作。
func ahcRequest(host: String, eventLoop: EventLoop) throws -> HTTPClient.Request { let body: HTTPClient.Body? switch self.body { case .byteBuffer(let buffer): body = buffer.map { .byteBuffer($0) } case .stream(let stream): body = .stream { writer in // as we consume buffers from `HBRequest` we write them to // the `HTTPClient.Request`. return stream.consumeAll(on: eventLoop) { byteBuffer in writer.write(.byteBuffer(byteBuffer)) } } } return try HTTPClient.Request( url: host + self.uri.description, method: self.method, headers: self.headers, body: body ) }流式反映
流式反映需要一个驯服 HTTPClientResponseDelegate 的class. 这将在 HTTPClient 反映可用时立即从反映中汲取数据。反映正文是 ByteBuffers 形势. 咱们不错将这些 ByteBuffers 提供给 HBByteBufferStreamer. 咱们讲述的 HBResponse 是由这些流构造,而不是静态的 ByteBuffer。
要是咱们将苦求流与反映流代码集合起来,咱们的最终的 apply 函数应该是这么的
func apply(to request: HBRequest, next: HBResponder) -> EventLoopFuture<HBResponse> { do { request.logger.info("Forwarding \(request.uri.path)") // create request let ahcRequest = try request.ahcRequest(host: target, eventLoop: request.eventLoop) // create response body streamer. maxSize is the maximum size of object it can process // maxStreamingBufferSize is the maximum size of data the streamer is allowed to have // in memory at any one time let streamer = HBByteBufferStreamer(eventLoop: request.eventLoop, maxSize: 2048*1024, maxStreamingBufferSize: 128*1024) // HTTPClientResponseDelegate for streaming bytebuffers from AsyncHTTPClient let delegate = StreamingResponseDelegate(on: request.eventLoop, streamer: streamer) // execute request _ = httpClient.execute( request: ahcRequest, delegate: delegate, eventLoop: .delegateAndChannel(on: request.eventLoop), logger: request.logger ) // when delegate receives head then signal completion return delegate.responsePromise.futureResult } catch { return request.failure(error) } }
你会注目到在上头的代码中咱们不恭候httpClient.execute. 这是因为要是咱们这么作念了,该函数将在不绝之前恭候系数反映主体在内存中。咱们但愿立即处理反映,因此咱们向拜托添加了一个promise: 一朝咱们收到头部信息,就剖释过保存头部细目和流到HBResponse来竣事。EventLoopFuture这个 promise的是咱们从apply函数传回的。
我莫得在StreamingResponseDelegate这里包含代码,但您不错在竣工的示例代码中[5]找到它。
示例代码添加该示例代码[6]可能在上头的基础上作念了部分修改。
默许绑定地址端口是 8081 而不是 8080。大多数 Hummingbird 示例在 8080 上运行,因此要在这些示例旁边使用代理,它需要绑定到不同的端口。 我添加了一个位置选项,它允许咱们只转发来自特定基本 URL 的苦求 我为主张和位置添加了敕令行选项,因此不错在不重建期骗圭臬的情况下革新这些选项 我删除了 host 标题或苦求,以便不错用正确的值填写 要是提供了 content-length 标头,则在调养流苦求时,我将其传递给 HTTPClient 流送器,以确保 content-length 为主张工作器的苦求正确缔造标头。 备择决策咱们不错使用 HummingbirdCore 代替 Hummingbird 四肢代理工作器。这将提供一些迥殊的性能,因为它会删除迥殊的代码层,但会葬送纯真性。添加任何迥殊的路由或中间件需要作念更多的职责。我有只使用HummingbirdCore代理工作器的示例代码在这里[7]。
诚然,另一种选拔是使用 Vapor。我思在 Vapor 中的竣事看起来与上头形色的相配相似,应该不会太难。不外我会把它留给别东谈主。
参考云尔[1]Hummingbird: https://github.com/hummingbird-project/hummingbird
[2]AsyncHTTPClient: https://github.com/swift-server/async-http-client
[3]Hummingbird模板神情: https://github.com/hummingbird-project/template
迷水商城[4]here: https://opticalaberration.com/2021/12/hummingbird-template.html
[5]示例代码中: https://github.com/hummingbird-project/hummingbird-examples/blob/main/proxy-server/Sources/App/Middleware/StreamingResponseDelegate.swift
迷水商城[6]示例代码: https://github.com/hummingbird-project/hummingbird-examples/tree/main/proxy-server
[7]在这里: https://github.com/hummingbird-project/hummingbird-examples/tree/main/proxy-server-core
迷水商城迷水商城迷水商城