5 分钟带你了解 HTTP 代理

原创 程序员cxuan 2021-10-19 08:00

"如果你有任何疑问和不满,请和我的代理人去说",我们经常会听到某某明星又爆出什么猛料,结果都是当事人不解释,倒是由代理或者工作室来解释一大堆有的没的。

他们好像是明星的另一张嘴,替代明星完成他们自己无法完成或者不愿意完成的工作。

这里的代理是现实生活中的实体,是实实在在存在的人。

而在互联网中,也存在着一种实体,来替代网络实体完成它所无法完成的工作,这种网络实体叫服务器,不过它还有一种特殊的叫法:Web 代理(proxy)

上面的网络实体,其实就指的是客户端和服务器。

代理通常位于服务器和客户端之间,扮演一种中间人的角色,在各个点之间传递 HTTP 报文,如果没有代理,HTTP 客户端就要和 HTTP 服务器进行直接对话。

那么,为什么 HTTP 客户端不直接和 HTTP 服务器进行对话,非要在中间加一层代理呢?它能起到什么作用呢?

首先,我们大家知道,有一些国外的网站在国内是访问不了的,但是假如我们就想访问某同性交友网站改怎么办呢?这里就需要使用代理了,它能够突破自身 IP 限制,访问国外站点。还有一些涉密公司会禁止访问外网,那要是查资料该怎么办呢?使用代理。

其次,代理还能够提升网络带宽,加快访问速度,代理服务器会存储一部分带宽,而且代理服务器内部会有一块大的缓冲区,当访问了某些页面后,代理服务器就会缓存这些页面,等下次访问相同页面时,代理服务器会直接返回缓冲区缓冲之后的页面,这样代理服务器就会把带宽省下来的同时提高访问速度。

代理还会隐藏你主机的真实 IP,我们也可以通过这种方法免受网络攻击。

总的来说,代理的功能主要有下面几点。

私有代理和公共代理

代理服务器可以为许多客户端提供代理服务,同时代理也可以只是某个客户端专用的。就像教父中的汤姆军师只为柯里昂家族服务,而像是律师事务所的大部分律师是则面向公众服务的。所以,依据职责的不同,单个客户端专用的代理一般被称为私有代理,而为大多数客户端服务的代理被称为公共代理

公共代理

我们见到的大部分代理服务器都是公共代理,公共代理最大的特点就是共享,但是共享也意味着风险,一般不推荐使用这种代理,不过公共代理却有他自己独有的优点:

  • 大部分公共代理都是免费的,这意味着你可以随意白嫖(果然免费的才香)。
  • 能够支持 HTTP 和 SOCKSv5 服务。

这里我们熟悉 HTTP 协议,那么 SOCKSv5 是个什么协议呢?我们后面会说到。

  • 如果你想要从 Internet 上收集数据,那么公共代理对某些 SEO 很有用。

私有代理

专用的私有代理比较少见,但它们却是存在,尤其是直接运行在客户端计算机上的时候。私有代理是一个专用的 IP ,一次只能由一个客户端使用。私有代理相比公共代理,也有一些独特的优势。

  • 速度快,因为只有单个客户端使用。
  • 足够安全,无需担心隐私被泄漏的风险。

不过,不论是公共代理还是私有代理,它们都有一个共同的特性,那就是既能扮演客户端,接受响应报文,返回响应报文;也能扮演服务器,接受客户端请求,处理客户端请求

所以,代理服务器分别扮演不同的职责,完全是根据你选择的参照物来说明的。

我们大家知道,网关是一种网络硬件设备或网络节点,它是网络的入口和出口点,因为所有数据在路由之前都必须通过网关或与网关通信。网关旨在将两个不同的网络连接在一起,允许用户跨多个网络进行通信。

上面这段描述中的网关,圈重点,其实就扮演了一个代理的角色,它行使的功能就是帮助两个异构的网络进行通信。

不过,虽然网关能起到代理的作用,但是网关和代理服务器确实完全不同的东西。

代理和网关最大的区别就是网关不会进行数据的过滤,网关不能阻止访问某些网站,而代理服务器的功能却有很多

可以这么理解,网关就是没有过滤功能的代理服务器。

⚠️这里不得不提另外一种网络设备,那就是防火墙,防火墙能够也能够过滤数据,进行安全性检查。

严格来说,代理连接的是两个或者多个使用相同协议的应用程序,依据不同的协议,代理可以分为很多种,不过我们常用的一般就下面三种代理方式。

  • HTTP 代理,是我们最常见到的一种代理方式,主要是代理浏览器进行访问页面。
  • SOCKS 代理,SOCKS 代理的正是 Socket,它支持多种协议,支持 HTTP 、FTP 等多种类型请求。它分SOCKS 4 和SOCKS 5两种类型,SOCKS 4只支持 TCP 协议而 SOCKS 5支持 TCP/UDP 协议,还支持各种身份验证机制等协议。
  • SSL 代理,SSL 代理也叫做 HTTPS 代理,为了保护敏感数据在互联网传送中的安全性,越来越多的网站都采用 SSL 加密形式发布。

这时候可能有读者会说了,cxuan 你讲了这么多东西,那到底网关能干啥呢?能举几个示例吗?

来了来了。

代理服务器的作用

下面我通过几个示例来给你解释一下代理服务器都有哪些用途和作用:

网站过滤

这是我们上面一直在讲的,代理服务器能够访问一些网站,同时它也有过滤功能,禁止一些网站的访问。

文档访问控制

可以使用代理服务器在大量的 web 服务器和 web 资源之间实现统一的访问控制,通常用在大型企业或者分布式机构中。比如下面是三种拥有不同访问控制权限的客户端。

  • 客户端 A 可以无限制的访问服务器 A 中的指定页面。
  • 客户端 B 可以无限制的直接访问互联网。
  • 客户端 C 在访问服务器 C 的加密数据之前需要输入密码或者凭证。

安全防火墙

代理服务器也可以充当防火墙的角色,用于限制/过滤数据的流入和流出,进行安全性检查等。

Web 缓存

代理缓存能够维护常用网站的本地副本,以便减少缓慢而且昂贵的因特网通信开销。

反向代理

代理除了能够假扮客户端之外,它还能够假扮服务器,这种方式被称为反向代理。但是对于客户端而言,反向代理服务器就相当于目标服务器,这也就是说客户端直接访问代理服务器就能够直接获得目标服务器的资源。

可以使用反向代理来提高访问龟速 Web 服务器上公共内容时的性能。在这种配置中,通常将这些反向代理称为服务器加速

转码器

代理服务器在将内容发送给客户端之前,修改内容的主体格式,这种对数据格式进行修改的方式就被称为转码

转码代理可以在传输 GIF 图片时,将其转换为 JPEG 图片,用于减小图片的传输大小,也可以对其进行压缩等。

匿名者

匿名者顾名思义就是代理服务器隐藏客户端特征,匿名者代理会从 HTTP 报文中删除身份特征,比如客户端的 IP 地址、From 首部、Referer 首部、cookie、URI 的会话 ID,提高私密性和安全性。

代理其实也像 DNS 一样,具有层次结构,只不过 DNS 层次结构中上下级之间都是 DNS 服务器,而代理层次结构把上下级都换成了代理服务器。

代理的层次结构

在代理的层次结构中,会将报文在代理之间传递,一直传递到最终的服务器,然后再将响应报文通过代理传回给客户端,例如下图是一个反向代理的层次结构。

代理层次结构中的代理服务器被赋予了父和子的关系,靠近服务器的被称为父代理,靠近客户端的被称为子代理。

这是一种静态的代理层次结构,静态意味着这个在这个层次结构中,代理 1 总是会将报文转发给代理 2 ,而代理 2 总是会将报文转发给代理 3。

但是,代理的层次结构却不一定非得是静态的,这也就是说,在代理层次结构中,父代理和子代理都是可以改变的,下面是几个可以动态选择代理的方式:

  • 负载均衡:子代理可以根据当前父代理的工作负载级别来选择父代理。
  • 地理位置邻近选择:当然也可以根据地理位置的临近情况来选择父代理。
  • 根据协议和类型来选择:子代理会根据 URI 将报文转发到不同的父代理或者原始服务器上去。

客户端的代理设置

客户端的代理设置主要有下面四种:

  • 手动设置
  • 预先配置浏览器代理,浏览器厂商会在客户端获取浏览器之前预先对代理进行配置
  • 自动配置代理,通过提供一个 URI,指向一个用 JS 写的代理自动配置文件;客户端会取回这个 JS 文件,并运行它以决定是否应该使用代理
  • WPAD 代理发现,有些浏览器支持 WPAD 代理自动发现协议,这个协议会自动检测出浏览器可以从哪个配置服务器下载到一个自动配置文件。

总结

这篇文章内容不是很多,而且也不是很复杂,适合当地铁或者饭后读物,五分钟大概就能吸收文章中的内容。

如果文章对你有帮助,求点赞求转发求关注,你的支持是我写文章最大的动力!!!


程序员cxuan cxuan 写的文章还不错。会分享计算机底层、计算机网络、操作系统,Java基础、框架、源码等文章。
评论
  • 根据环洋市场咨询(Global Info Research)项目团队最新调研,预计2030年全球无人机锂电池产值达到2457百万美元,2024-2030年期间年复合增长率CAGR为9.6%。 无人机锂电池是无人机动力系统中存储并释放能量的部分。无人机使用的动力电池,大多数是锂聚合物电池,相较其他电池,锂聚合物电池具有较高的能量密度,较长寿命,同时也具有良好的放电特性和安全性。 全球无人机锂电池核心厂商有宁德新能源科技、欣旺达、鹏辉能源、深圳格瑞普和EaglePicher等,前五大厂商占有全球
    GIRtina 2025-01-07 11:02 124浏览
  • PLC组态方式主要有三种,每种都有其独特的特点和适用场景。下面来简单说说: 1. 硬件组态   定义:硬件组态指的是选择适合的PLC型号、I/O模块、通信模块等硬件组件,并按照实际需求进行连接和配置。    灵活性:这种方式允许用户根据项目需求自由搭配硬件组件,具有较高的灵活性。    成本:可能需要额外的硬件购买成本,适用于对系统性能和扩展性有较高要求的场合。 2. 软件组态   定义:软件组态主要是通过PLC
    丙丁先生 2025-01-06 09:23 98浏览
  • 大模型的赋能是指利用大型机器学习模型(如深度学习模型)来增强或改进各种应用和服务。这种技术在许多领域都显示出了巨大的潜力,包括但不限于以下几个方面: 1. 企业服务:大模型可以用于构建智能客服系统、知识库问答系统等,提升企业的服务质量和运营效率。 2. 教育服务:在教育领域,大模型被应用于个性化学习、智能辅导、作业批改等,帮助教师减轻工作负担,提高教学质量。 3. 工业智能化:大模型有助于解决工业领域的复杂性和不确定性问题,尽管在认知能力方面尚未完全具备专家级的复杂决策能力。 4. 消费
    丙丁先生 2025-01-07 09:25 117浏览
  • 每日可见的315MHz和433MHz遥控模块,你能分清楚吗?众所周知,一套遥控设备主要由发射部分和接收部分组成,发射器可以将控制者的控制按键经过编码,调制到射频信号上面,然后经天线发射出无线信号。而接收器是将天线接收到的无线信号进行解码,从而得到与控制按键相对应的信号,然后再去控制相应的设备工作。当前,常见的遥控设备主要分为红外遥控与无线电遥控两大类,其主要区别为所采用的载波频率及其应用场景不一致。红外遥控设备所采用的射频信号频率一般为38kHz,通常应用在电视、投影仪等设备中;而无线电遥控设备
    华普微HOPERF 2025-01-06 15:29 167浏览
  • 本文介绍编译Android13 ROOT权限固件的方法,触觉智能RK3562开发板演示,搭载4核A53处理器,主频高达2.0GHz;内置独立1Tops算力NPU,可应用于物联网网关、平板电脑、智能家居、教育电子、工业显示与控制等行业。关闭selinux修改此文件("+"号为修改内容)device/rockchip/common/BoardConfig.mkBOARD_BOOT_HEADER_VERSION ?= 2BOARD_MKBOOTIMG_ARGS :=BOARD_PREBUILT_DTB
    Industio_触觉智能 2025-01-08 00:06 92浏览
  • 本文介绍Linux系统更换开机logo方法教程,通用RK3566、RK3568、RK3588、RK3576等开发板,触觉智能RK3562开发板演示,搭载4核A53处理器,主频高达2.0GHz;内置独立1Tops算力NPU,可应用于物联网网关、平板电脑、智能家居、教育电子、工业显示与控制等行业。制作图片开机logo图片制作注意事项(1)图片必须为bmp格式;(2)图片大小不能大于4MB;(3)BMP位深最大是32,建议设置为8;(4)图片名称为logo.bmp和logo_kernel.bmp;开机
    Industio_触觉智能 2025-01-06 10:43 96浏览
  • 村田是目前全球量产硅电容的领先企业,其在2016年收购了法国IPDiA头部硅电容器公司,并于2023年6月宣布投资约100亿日元将硅电容产能提升两倍。以下内容主要来自村田官网信息整理,村田高密度硅电容器采用半导体MOS工艺开发,并使用3D结构来大幅增加电极表面,因此在给定的占位面积内增加了静电容量。村田的硅技术以嵌入非结晶基板的单片结构为基础(单层MIM和多层MIM—MIM是指金属 / 绝缘体/ 金属) 村田硅电容采用先进3D拓扑结构在100um内,使开发的有效静电容量面积相当于80个
    知白 2025-01-07 15:02 144浏览
  • 故障现象一辆2017款东风风神AX7车,搭载DFMA14T发动机,累计行驶里程约为13.7万km。该车冷起动后怠速运转正常,热机后怠速运转不稳,组合仪表上的发动机转速表指针上下轻微抖动。 故障诊断 用故障检测仪检测,发动机控制单元中无故障代码存储;读取发动机数据流,发现进气歧管绝对压力波动明显,有时能达到69 kPa,明显偏高,推断可能的原因有:进气系统漏气;进气歧管绝对压力传感器信号失真;发动机机械故障。首先从节气门处打烟雾,没有发现进气管周围有漏气的地方;接着拔下进气管上的两个真空
    虹科Pico汽车示波器 2025-01-08 16:51 70浏览
  • 在智能家居领域中,Wi-Fi、蓝牙、Zigbee、Thread与Z-Wave等无线通信协议是构建短距物联局域网的关键手段,它们常在实际应用中交叉运用,以满足智能家居生态系统多样化的功能需求。然而,这些协议之间并未遵循统一的互通标准,缺乏直接的互操作性,在进行组网时需要引入额外的网关作为“翻译桥梁”,极大地增加了系统的复杂性。 同时,Apple HomeKit、SamSung SmartThings、Amazon Alexa、Google Home等主流智能家居平台为了提升市占率与消费者
    华普微HOPERF 2025-01-06 17:23 204浏览
  • 根据Global Info Research项目团队最新调研,预计2030年全球封闭式电机产值达到1425百万美元,2024-2030年期间年复合增长率CAGR为3.4%。 封闭式电机是一种电动机,其外壳设计为密闭结构,通常用于要求较高的防护等级的应用场合。封闭式电机可以有效防止外部灰尘、水分和其他污染物进入内部,从而保护电机的内部组件,延长其使用寿命。 环洋市场咨询机构出版的调研分析报告【全球封闭式电机行业总体规模、主要厂商及IPO上市调研报告,2025-2031】研究全球封闭式电机总体规
    GIRtina 2025-01-06 11:10 126浏览
  • 这篇内容主要讨论三个基本问题,硅电容是什么,为什么要使用硅电容,如何正确使用硅电容?1.  硅电容是什么首先我们需要了解电容是什么?物理学上电容的概念指的是给定电位差下自由电荷的储藏量,记为C,单位是F,指的是容纳电荷的能力,C=εS/d=ε0εrS/4πkd(真空)=Q/U。百度百科上电容器的概念指的是两个相互靠近的导体,中间夹一层不导电的绝缘介质。通过观察电容本身的定义公式中可以看到,在各个变量中比较能够改变的就是εr,S和d,也就是介质的介电常数,金属板有效相对面积以及距离。当前
    知白 2025-01-06 12:04 223浏览
  • 彼得·德鲁克被誉为“现代管理学之父”,他的管理思想影响了无数企业和管理者。然而,关于他的书籍分类,一种流行的说法令人感到困惑:德鲁克一生写了39本书,其中15本是关于管理的,而其中“专门写工商企业或为企业管理者写的”只有两本——《为成果而管理》和《创新与企业家精神》。这样的表述广为流传,但深入探讨后却发现并不完全准确。让我们一起重新审视这一说法,解析其中的矛盾与根源,进而重新认识德鲁克的管理思想及其著作的真正价值。从《创新与企业家精神》看德鲁克的视角《创新与企业家精神》通常被认为是一本专为企业管
    优思学院 2025-01-06 12:03 158浏览
  • By Toradex 秦海1). 简介嵌入式平台设备基于Yocto Linux 在开发后期量产前期,为了安全以及提高启动速度等考虑,希望将 ARM 处理器平台的 Debug Console 输出关闭,本文就基于 NXP i.MX8MP ARM 处理器平台来演示相关流程。 本文所示例的平台来自于 Toradex Verdin i.MX8MP 嵌入式平台。  2. 准备a). Verdin i.MX8MP ARM核心版配合Dahlia载板并
    hai.qin_651820742 2025-01-07 14:52 108浏览
  • 「他明明跟我同梯进来,为什么就是升得比我快?」许多人都有这样的疑问:明明就战绩也不比隔壁同事差,升迁之路却比别人苦。其实,之间的差异就在于「领导力」。並非必须当管理者才需要「领导力」,而是散发领导力特质的人,才更容易被晓明。许多领导力和特质,都可以通过努力和学习获得,因此就算不是天生的领导者,也能成为一个具备领导魅力的人,进而被老板看见,向你伸出升迁的橘子枝。领导力是什么?领导力是一种能力或特质,甚至可以说是一种「影响力」。好的领导者通常具备影响和鼓励他人的能力,并导引他们朝着共同的目标和愿景前
    优思学院 2025-01-08 14:54 66浏览
  •  在全球能源结构加速向清洁、可再生方向转型的今天,风力发电作为一种绿色能源,已成为各国新能源发展的重要组成部分。然而,风力发电系统在复杂的环境中长时间运行,对系统的安全性、稳定性和抗干扰能力提出了极高要求。光耦(光电耦合器)作为一种电气隔离与信号传输器件,凭借其优秀的隔离保护性能和信号传输能力,已成为风力发电系统中不可或缺的关键组件。 风力发电系统对隔离与控制的需求风力发电系统中,包括发电机、变流器、变压器和控制系统等多个部分,通常工作在高压、大功率的环境中。光耦在这里扮演了
    晶台光耦 2025-01-08 16:03 61浏览
我要评论
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦