内网Web代理解决方案

Author：爆胎
发布时间：December 30, 2020
601views
10 comments
6312 words
Categories：学习

## 前言

最近项目上线，很多功能还没来得及开发完，遂，又搭建了整套测试系统，大约`17`个项目，用来日常的开发和调试。但是遇到了没有互联网`IP`的尴尬处境，就只能在本地访问，项目之间又涉及到数据互联。前段和后端开发起来进度异常慢，两边的更新改动和数据库有时候都不是同步的，很多时候只是一个小问题，经常就跑偏了，完事就改改改，改完这个，那个又`TM`不行了。持续了半个月，新功能一点进度都没有，大部分时间都花在了改`BUG`和找`BUG`上面了 <img src="https://www.itggg.cn/usr/themes/handsome/assets/img/emotion/aru/blood2.png" class="emotion-aru"> ，但是测试服务器互联网IP又没有。因此迫切的需要把测试系统互联网化，在网上看了一些解决方案和办法，都不太如意。用第三方的吧，不能本地化，始终觉得不安全和稳定。有些又有各种限制，要么就是满足不了需求或者后期难以维护。本着彻底解决的初心，把内外代理，内网穿透这些统统看了个遍，学习了不少新内容。在这里分享给有同样需求的同学 <img src="https://www.itggg.cn/usr/themes/handsome/assets/img/emotion/aru/nose.png" class="emotion-aru"> 。

&nbsp;

## 一些概念<font color='red'>*</font>

### 内网穿透

一般个人的电脑一般处于内网环境中，能访问外部网络，但是外部网络却访问不了内部，也就是说外网`ip`只能识别外网`ip`，内网`ip`只能识别内网`ip`。如果想实现外网`ip`识别到内网`ip`，那就需要使用一种技术，**内网穿透**。

简单来说呢，内网穿透是先让内网`ip`先联系上特定的外网`ip`，先建立固定的通道，然后在没有取消的时候一直保持这个通道。所以当前的其他的外网`ip`能访问到这个特定的外网`ip`。顺带着也可以访问到这个建立的通道，那么通过这条通道的，其他的外网`ip`就能访问到个人的机器中。这样就实现了其他外部`ip`访问到我们内部环境的功能，那么这种方式就叫做内网穿透。

**但是内网穿透的概念很大，很笼统，根据应用场景的不同，所谓的穿透类型也是不一样的，下面是一些个人观点，如有不对，还请大佬留言指教**
</div>

&nbsp;

### HTTP正向代理

这张网络拓扑图解释了内网代理的原理，由于内网（通常情况是家里的有线宽带）没有公网`IP`，无法在路由器上做端口映射，或者利用动态`DNS`连接回家里的设备，所以需要一个具有公网`IP`的设备来进行传递数据，公网`IP`设备和家里的能够建立一个稳定的隧道。

有公网IP的设备称为服务端，没有公网`IP`的内网设备称为客户端，一般是家里的设备，可能是路由器、`NAS`、树莓派等。

**数据流的传递方向**：外网设备 - 服务端 - 客户端（内网设备）

#### 功能场景

> - **把处于内网环境的Web，在外网访问**
> - **在外网远程桌面连接内网的机器**

&nbsp;

### Socks5代理

#### 功能场景

> - **将公网服务器1.1.1.1的8003端口作为socks5代理，达到访问内网任意设备或者资源的效果**
> - **在外网环境下如同使用VPN一样访问内网设备或者资源**
> - **科学上网**

#### 什么是SOCKS5协议

`SOCKS`是一种网络传输协议，主要用于客户端与外网服务器之间通讯的中间传递。`SOCKS`是`"Sockets”`的缩写。

当防火墙后的客户端要访问外部的服务器时，就跟`SOCKS`代理服务器连接。这个代理服务器控制客户端访问外网的资格，允许的话，就将客户端的请求发往外部的服务器。这个协议最初由`David Koblas`开发，而后由`NEC的Ying-Da Lee`将其扩展到版本4。最新协议是版本5，与前一版本相比，增加支持`UDP`、验证，以及`IPv6`。根据`OSI`模型，`SOCKS`是会话层的协议，位于表示层与传输层之间。

#### SOCKS5代理与HTTP代理区别

`SOCKS`工作在比HTTP代理更低的层次：`SOCKS`使用握手协议来通知代理软件其客户端试图进行的连接`SOCKS`，然后尽可能透明地进行操作，而常规代理可能会解释和重写报头（例如，使用另一种底层协议，例如FTP；然而，`HTTP`代理只是将`HTTP`请求转发到所需的`HTTP`服务器）。虽然`HTTP`代理有不同的使用模式，`CONNECT`方法允许转发`TCP`连接；然而，`SOCKS`代理还可以转发`UDP`流量和反向代理，而`HTTP`代理不能。`HTTP`代理通常更了解`HTTP`协议，执行更高层次的过滤（虽然通常只用于`GET`和`POST`方法，而不用于`CONNECT`方法）

#### SOCKS5代理和VPN区别

`virtual private network`（虚拟专网），你接入`VPN`就是接入了一个专有网络，那么你访问网络都是从这个专有网络的出口出去，好比你在家，你家路由器后面的网络设备是在同一个网络，而`VPN`则是让你的设备进入了另一个网络。同时你的`IP`地址也变成了由`VPN`分配的一个`IP`地址。通常是一个私网地址。你和`VPN`服务器之间的通信是否加密取决于连接`VPN`的具体方式/协议。

`Sock5`代理服务器则是把你的网络数据请求通过一条连接你和代理服务器之间的通道，由服务器转发到目的地。你没有加入任何新的网络，只是`http/socks`数据经过代理服务器的转发送出，并从代理服务器接收回应。你与代理服务器通信过程不会被额外处理，如果你用https，那本身就是加密的。

#### Shadowsocks全局模式与PAC模式区别

`PAC`模式就是会在你连接网站的时候读取`PAC`文件里的规则，来确定你访问的网站有没有被墙，如果符合，那就会使用代理服务器连接网站，而`PAC`列表一般都是从`GFWList`更新的。`GFWList`定期会更新被墙的网站（不过一般挺慢的）

简单地说，在全局模式下，所有网站默认走代理。而`PAC`模式是只有被墙的才会走代理，推荐`PAC`模式，如果`PAC`模式无法访问一些网站，就换全局模式试试，一般是因为`PAC`更新不及时（也可能是`GFWList`更新不及时）导致的。

&nbsp;

### P2P穿透

点对点技术`(peer-to-peer P2P)`又称对等互联网络技术，是一种网络新技术，依赖网络中参与者的计算能力和带宽，而不是把依赖都聚集在较少的几台服务器上（这种技术可以大大减轻服务器的负担）。`P2P`网络通常用于通过`Ad Hoc`连接来连接节点（从而实现了节点之间的通讯），客户端二点之间直接通信，它是没有速度限制的，速度由二点之间的网络传输速度决定

#### 穿透原理

**主机`1`和主机`2 `进行`P2P`通讯的步骤**

- **1**.主机1和主机2首次发送数据到服务器（当发送第一次数据的时候，`NAT`上就会自动打了一个“洞”，服务器此时就把它们的外网`IP`和经过`NAT`端口转换的端口存储起来)
- **2**.数秒发送一次数据到服务器，就当作是心跳包（因为`UDP`协议的内网打洞在`NAT`上的端口有生命期，一段时间没有数据通过`NAT`上的“洞”这个“洞”就会自动关闭)
- **3**.当主机1要访问主机2的时候，主机1先向服务器发送信息要求获取主机2的外网IP和经过`NAT2`端口转换的端口
- **4**.因为在第2步的时候，`NAT1`和`NAT2`已经打好洞了，所以此时就不用再考虑其他，直接向主机`2`的外网`IP`加经过`NAT2`端口转换的端口发送数据就行了（格式是“主机2外网IP”+“:”+“NAT2转换的端口”），如无防火墙的拦截，主机2就可以收到主机1发送的数据了。

#### 功能场景

> - 客户端之间建立直接通讯，不走服务器中转，服务器只是索引
> - 大流量传输环境

&nbsp;

## 内网共享

内网共享，介于远程组网和内网穿透之间，本质上来讲，也是把内网的环境穿透出来共享到外部网络，只不过穿透的方式类似于远程组网，属于`VPN`的范围了.
 简单来说，你有一台在内网的机器，你可以使用技术手段或者软件来远程访问到他，比如传输文件，远程桌面什么的，但是你不能应用他的网络去访问他所处的内网资源，这个只是叫远程局域网。那么内网共享的概念就是把这台内网设备的本地网络共享出来让外网的设备应用，具体的实施方案可参考之前写的这篇文章。
 整体结构就是把公网服务器用于`DHCP`服务器为接入的设备分配`IP`地址和推送路由，内网客户端用于网关`NAT`，对服务器传过来请求进行进行转换，虚拟一个路由器的环境出来，实现远程接入的设备提供内网客户端同样的网络环境。

<div class="inner-content" >
<p class="inser-title">搭建内网共享服务器</p>
<div class="inster-summary text-muted">
Intranet penetrationDHCP服务器   推送路由公网服务器网关服务器转发流量NAT转换请求请求...
</div>
</div>
</a>

</div>

</div>

#### 功能场景

> - **远程局域网**
> - **把处于内网环境中的设备本地的网络环境共享到外部**
> - **远程访问内网资源**

&nbsp;

## 工具对比和选择

**从是否有API，客户端单独key，本地化，收费模式，开发语言，github stars多个维度比较了几款内网穿透工具**
</div>

| 地址                                             | 名称     | API    | 单独key | 本地化 | 收费    | 开发语言 | github |
| ------------------------------------------------ | -------- | ------ | ------- | ------ | ------- | -------- | ------ |
| [官网](https://github.com/inconshreveable/ngrok) | ngrok    | 支持   | 未知    | 支持   | 按数量  | go       | 16K    |
| [官网](https://github.com/fatedier/frp)          | frp      | 不支持 | 统一    | 支持   | 免费    | go       | 26K    |
| [官网](https://github.com/ffay/lanproxy)         | lanproxy | 不支持 | 单独    | 未知   | 免费    | java     | 3K     |
| [官网](https://github.com/snail007/goproxy)      | goproxy  | 支持   | 未知    | 未知   | API收费 | go       | 6K     |
| [官网](https://github.com/cnlh/nps)              | nps      | 支持   | 单独    | 支持   | 免费    | go       | 6K     |
| [官网](https://www.kingdriod.cn/)                | 神卓互联 | 未知   | 未知    | 不支持 | 收费    | 未知     | 未知   |
| [官网](https://hsk.oray.com/)                    | 花生壳   | 未知   | 未知    | 不支持 | 收费    | 未知     | 未知   |
| [官网](https://natapp.cn/)                       | Natapp   | 未知   | 未知    | 不支持 | 收费    | 未知     | 未知   |

&nbsp;

## 我的方案

在对比了一圈后，选用了`NPS`来搞，上面这个拓扑图就是整个方案，整个内网环境的设备只需要有一台服务器能访问互联网就行，并把这台服务器做`nginx`反向代理做其他服务器的出口，然后找一台有公网`IP`的服务器部署`nps`，做`HTTP`正向代理，映射到`nginx`的端口。这样就最低限度的，低维护的可以把整个后端服务公网化。

**安全性**
</div>

- 这种结构既可以把后端服务器全部公网化，又不直接暴露服务器在互联网上，后端服务器还是处于纯内网的环境，物理隔绝
- 防攻击，服务器全部在后端，就算前面的公网服务器被`DDOS`或`CC`攻击，也影响不到后端，因为`NGINX`这层只是单向连接
- 防渗透，只要项目本身没有什么漏洞，黑客几乎不可能找的到源地址

**适用性**
</div>

- 低要求，采用这种结构，就算本地机房没有互联网IP也可以，只要随便一台设备能访问互联网就可以
- 接入方便，就算是多个机房，多个地域的内网，也可以全部代理出来

&nbsp;
## NPS部署和使用

[releases](https://github.com/ehang-io/nps/releases) 下载对应的系统版本即可，**服务端和客户端是单独的**

**其他内容请看官方使用手册，写的很详细了，这里就不搬运了**
</div>
<button class="btn m-b-xs btn-info btn-rounded " onclick='window.open("https://ehang-io.github.io/nps/#/install","_blank")'>使用手册</button>

&nbsp;
## 其他应用场景探索

**(实验后补充完善)**

- 代理本地项目
- UDP代理
- p2p穿透
- 远程连接
- API

Last modification：January 7th, 2021 at 08:22 pm

如果你想请我喝奶茶的话

10 comments

万梦星
2 Weeks Ago

感谢博主分享，你是我见过唯一把这些网络说清楚的人，看了其他好多什么内网穿透，全是你抄我，我抄你的文章，乱七八糟，越看越懵逼。看完你的文章总算把这些概念整明白了，看君一文章，胜读十年书，哈哈。已赞赏100元，请博主查收！

Reply
半个多
2 Weeks Ago

同楼下一样想问🤔 这个图是什么画的大佬
没找到类似的画图工具和方法

Reply
看不尽然而
2 Weeks Ago

大佬，你文章的这个拓扑图是怎么画的，不是图片，也不是语法命令，F12看了下，居然是直接用代码生成的，神奇！

Reply
1. wibus
  2 Weeks Ago
  
  @看不尽然而
  
  这是vditor.js的功能
  
  Reply
  1. 看不尽然而
    2 Weeks Ago
    
    @wibus
    
    不是vditor.js的功能，我去vditor.js的官方看了，没有生成这种网络拓扑的方法。
    
    Reply
    
    Wibus
    2 Weeks Ago
    
    @看不尽然而
    
    他是类似于typora的拓展功能（使用`mermaid之后里面写东西生成的）
    
    Reply
    
    看不尽然而
    2 Weeks Ago
    
    @Wibus
    
    也不是，我找了全网也没有生成这种网络拓扑图的方法，只有等大佬亲自出来教学了。
    
    Reply
srnbd
1 Mouth Ago

提供拼多多代发京东快递淘宝代发，无需签收，单号网www.kuaidzj.com

Reply
ttian
3 Mouths Ago

谢谢很有用

Reply
1. 爆胎
  3 Mouths Ago
  
  @ttian
  
  哈哈，不客气，能帮忙就最好了
  
  Reply