ESXI - RouterOS+PaoPaoGateway+PaoPaoDNS

[Chang-Tao]

ESXI

一. 部署

由于在国内部署Docker环境略微困难，我直接使用台北的ESXI服务器上传AlpineLinux镜像，部署好Docker环境，并下载两个需要的Docker镜像，再导出虚拟机模版。

1. 前期准备

1. 准备资源

1. Rosova模版
2. AlpineLinux镜像包<alpine-virt-3.20.2-x86_64>，下载链接：https://www.alpinelinux.org/downloads/
3. WinBOX
4. Docker镜像：sliamb/paopaodns:latest  sliamb/ppgwiso:latest
5. 集合包：https://pan.baidu.com/s/1EKMjXuW_a13paToOGKdtyg?pwd=3b67 提取码: 3b67 

2. ESXI配置

物理端口数量应≥2

# 使用参考
Eth0 # 拨号用
Eth1 # ESXI管理端口，VM_Netweork，因管理端口不支持Vlan数据流，故按需增加扩展端口
Eth2 # 扩展端口1，用于连接交换机或其他用途
Eth3 # 扩展端口2，用于连接交换机或其他用途

3. 虚拟机配置

类别	功能	CPU	内存	硬盘
RouterOS	主路由	4C	1G	6G
PaoPaoGateWay	网关	2C	1G	-
PaoPaoDNS-1	主	1C	1G	10G
PaoPaoDNS-2	备	1C	512MB	10G

4. IP子网划分

• 请提前规划好各设备IP，便于部署时连接

项目	子网	VlanID
VM Network	192.168.9.254	0
LAN-1	192.168.10.254	4095
LAN-2	192.168.11.254	4095

项目	IP
RouterOS	192.168.9.254
PaoPaoGateWay	192.168.9.253
PaoPaoDNS-1	192.168.9.252
PaoPaoDNS-2	192.168.9.251
ESXI	192.168.9.250
PC	192.168.9.1

5. ESXI网络配置

• 参考下表配置虚拟交换机及端口组
• 在完成 ESXI 安装时，可以在配置节点手动指定管理端口使用的物理网卡

端口组	虚拟交换机	物理网卡	备注
WAN_PPPoE	WAN	vmnic0	手动添加
VM Network	vSwitch0	vmnic1	默认生成
LAN_1	LAN_1	vmnic2	手动添加
LAN_2	LAN_2	vmnic3	手动添加

网络配置步骤

• 1.依次点击 网络 - 虚拟交换机 - 添加虚拟交换机

1.vSwitch 名称：如 WAN
2.上行链路    ： 选择一个物理网卡 vmnic0
3.安全       ： 全选 <接受>

• 2.按照以上步骤依次创建所有虚拟交换机
• 3.依次点击 网络 - 端口组 - 添加端口组

1.名称       ：WAN_PPPoE
2.VLAN ID   ：0，默认，扩展端口填入 4095，放行所有带有vlan Tag数据
3.虚拟交换机  ：选择对应的虚拟交换机
4.安全       ：从 vSwitch 继承

• 4.按照以上步骤依次创建所有端口组

2. 创建Ros虚拟机

1. 导入ROS模版

• 1.登陆ESXI后台
• 2.依次点击 虚拟机 - 创建/注册虚拟机 - 从OVF/OVA文件部署虚拟机，点击下一步
• 3.输入虚拟机名称，如：1.RouterOS，拖入OVA模版文件，点击下一页，选择存放存储位置，再点击下一页，选择网卡。
• 4.默认只有一个dridged，映射关系选择VM-Network。取消勾选<自动打开电源>，点击下一页，确认配置，点击完成。
• 5.编辑虚拟机，确认配置，修改磁盘模式为<独立持久>。
• 6.添加网卡，参考顺序：

0.PPPoE_WAN    # 拨号端口，此端口在Ros内部添加
1.WAN_PPPoE    # 连接光猫物理接口
2.VM_Network   # 管理端口
3.LAN_1        # 扩展端口1，用于连接交换机或其他用途
4.LAN_2        # 扩展端口2，用于连接交换机或其他用途

• 7. 此时可开启虚拟机电源，等虚拟机开机后，打开WinBOX

2. 配置 ROS网络端口

1. 打开WinBOX后，在 Neighbors 栏可以看到识别到的内网中的Ros
2. Login 用户名为：admin，密码为空，鼠标点击选中，点击上方 Connect
3. 连接后，立即修改密码
4. 在菜单栏中依次选择 IP - Services，在弹出的窗口中选中除 winbox 以外的所有项目，然后点击红色×，关闭窗口
5. 在菜单栏中点击 Interfaces，在弹出的 Interfaces List窗口中，查看现有的网卡，网卡名称默认为 ether1，
6. 根据ESXI中虚拟机的网卡MAC地址，双击选中一个网卡确认MAC地址，然后修改名称
7. 在 Interfaces List窗口中点击+号，选择 PPPoE Client
8. 在弹出的窗口中的 General 栏输入名称和选择网卡

name：0.PPPoE_WAN
Interfaces：1.WAN_PPPoE

10. 在弹出的窗口中的 Dial Out 栏输入宽带用户名和密码

User     ：宽带用户名
Password ：宽带密码

12. 点击 OK,保存配置，之后等待拨号成功

3. 配置Ros网络

1. 依次点击 IP - Addresses，会弹出 Addresses List 窗口
2. 点击左上方➕号，配置内部网络
3. 在弹出的窗口中配置网段，然后点击 OK 保存

Address   : 192.168.9.254/24
Network   : 留空
Interface : 2.VM_Network

5. 扩展端口按照同样的方法依次创建
6. 依次点击 IP - DNS，会弹出 DNS Settings 窗口，参考如下配置：

Servers：192.168.9.252，192.168.9.251，点击黑色向下箭头可添加多个DNS
勾选 □✔ Allow Remote Requests

7. 若是其他场景，此处DNS Server则填写公共DNS,如：223.5.55，119.29.29.29等
8. 然后点击 OK 保存配置

4. 配置 DHCP Server

1. 依次点击 IP - DHCP Server，会弹出 DHCP Server 窗口
2. 在 DHCP 栏点击 DHCP Setup，参考如下配置：

DHCP Server Interface：    2.VM_Network
DHCP Aderess Space：       192.168.9.0/24
Gateway for DHCP Network： 192.168.9.254
Aderess to Give Out：      192.168.9.100-192.168.9.200
DNS Servers：              192.168.9.252
                           192.168.9.251
# 若是其他场景，此处DNS Server则填写公共DNS,如：223.5.55，119.29.29.29等

5. 配置ROS路由表

1. 依次点击 IP - Routes
2. 点击 ➕ 号，配置如下：

1. Dst.Address ：11.0.0.0/8
2. Gateway     ：192.168.8.253

3. 点击右侧 OK 保存配置

6. 配置 NAT 伪装

1. 依次点击 IP - Firewall，会弹出 Firewall 窗口
2. 在窗口菜单中找到 NAT 栏
3. 点击 ➕ 号，在弹出的 New NAT Rule 窗口中的 General 栏，配置如下：

Chian：srcnat

4. 然后切换到 Action 栏，配置如下：

Action：masquerade

5. 点击 OK 保存配置

7. 静态IP分配

1. 登陆 ESXI 后台，点击 虚拟机，在虚拟机列表中点选其中一个虚拟机，如：2.PaoPaoGateway
2. 在跳转的新页面找到 - 硬件配置
3. 点击 网络适配器1/2/3，即可看到此虚拟机当前接口的 MAC 地址
4. 返回WinBOX
5. 依次点击 IP - DHCP Server，会弹出 DHCP Server 窗口
6. 点击 Leases 栏，点击 ➕ 号，弹出 New DHCP Lease窗口，配置参考如下：

Address：        192.168.9.253
MAC Sddress：12:34:56:78:90:AB

8. 点击 OK， 保存配置

5.结尾

按照以上配置即可完成基本的Ros上网配置

3. 部署 PaoPaoDns

1. 创建 Alpine Linux

• 4.默认只有一个dridged，映射关系选择VM-Network。取消勾选<自动打开电源>，点击下一页，确认配置，点击完成。

• 1.登陆ESXI后台

• 2.依次点击 虚拟机 - 创建/注册虚拟机 - 从OVF/OVA文件部署虚拟机，点击下一步

• 3.输入虚拟机名称，如：3.PaoPaoDNS-1，拖入OVA模版文件（根据自己ESXI的版本，打开对应文件夹，全选所有文件），点击下一页，选择存放存储位置，再点击下一页，选择网卡。

• 5.网卡选择 VM_Network，点击下一页，取消勾选<自动打开电源>，点击下一页，确认配置，点击完成。

• 6.编辑 3.PaoPaoDNS-1 配置，关闭安全引导

• 7.编辑虚拟机，确认配置，修改磁盘模式为<独立持久>。

• 8.打开虚拟机电源

这是一个安装好Docker环境，下载好Docker镜像的

2. 部署 PaoPaoDNS 容器

关键参数提醒

# 以下两个IP为 PaoPaoGateway 的IP
- SOCKS5=192.168.8.253:1080
- CUSTOM_FORWARD=192.168.8.253:53

version: "3"

services:
  paopaodns:
    image: sliamb/paopaodns:latest
    container_name: PaoPaoDNS
    restart: always
    volumes:
      - /home/paopaodns:/data
    environment:
      - TZ=Asia/Shanghai
      - UPDATE=weekly
      - DNS_SERVERNAME=PaoPaoDNS,blog.03k.org
      - DNSPORT=53
      - CNAUTO=yes
      - CNFALL=yes
      - CN_TRACKER=yes
      - USE_HOSTS=no
      - IPV6=no
      - SOCKS5=192.168.8.253:1080
      - SERVER_IP=10.10.10.8
      - CUSTOM_FORWARD=192.168.8.253:53
      - AUTO_FORWARD=yes
      - AUTO_FORWARD_CHECK=yes
      - USE_MARK_DATA=yes
      - HTTP_FILE=yes
    ports:
      - "53:53/udp"
      - "53:53/tcp"
      - "5304:5304/udp"
      - "5304:5304/tcp"
      - "7889:7889/tcp"

在国内安装Docker环境受阻，我使用台北的ESXI服务器部署好了Docker环境，导出模版再转移到家里的ESXI服务器上。

3. 备用 PaoPaoDNS

如果需要部署备用的PaoPaoDNS， 可重复上述步骤，注意区分虚拟机名称即可。如果是在一台服务器上，其实也没必要两个，根据实际情况选择吧

4. 部署 PaoPaoGateway

生成 PaoPaoGateway 镜像可直接在 PaoPaoDNS 所在的 AlpineLinux 虚拟机上操作，生成完成ISO文件后，导出即可

mkdir iso
cd iso/

1. 文件参考

localhost:~/iso# ls -lh
total 51M    
-rw-r--r--    1 root     root       27.8M Aug 31 14:37 clash
-rw-r--r--    1 root     root       72.0K Aug 31 14:48 custom.yaml
-rw-r--r--    1 root     root          91 Aug 31 14:21 network.ini
-rw-r--r--    1 root     root       23.0M Aug 31 14:48 paopao-gateway-x86-64-custom-d44d9e6.iso
-rw-r--r--    1 root     root        1.3K Aug 31 14:28 ppgw.ini

2. network.ini

vi network.ini

关键参数提醒

ip=192.168.8.253     # PaoPaoGateway IP
mask=255.255.255.0   # 子网掩码 /24
gw=192.168.8.254     # 主路由 IP
dns1=192.168.8.252   # PaoPaoDNS 主
dns2=192.168.8.251   # PaoPaoDNS 备

ip=192.168.8.253
mask=255.255.255.0
gw=192.168.8.254
dns1=192.168.8.252
dns2=192.168.8.251

3. ppgw.ini

vi ppgw.ini

关键参数提醒

dns_ip=192.168.8.252 # PaoPaoDNS IP 主
clash_web_password="password" # Clash 面板访问密码
ex_dns="192.168.8.252:53" # PaoPaoDNS IP 主

#paopao-gateway

# mode=socks5|ovpn|yaml|suburl|free
# default: socks5
mode=yaml

# Set fakeip's CIDR here
# default: fake_cidr=7.0.0.0/8
fake_cidr=11.0.0.0/8

# Set your trusted DNS here
# default: dns_ip=1.0.0.1
# 使用PaoPaoDNS这里就设置PaoDNS的地址
dns_ip=192.168.8.252
# default: dns_port=53
# If used with PaoPaoDNS, you can set the 5304 port
dns_port=5304

# Clash's web dashboard
clash_web_port="80"
# Clash's 面板密码
clash_web_password="password"

# default:openport=no
# socks+http mixed 1080
openport=yes

# default: udp_enable=no
udp_enable=no

# default:30
sleeptime=30

# socks5 mode settting
# default: socks5_ip=gatewayIP
socks5_ip="192.168.1.1"
# default: socks5_port="7890"
socks5_port="7890"

# ovpn mode settting
# The ovpn file in the same directory as the ppgw.ini.
# default: ovpnfile=custom.ovpn
ovpnfile="custom.ovpn"
ovpn_username=""
ovpn_password=""

# yaml mode settting
# The yaml file in the same directory as the ppgw.ini.
# default: yamlfile=custom.yaml
yamlfile="custom.yaml"

# suburl mode settting
suburl=""
subtime=1d

# fast_node=check/yes/no
fast_node=yes
test_node_url="https://cp.cloudflare.com"
ext_node="Traffic|Expire| GB|Days|Date"
cpudelay="3000"

# dns burn setting
# depand on fast_node=yes & mode=suburl/yaml
dns_burn=yes
# If used with PaoPaoDNS, you can set the PaoPaoDNS:53
ex_dns="192.168.8.252:53"

3. custom.yaml

直接从PC端 Clash导出，将其中信息粘贴到custom.yaml文件中
vi custom.yaml

4. Clashcore

# 下载链接
https://objects.githubusercontent.com/github-production-release-asset-2e65be/369178935/68c0fe2f-29f8-47d4-8b7a-18b57cb3ed50?X-Amz-Algorithm=AWS4-HMAC-SHA256&X-Amz-Credential=releaseassetproduction%2F20240831%2Fus-east-1%2Fs3%2Faws4_request&X-Amz-Date=20240831T063530Z&X-Amz-Expires=300&X-Amz-Signature=d7923f84eb67762538c38fc020a4a17f4c3039b93027fcfdaf1246b561a44975&X-Amz-SignedHeaders=host&actor_id=47802320&key_id=0&repo_id=369178935&response-content-disposition=attachment%3B%20filename%3Dmihomo-linux-amd64-v1.18.7.gz&response-content-type=application%2Foctet-stream
https://github.com/MetaCubeX/mihomo/releases/download/v1.18.7/mihomo-linux-amd64-v1.18.7.gz

# 解压 mihomo-linux-amd64-v1.18.7.gz
# 把 mihomo-linux-amd64 改名为 clash，上传至 /iso

5. 生成 ISO镜像

docker run --rm -v .:/data sliamb/ppgwiso

6. 部署 PPGW虚拟机

• 1. 登陆ESXI后台
• 2. 将制作好的 PPGWISO镜像上传到 ESXI的存储中
• 3. 依次点击 虚拟机 - 创建/注册虚拟机 - 创建新虚拟机，点击下一步
• 4.参考以下配置输入：
  • 1.名称：2.PaoPaoGateway
  • 2.兼容性：ESXI 6.7 虚拟机，（默认，以ESXI实际版本为主）
  • 3.客户及操作系统系列：Linux
  • 4.客户及操作系统版本：其他4.x或更高版本的Linux（64位）
• 5.点击下一页，选择存储位置，继续点击下一页
• 6.配置虚拟机配置，网卡选择 VM_Network，点击下一页，继续点击完成
• 7.编辑 2.PaoPaoGateway 配置，在 CD/DVD 中选择上传的镜像文件，关闭安全引导
• 8.打开虚拟机电源

至此 RouterOS + PaoPaoGateway + PaoPaoDNS 部署完成

5. 验收成果

1. 检查Ros 拨号状态
2. 检查 PPGW 日志输出
3. 确认各个虚拟机IP是否正确
4. 打开浏览器访问站点，查看是否连接正常
5. 测试带宽速度

以下是手动部署 AlpineLinux 虚拟机

• 1.登陆ESXI后台
• 2.依次点击 虚拟机 - 创建/注册虚拟机 - 创建新虚拟机，点击下一步
• 3.参考以下配置输入：
  • 1.名称：3.PaoPaoDNS-1
  • 2.兼容性：ESXI 6.7 虚拟机，（默认，以ESXI实际版本为主）
  • 3.客户及操作系统系列：Linux
  • 4.客户及操作系统版本：其他4.x或更高版本的Linux（64位）
• 4.点击下一页，选择存储位置，继续点击下一页
• 5.配置虚拟机配置，网卡选择 VM_Network，点击下一页，继续点击完成
• 6.上传 Alpine Linux 镜像到 ESXI
• 7.编辑 3.PaoPaoDNS-1 配置，在 CD/DVD 中选择上传的镜像文件，关闭安全引导
• 8.打开虚拟机电源，开始配置Alpine Linux
• localhost login: root
• localhost:~# setup-alpine
• Select keyboard layout: [none] us
• Select variant (or 'abort'): us
• Enter system hostname (fully qualified form, e.g. 'foo.example.org') [hostname]
• Which one do you want to initialize? (or '?' or 'done') [etho]
• Ip address for eth0? (or 'dhcp', 'none', '?') [DHCP]
• Do you want to do any manual network configuartion? (y/n) [n]
• New password:
• Retype password:
• Which timezone are you in? [UTC] Asia/Shanghai
• HTTP/FTP proxy URL? (e.g. 'http://proxy:8080', or 'none') [none]
• Which NTP client to run? ('busybox', 'openntpd', 'chrony' or 'none') [chrony]
• Enter mirror number or URL: [1] S
• Enter mirror number or URL: [1] 15
• Setup a user? (enter a lower-case loginname, or 'no') [no]
• Which ssh server? ('openssh', 'dropbear' or 'none') [openssh]
• Allow root ssh login? ('?' for help) [prohibit-password] yes
• Enter ssh key or URL for root (or 'none') [none]
• Which disk(s) would you like to use? (or '?' for help or 'none') [none] sda
• How would you like to use it? ('sys', 'data', 'crypt', 'lvm' or '?' for help) [?] sys
• WARING: Enter the above disk(s) and continue? (y/n) [n] y

等待安装完成，重启虚拟机，移除CD/DVD镜像

配置环境下载镜像需使用代理

2. 安装 Docker 环境

# 添加源
vi /etc/apk/repositories

http://dl-cdn.alpinelinux.org/alpine/latest-stable/community

# 安装 Docker Docker-compose
apk add docker docker-cli-compose

# 开机启动
rc-update add docker boot
# 启动Docker服务
service docker start

[Chang-Tao]

我在部署完之后， 实测网络无异常，浏览器打开google，脸书，推特都正常，但是油管打不开。不知道是不是需要在ROS中单独添加路由表。

[kkkgo]

docker可以用public.ecr.aws的镜像，比如docker pull public.ecr.aws/sliamb/ppgwiso，能直连。
油管不用单独添加路由的，看看浏览器是不是设置了安全dns、有缓存之类，或者用火狐试试，或者有其他dns影响或者ipv6影响等，或者是用了quic连接等，具体可能需要按F12审查network了。

[kkkgo]

直接到虚拟机本地终端回车输入nslookup www.youtube.com 127.0.0.1进行测试

[Chang-Tao]

localhost:/home# nslookup www.youtube.com 127.0.0.1
Server: 127.0.0.1
Address: 127.0.0.1:53

Name: www.youtube.com
Address: 142.250.71.174
Name: www.youtube.com
Address: 142.250.71.174

[kkkgo]

排除法，yaml仅保留proxies:字段，其他全部删除就知道了。

[kkkgo]

应该就是mihomo内核的默认选项导致的问题，原版clash没有这个问题。
你现在重新pull一下镜像重新定制试试，应该不会有这个问题了。

[Chang-Tao]

可以了， 感谢大佬~~！！！

localhost:~# nslookup www.youtube.com 127.0.0.1
Server: 127.0.0.1
Address: 127.0.0.1:53

Name: www.youtube.com
Address: 11.0.0.25

localhost:~#

[mouyase]

用ROS的都是狠人，那个东西是真搞不懂

[JasonNZ668]

OVA Alpine Linux 虚拟机的登录用户和密码是什么？