Proxmox a virtualizace

Zpráva

DedVseved · #1 Příspěvek od **DedVseved** » 17 srp 2022, 20:42

Mám k dispozici starší PC s i5-3570K a chtěl bych si z něj vyzkoušet vytvořit server a nejspíš i router atd.
Jako základ se mi líbí Proxmox, ve kterém jdou spouštět virtualizované stroje nebo kontejnery. Pro zajímavost, ta 'Káčková' verze CPU neumí VT-d (bez K ho umí), takže bych to asi u síťových karet řešil vytvořením virtuálního portu nad fyzickým, ale ještě nevím, jaké z toho budou výhody/nevýhody nebo dopad na propustnost atd.
Už jsem se díval na různé varianty dister pro router + firewall a zatím nevím, jestli nasadit Untangle, pfSense nebo dokonce obojí. Dále na různé Linuxové distribuce, ale tam určitě skončím u Debianu. Co se týče služeb/services, tak ty bych řešil až naposled. Uvažuji o jednom virtuálním stroji na webový server, druhý na mailový server, třetí pro NAS apod.

Jedete někdo v něčem podobném? A máte nějaké dobré rady ze své zkušenosti?

P.S. Zatím jsem čučel na nějaké videa např. https://www.youtube.com/watch?v=_YazSroZm68

DedVseved · #2 Příspěvek od **DedVseved** » 20 srp 2022, 13:52

Tak se s tím Proxmoxem hraji a vypadá to dobře. Základem je správně pochopit náležitosti, hlavně co se týče sítě, ale tím že to jde i naklikat, kdy při požadovaných blbostech to na ně upozorní, je dobrá zpětná vazba. Jakmile (snad) základ pochopím a vše bude funkční, tak přidání něčeho dalšího už bude jednoduché.
Spotřeba je vysoká (v idle kolem 60W), ale mám tam starší zdroj a ještě jsem se nehrál s omezením násobiče CPU nebo podtaktováním. Ale díky nabraným zkušenostem, by nakonec nebyl problém pořídit něco méně žravého. Navíc mám v PCI-E síťovou LAN kartu, WiFi kartu a NVMe SSD disk, pro který jsem musel upravit BIOS, protože z něj neuměl bootovat.
V Proxmoxu jsem přidal virtuální stroj s pfSense, který routuje/NATuje + obstarává firewall a další mám LXC kontejner s Debianem a NGINX + PHP. Ty LXC kontejnery jsou připraveny s Webminem + Adminerem, což je v prvním případě klikací nastavení, ale to ani není potřeba.
Vyzkoušel jsem i propustnost, kde z Windows přes USB LAN a celým Proxmoxem, kde jsou nad fyzickými síťovými kartami zapnuty karty virtuální a je velmi dobrá.

Kód: Vybrat vše

iperf3 -c 192.168.10.1 -u -i 1 -b 1000M -t 10
Connecting to host 192.168.10.1, port 5201
[  4] local 192.168.1.100 port 61364 connected to 192.168.10.1 port 5201
[ ID] Interval           Transfer     Bandwidth       Total Datagrams
[  4]   0.00-1.00   sec   102 MBytes   856 Mbits/sec  13061
[  4]   1.00-2.00   sec   114 MBytes   958 Mbits/sec  14624
[  4]   2.00-3.00   sec   114 MBytes   958 Mbits/sec  14622
[  4]   3.00-4.00   sec   114 MBytes   958 Mbits/sec  14623
[  4]   4.00-5.00   sec   114 MBytes   958 Mbits/sec  14624
[  4]   5.00-6.00   sec   114 MBytes   958 Mbits/sec  14623
[  4]   6.00-7.00   sec   114 MBytes   958 Mbits/sec  14622
[  4]   7.00-8.00   sec   114 MBytes   958 Mbits/sec  14623
[  4]   8.00-9.00   sec   114 MBytes   958 Mbits/sec  14623
[  4]   9.00-10.00  sec   114 MBytes   958 Mbits/sec  14623
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bandwidth       Jitter    Lost/Total Datagrams
[  4]   0.00-10.00  sec  1.10 GBytes   948 Mbits/sec  0.000 ms  0/0 (0%)
[  4] Sent 0 datagrams

iperf Done.

kiklhorn · #3 Příspěvek od **kiklhorn** » 20 srp 2022, 23:04

Ale jo, taky si hraju. Vyhodil jsem žravou příšeru a nasadil Raspberry (zkouška na RPi 400), v pondělí snad dorazí RPi 4/8GB tak budu pokračovat PiVPN, nějaký firewall, Mycroft asistent a doufám že i Frigate. Jediné co zatím nehodlám přesouvat je Home Assistant. Drobný problém mám s LXC kontejnery, musím najít něco rozumně funkčního na aarch64.

DedVseved · #4 Příspěvek od **DedVseved** » 21 srp 2022, 18:35

Hezky, další nadšenec

Je vidět, že asi ty 4GB RAM bude celkem limit, ale budeš mít 8GB. V tom svém mám 16GB RAM což ujde, ale zase ta spotřeba je proti RPi několikanásobná. Tím, že RPi není X86 nebo AMD64, tak to bude vždycky složitější. Pamatuji se na hrátky s Orange Pi, kde byl Allwinner H3 s architekturou sun8iw7p1 a to bylo větší peklo. Ani netuším, jak to má ten SoC od Broadcomu v RPi s virtualizací, jestli je v něm HW podpora.
Přes víkend jsem přihodil 500GB HDD a ten připojil do Storage jako adresář, aby se na něj ukládaly zálohy, stažené ISO a LXC. V už spuštěných kontejnerech lze zvolit "mount point" a dle zvoleného místa si na HDD alokuje stejně velký soubor. Jako další tam zkusím navést úložiště pro sambu, ftp, webové stránky apod.
K tomu Webminu jsem upínal větší naděje, ale spíše se v něm ztrácím a ne všechno funguje.

DedVseved · #5 Příspěvek od **DedVseved** » 28 srp 2022, 16:04

Zkusil jsem nainstalovat OpenWrt jako kontejner a přes něj jsem chtěl ovládat WiFi kartu a veškerý přístup do WiFi sítě. WiFi kartu v PCI-E slotu fyzicky vidím viz. screenshot, ale nejsem schopný ji nainstalovat a nahodit. Firmware a ovladače jsem přidal, jsou sice s příponou -ct (Candela Technologies), ale zkoušel jsem i bez -ct. Možná to je kvůli chybějícím VT-d na CPU, ale to by mohlo být zásadní pro virtuální stroj a ne kontejner.

kiklhorn · #6 Příspěvek od **kiklhorn** » 29 srp 2022, 05:25

nestačí zavést nějaký modul přes modprobe ?

HW v CT jsem ještě neřešil, ale třeba pod XENem se to dělalo přes loop device v dom-0 - poslal jsem si do virtuálu PCI-slot.

Tady ti to ale už HW vypisuje.

DedVseved · #7 Příspěvek od **DedVseved** » 29 srp 2022, 13:10

Ono to je jinak, než jsem si myslel a jsem z toho zmaten. V OpenWrt kontejneru je sdílený kernel i moduly/ovladače z Proxmoxu, takže zavedení ovladačů a firmwarů je vlastně zbytečné, což může být i výhoda. Musím to nějak vstřebat.

Kód: Vybrat vše

root@pve:~# uname -a
Linux pve 5.15.39-3-pve #2 SMP PVE 5.15.39-3 (Wed, 27 Jul 2022 13:45:39 +0200) x86_64 GNU/Linux
root@pve:~# lsmod |grep ath
ath10k_pci             49152  0
ath10k_core           598016  1 ath10k_pci
ath                    36864  1 ath10k_core
mac80211             1236992  1 ath10k_core
cfg80211              966656  3 ath,mac80211,ath10k_core
root@pve:~# ssh root@192.168.1.6


BusyBox v1.33.2 (2022-04-16 12:59:34 UTC) built-in shell (ash)

  _______                     ________        __
 |       |.-----.-----.-----.|  |  |  |.----.|  |_
 |   -   ||  _  |  -__|     ||  |  |  ||   _||   _|
 |_______||   __|_____|__|__||________||__|  |____|
          |__| W I R E L E S S   F R E E D O M
 -----------------------------------------------------
 OpenWrt 21.02.3, r16554-1d4dea6d4f
 -----------------------------------------------------
root@openwrt:~# uname -a
Linux openwrt 5.15.39-3-pve #2 SMP PVE 5.15.39-3 (Wed, 27 Jul 2022 13:45:39 +0200) x86_64 GNU/Linux
root@openwrt:~# lsmod |grep ath
ath                    36864  1 ath10k_core
ath10k_core           598016  1 ath10k_pci
ath10k_pci             49152  0
cfg80211              966656  3 ath10k_core,ath,mac80211
mac80211             1236992  1 ath10k_core
root@openwrt:~# dmesg
dmesg: klogctl: Operation not permitted
root@openwrt:~#

DedVseved · #8 Příspěvek od **DedVseved** » 29 srp 2022, 14:55

Do kontejneru jdou naklikat pouze virtuální síťové adaptéry. Ručně by měly jít do konfiguráku přidat i fyzické adaptéry,

Kód: Vybrat vše

lxc.net.1.name = wlan0
lxc.net.1.type = phys
lxc.net.1.flags = up
lxc.net.1.link = wlp4s0

ale tyhle řádky mi při spuštění pokaždé smaže.
Zkoušel jsem i USB WiFi dongle, ale s tím taky nemám úspěch. Něco dělám blbě.

Edit: Tak jsem si nainstaloval ještě jeden OpenWrt jako VM, kde díky chybějícímu VT-d kartu v PCI-E nepřidám, ale přidal jsem USB WiFi dongle. Tomu jsem v OpenWrt doinstaloval ovladače + firmware a už je schopný tuto WiFi využít.

kiklhorn · #9 Příspěvek od **kiklhorn** » 30 srp 2022, 01:56

CT

potřeboval jsem zrovna TUN adapter pod unprivileged CT (pro vpn)
V terminálu proxmoxu jsem vlastnictví házel pod "unprivileged root"
což by měly být UUID + 10000

Kód: Vybrat vše

chown 100000:100000 /dev/net/tun

a pak v konfigur áku /etc/pve/lxc/cislo_stroje.conf
doplňoval poslední dva řádky
dám ho sem celý

Kód: Vybrat vše

arch: arm64
cmode: shell
cores: 2
features: nesting=1
hostname: pivpn
memory: 512
net0: name=eth0,bridge=vmbr0,gw=192.168.199.1,hwaddr=FE:63:5D:61:B1:75,ip=192.168.199.5/24,type=veth
ostype: ubuntu
rootfs: local:100/vm-100-disk-0.raw,size=8G
swap: 512
unprivileged: 1
lxc.cgroup2.devices.allow: c 10:200 rwm
lxc.mount.entry: /dev/net dev/net none bind,create=dir

čísla jsou jasná:

Kód: Vybrat vše

root@proxmox2:~# ls -Loan  /dev/net
total 0
drwxr-xr-x  2      0      60 Aug 29 13:54 .
drwxr-xr-x 17      0    3960 Aug 29 13:54 ..
crw-rw-rw-  1 100000 10, 200 Aug 29 13:54 tun

DedVseved · #10 Příspěvek od **DedVseved** » 30 srp 2022, 09:20

S tím zatím bojuji, co přesně je privileged nebo unprivileged. Určitě to bude hlavně co se týče bezpečnosti a izolace kontejneru, protože když jsem dal 0, tak mi neprošel ani ssh-rsa klíč a musel jsem vyplnit heslo. S tím vypnutím/zapnutím jsem se hrál, protože mi neprocházelo sdílení pomocí NFS, ale to mi zatím visí v luftě a někdy se k tomu vrátím. Budu to muset lépe prozkoumat, protože to bude mít vliv i co se týče přístupu k HW hostitele apod.
Sehnal jsem si levný CPU s VT-d, takže budu testovat i přímý přístup k PCI-E atd., ale vím, že s tímto bývá taky víc problémů než užitku, tak uvidím.

kiklhorn · #11 Příspěvek od **kiklhorn** » 31 srp 2022, 05:24

Pokud je privileged kontejner tak root v kontejneru je root hostitele. Se všemi důsledky.

Nesting je zas že počítá s kontejnery v kontejneru (docker pod lxc) a tuším že to dělá obcházením apparmor.

Takže nesting + privileged by mělo asi dovolit v CT vše co rovnou na HW.

DedVseved · #12 Příspěvek od **DedVseved** » 31 srp 2022, 09:55

Vidíš, kdybys mi to nenapsal :prst:

, tak to nezjistím, protože u všech root účtů používám stejné heslo, proto mi to nepřipadalo jiné.

DedVseved · #13 Příspěvek od **DedVseved** » 04 zář 2022, 13:39

Tak s tím CPU s VT-d to nevyšlo. Proxmox sice jede na Debianu včetně aktualizací z jeho repozitářů, ale kernel pro virtualizaci mají upravený. Jenže k němu nejsou k dispozici zdrojáky (deb-src), takže kdybych chtěl patchnout Atheros ovladače, tak to nejde, protože příkaz stáhne zdrojáky pro Debian bullseye. V 5GHz mi jde nahodit AP pouze na kanálech 36-48 a proto jsem chtěl použít nejlépe OpenWrt, ale v něm mi funguje AP s USB WiFi donglem. Zatím to je takový patvar, protože v OpenWrt musím používat NAT, ale obě WiFi sítě fungují.

Kód: Vybrat vše

root@pve:~# iw dev
phy#0
        Interface wlp4s0
                ifindex 8
                wdev 0x1
                addr cc:2d:e0:xx:xx:xx
                ssid proxmox
                type AP
                channel 40 (5200 MHz), width: 20 MHz, center1: 5200 MHz
                txpower 23.00 dBm
                multicast TXQ:
                        qsz-byt qsz-pkt flows   drops   marks   overlmt hashcol tx-bytes        tx-packets
                        0       0       0       0       0       0       0       0               0
root@pve:~# ssh root@192.168.1.7


BusyBox v1.33.2 (2022-04-16 12:59:34 UTC) built-in shell (ash)

  _______                     ________        __
 |       |.-----.-----.-----.|  |  |  |.----.|  |_
 |   -   ||  _  |  -__|     ||  |  |  ||   _||   _|
 |_______||   __|_____|__|__||________||__|  |____|
          |__| W I R E L E S S   F R E E D O M
 -----------------------------------------------------
 OpenWrt 21.02.3, r16554-1d4dea6d4f
 -----------------------------------------------------
root@OpenWrt:~# iw dev
phy#0
        Interface wlan0
                ifindex 5
                wdev 0x3
                addr 48:5d:60:xx:xx:xx
                ssid OpenWrt
                type AP
                channel 7 (2442 MHz), width: 20 MHz, center1: 2442 MHz
                txpower 20.00 dBm

Takhle to vypadá před nahozením AP a po nahození.

Kód: Vybrat vše

Frequencies:
                        * 5180 MHz [36] (23.0 dBm)
                        * 5200 MHz [40] (23.0 dBm)
                        * 5220 MHz [44] (23.0 dBm)
                        * 5240 MHz [48] (23.0 dBm)
                        * 5260 MHz [52] (24.0 dBm) (no IR, radar detection)
                        * 5280 MHz [56] (24.0 dBm) (no IR, radar detection)
                        * 5300 MHz [60] (24.0 dBm) (no IR, radar detection)
                        * 5320 MHz [64] (24.0 dBm) (no IR, radar detection)
                        * 5500 MHz [100] (24.0 dBm) (no IR, radar detection)
                        * 5520 MHz [104] (24.0 dBm) (no IR, radar detection)
                        * 5540 MHz [108] (24.0 dBm) (no IR, radar detection)
                        * 5560 MHz [112] (24.0 dBm) (no IR, radar detection)
                        * 5580 MHz [116] (24.0 dBm) (no IR, radar detection)
                        * 5600 MHz [120] (24.0 dBm) (no IR, radar detection)
                        * 5620 MHz [124] (24.0 dBm) (no IR, radar detection)
                        * 5640 MHz [128] (24.0 dBm) (no IR, radar detection)
                        * 5660 MHz [132] (24.0 dBm) (no IR, radar detection)
                        * 5680 MHz [136] (24.0 dBm) (no IR, radar detection)
                        * 5700 MHz [140] (24.0 dBm) (no IR, radar detection)
                        * 5720 MHz [144] (24.0 dBm) (radar detection)
                        * 5745 MHz [149] (30.0 dBm)
                        * 5765 MHz [153] (30.0 dBm)
                        * 5785 MHz [157] (30.0 dBm)
                        * 5805 MHz [161] (30.0 dBm)
                        * 5825 MHz [165] (30.0 dBm)
                        * 5845 MHz [169] (27.0 dBm) (no IR)
                        * 5865 MHz [173] (27.0 dBm) (no IR)


Frequencies:
                        * 5180 MHz [36] (20.0 dBm)
                        * 5200 MHz [40] (20.0 dBm)
                        * 5220 MHz [44] (20.0 dBm)
                        * 5240 MHz [48] (20.0 dBm)
                        * 5260 MHz [52] (20.0 dBm) (no IR, radar detection)
                        * 5280 MHz [56] (20.0 dBm) (no IR, radar detection)
                        * 5300 MHz [60] (20.0 dBm) (no IR, radar detection)
                        * 5320 MHz [64] (20.0 dBm) (no IR, radar detection)
                        * 5500 MHz [100] (24.0 dBm) (no IR, radar detection)
                        * 5520 MHz [104] (24.0 dBm) (no IR, radar detection)
                        * 5540 MHz [108] (24.0 dBm) (no IR, radar detection)
                        * 5560 MHz [112] (24.0 dBm) (no IR, radar detection)
                        * 5580 MHz [116] (24.0 dBm) (no IR, radar detection)
                        * 5600 MHz [120] (24.0 dBm) (no IR, radar detection)
                        * 5620 MHz [124] (24.0 dBm) (no IR, radar detection)
                        * 5640 MHz [128] (24.0 dBm) (no IR, radar detection)
                        * 5660 MHz [132] (24.0 dBm) (no IR, radar detection)
                        * 5680 MHz [136] (24.0 dBm) (no IR, radar detection)
                        * 5700 MHz [140] (24.0 dBm) (no IR, radar detection)
                        * 5720 MHz [144] (disabled)
                        * 5745 MHz [149] (disabled)
                        * 5765 MHz [153] (disabled)
                        * 5785 MHz [157] (disabled)
                        * 5805 MHz [161] (disabled)
                        * 5825 MHz [165] (disabled)
                        * 5845 MHz [169] (disabled)
                        * 5865 MHz [173] (disabled)

DedVseved · #14 Příspěvek od **DedVseved** » 05 zář 2022, 16:11

Zrovna testuji TrueNAS, kde mám připojený na zkoušku pouze jeden disk. Chtěl jsem ještě testovat Docker a vše kolem něho, ale Proxmox mě natolik nadchnul, kde jeho modularita je obrovská, že u něj zůstanu.
Samozřejmě zbrkle skáču z jednoho do druhého, protože nápadů mám hodně, co bych všechno chtěl, ale pokud mi to na první dobrou jakž takž funguje, tak si myslím, že to vždy nějak dokopu do zdárného konce.
Jestli mi to doma nahradí 2-3 zařízení, které dohromady žerou 30-40W, tak budu spokojený, protože tohle bude (co se týče bezpečnosti) vždy aktualizované, než něco, co má poslední firmware starý 5 let apod.
Po svém ISP budu chtít veřejnou IPv4 (za 50 Kč měsíčně), takže časem budu mít vlastní emailový server, určitě cloud pro celou rodinu, ať už pomocí zkoušeného TrueNAS nebo Owncloud/Nextcloud, VPN služby nejspíš pomocí Wireguard atd.

DedVseved · #15 Příspěvek od **DedVseved** » 06 zář 2022, 10:54

Tak se mi nakonec podařilo sehnat CPU s VT-d a vše funguje jak má, což jsem nečekal. Četl jsem o tom, že je s tím víc problémů, než užitku.
Do VM OpenWrt jsem přidal PCI-E WiFi kartu od Qualcommu a AP můžu nahodit na kanálech viz. screenshot, což je jinde než 36-48 a samozřejmě správně.
Nyní si budu moci vše nakonfigurovat dle jakéhokoliv výmyslu.