Stránka 1 z 2
Proxmox a virtualizace
Napsal: 17 srp 2022, 20:42
od DedVseved
Mám k dispozici starší PC s i5-3570K a chtěl bych si z něj vyzkoušet vytvořit server a nejspíš i router atd.
Jako základ se mi líbí Proxmox, ve kterém jdou spouštět virtualizované stroje nebo kontejnery. Pro zajímavost, ta 'Káčková' verze CPU neumí VT-d (bez K ho umí), takže bych to asi u síťových karet řešil vytvořením virtuálního portu nad fyzickým, ale ještě nevím, jaké z toho budou výhody/nevýhody nebo dopad na propustnost atd.
Už jsem se díval na různé varianty dister pro router + firewall a zatím nevím, jestli nasadit Untangle, pfSense nebo dokonce obojí. Dále na různé Linuxové distribuce, ale tam určitě skončím u Debianu. Co se týče služeb/services, tak ty bych řešil až naposled. Uvažuji o jednom virtuálním stroji na webový server, druhý na mailový server, třetí pro NAS apod.
Jedete někdo v něčem podobném? A máte nějaké dobré rady ze své zkušenosti?
P.S. Zatím jsem čučel na nějaké videa např.
https://www.youtube.com/watch?v=_YazSroZm68
Napsal: 20 srp 2022, 13:52
od DedVseved
Tak se s tím Proxmoxem hraji a vypadá to dobře. Základem je správně pochopit náležitosti, hlavně co se týče sítě, ale tím že to jde i naklikat, kdy při požadovaných blbostech to na ně upozorní, je dobrá zpětná vazba. Jakmile (snad) základ pochopím a vše bude funkční, tak přidání něčeho dalšího už bude jednoduché.
Spotřeba je vysoká (v idle kolem 60W), ale mám tam starší zdroj a ještě jsem se nehrál s omezením násobiče CPU nebo podtaktováním. Ale díky nabraným zkušenostem, by nakonec nebyl problém pořídit něco méně žravého. Navíc mám v PCI-E síťovou LAN kartu, WiFi kartu a NVMe SSD disk, pro který jsem musel upravit BIOS, protože z něj neuměl bootovat.
V Proxmoxu jsem přidal virtuální stroj s pfSense, který routuje/NATuje + obstarává firewall a další mám LXC kontejner s Debianem a NGINX + PHP. Ty LXC kontejnery jsou připraveny s Webminem + Adminerem, což je v prvním případě klikací nastavení, ale to ani není potřeba.
Vyzkoušel jsem i propustnost, kde z Windows přes USB LAN a celým Proxmoxem, kde jsou nad fyzickými síťovými kartami zapnuty karty virtuální a je velmi dobrá.
Kód: Vybrat vše
iperf3 -c 192.168.10.1 -u -i 1 -b 1000M -t 10
Connecting to host 192.168.10.1, port 5201
[ 4] local 192.168.1.100 port 61364 connected to 192.168.10.1 port 5201
[ ID] Interval Transfer Bandwidth Total Datagrams
[ 4] 0.00-1.00 sec 102 MBytes 856 Mbits/sec 13061
[ 4] 1.00-2.00 sec 114 MBytes 958 Mbits/sec 14624
[ 4] 2.00-3.00 sec 114 MBytes 958 Mbits/sec 14622
[ 4] 3.00-4.00 sec 114 MBytes 958 Mbits/sec 14623
[ 4] 4.00-5.00 sec 114 MBytes 958 Mbits/sec 14624
[ 4] 5.00-6.00 sec 114 MBytes 958 Mbits/sec 14623
[ 4] 6.00-7.00 sec 114 MBytes 958 Mbits/sec 14622
[ 4] 7.00-8.00 sec 114 MBytes 958 Mbits/sec 14623
[ 4] 8.00-9.00 sec 114 MBytes 958 Mbits/sec 14623
[ 4] 9.00-10.00 sec 114 MBytes 958 Mbits/sec 14623
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval Transfer Bandwidth Jitter Lost/Total Datagrams
[ 4] 0.00-10.00 sec 1.10 GBytes 948 Mbits/sec 0.000 ms 0/0 (0%)
[ 4] Sent 0 datagrams
iperf Done.
Napsal: 20 srp 2022, 23:04
od kiklhorn
Ale jo, taky si hraju. Vyhodil jsem žravou příšeru a nasadil Raspberry (zkouška na RPi 400), v pondělí snad dorazí RPi 4/8GB tak budu pokračovat PiVPN, nějaký firewall, Mycroft asistent a doufám že i Frigate. Jediné co zatím nehodlám přesouvat je Home Assistant. Drobný problém mám s LXC kontejnery, musím najít něco rozumně funkčního na aarch64.
Napsal: 21 srp 2022, 18:35
od DedVseved
Hezky, další nadšenec
Je vidět, že asi ty 4GB RAM bude celkem limit, ale budeš mít 8GB. V tom svém mám 16GB RAM což ujde, ale zase ta spotřeba je proti RPi několikanásobná. Tím, že RPi není X86 nebo AMD64, tak to bude vždycky složitější. Pamatuji se na hrátky s Orange Pi, kde byl Allwinner H3 s architekturou sun8iw7p1 a to bylo větší peklo. Ani netuším, jak to má ten SoC od Broadcomu v RPi s virtualizací, jestli je v něm HW podpora.
Přes víkend jsem přihodil 500GB HDD a ten připojil do Storage jako adresář, aby se na něj ukládaly zálohy, stažené ISO a LXC. V už spuštěných kontejnerech lze zvolit "mount point" a dle zvoleného místa si na HDD alokuje stejně velký soubor. Jako další tam zkusím navést úložiště pro sambu, ftp, webové stránky apod.
K tomu Webminu jsem upínal větší naděje, ale spíše se v něm ztrácím a ne všechno funguje.
Napsal: 28 srp 2022, 16:04
od DedVseved
Zkusil jsem nainstalovat OpenWrt jako kontejner a přes něj jsem chtěl ovládat WiFi kartu a veškerý přístup do WiFi sítě. WiFi kartu v PCI-E slotu fyzicky vidím viz. screenshot, ale nejsem schopný ji nainstalovat a nahodit. Firmware a ovladače jsem přidal, jsou sice s příponou -ct (Candela Technologies), ale zkoušel jsem i bez -ct. Možná to je kvůli chybějícím VT-d na CPU, ale to by mohlo být zásadní pro virtuální stroj a ne kontejner.
Napsal: 29 srp 2022, 05:25
od kiklhorn
nestačí zavést nějaký modul přes modprobe ?
HW v CT jsem ještě neřešil, ale třeba pod XENem se to dělalo přes loop device v dom-0 - poslal jsem si do virtuálu PCI-slot.
Tady ti to ale už HW vypisuje.
Napsal: 29 srp 2022, 13:10
od DedVseved
Ono to je jinak, než jsem si myslel a jsem z toho zmaten. V OpenWrt kontejneru je sdílený kernel i moduly/ovladače z Proxmoxu, takže zavedení ovladačů a firmwarů je vlastně zbytečné, což může být i výhoda. Musím to nějak vstřebat.
Kód: Vybrat vše
root@pve:~# uname -a
Linux pve 5.15.39-3-pve #2 SMP PVE 5.15.39-3 (Wed, 27 Jul 2022 13:45:39 +0200) x86_64 GNU/Linux
root@pve:~# lsmod |grep ath
ath10k_pci 49152 0
ath10k_core 598016 1 ath10k_pci
ath 36864 1 ath10k_core
mac80211 1236992 1 ath10k_core
cfg80211 966656 3 ath,mac80211,ath10k_core
root@pve:~# ssh root@192.168.1.6
BusyBox v1.33.2 (2022-04-16 12:59:34 UTC) built-in shell (ash)
_______ ________ __
| |.-----.-----.-----.| | | |.----.| |_
| - || _ | -__| || | | || _|| _|
|_______|| __|_____|__|__||________||__| |____|
|__| W I R E L E S S F R E E D O M
-----------------------------------------------------
OpenWrt 21.02.3, r16554-1d4dea6d4f
-----------------------------------------------------
root@openwrt:~# uname -a
Linux openwrt 5.15.39-3-pve #2 SMP PVE 5.15.39-3 (Wed, 27 Jul 2022 13:45:39 +0200) x86_64 GNU/Linux
root@openwrt:~# lsmod |grep ath
ath 36864 1 ath10k_core
ath10k_core 598016 1 ath10k_pci
ath10k_pci 49152 0
cfg80211 966656 3 ath10k_core,ath,mac80211
mac80211 1236992 1 ath10k_core
root@openwrt:~# dmesg
dmesg: klogctl: Operation not permitted
root@openwrt:~#
Napsal: 29 srp 2022, 14:55
od DedVseved
Do kontejneru jdou naklikat pouze virtuální síťové adaptéry. Ručně by měly jít do konfiguráku přidat i fyzické adaptéry,
Kód: Vybrat vše
lxc.net.1.name = wlan0
lxc.net.1.type = phys
lxc.net.1.flags = up
lxc.net.1.link = wlp4s0
ale tyhle řádky mi při spuštění pokaždé smaže.
Zkoušel jsem i USB WiFi dongle, ale s tím taky nemám úspěch. Něco dělám blbě.
Edit: Tak jsem si nainstaloval ještě jeden OpenWrt jako VM, kde díky chybějícímu VT-d kartu v PCI-E nepřidám, ale přidal jsem USB WiFi dongle. Tomu jsem v OpenWrt doinstaloval ovladače + firmware a už je schopný tuto WiFi využít.
Napsal: 30 srp 2022, 01:56
od kiklhorn
CT
potřeboval jsem zrovna TUN adapter pod unprivileged CT (pro vpn)
V terminálu proxmoxu jsem vlastnictví házel pod "unprivileged root"
což by měly být UUID + 10000
a pak v konfigur áku /etc/pve/lxc/cislo_stroje.conf
doplňoval poslední dva řádky
dám ho sem celý
Kód: Vybrat vše
arch: arm64
cmode: shell
cores: 2
features: nesting=1
hostname: pivpn
memory: 512
net0: name=eth0,bridge=vmbr0,gw=192.168.199.1,hwaddr=FE:63:5D:61:B1:75,ip=192.168.199.5/24,type=veth
ostype: ubuntu
rootfs: local:100/vm-100-disk-0.raw,size=8G
swap: 512
unprivileged: 1
lxc.cgroup2.devices.allow: c 10:200 rwm
lxc.mount.entry: /dev/net dev/net none bind,create=dir
čísla jsou jasná:
Kód: Vybrat vše
root@proxmox2:~# ls -Loan /dev/net
total 0
drwxr-xr-x 2 0 60 Aug 29 13:54 .
drwxr-xr-x 17 0 3960 Aug 29 13:54 ..
crw-rw-rw- 1 100000 10, 200 Aug 29 13:54 tun
Napsal: 30 srp 2022, 09:20
od DedVseved
S tím zatím bojuji, co přesně je privileged nebo unprivileged. Určitě to bude hlavně co se týče bezpečnosti a izolace kontejneru, protože když jsem dal 0, tak mi neprošel ani ssh-rsa klíč a musel jsem vyplnit heslo. S tím vypnutím/zapnutím jsem se hrál, protože mi neprocházelo sdílení pomocí NFS, ale to mi zatím visí v luftě a někdy se k tomu vrátím. Budu to muset lépe prozkoumat, protože to bude mít vliv i co se týče přístupu k HW hostitele apod.
Sehnal jsem si levný CPU s VT-d, takže budu testovat i přímý přístup k PCI-E atd., ale vím, že s tímto bývá taky víc problémů než užitku, tak uvidím.
Napsal: 31 srp 2022, 05:24
od kiklhorn
Pokud je privileged kontejner tak root v kontejneru je root hostitele. Se všemi důsledky.
Nesting je zas že počítá s kontejnery v kontejneru (docker pod lxc) a tuším že to dělá obcházením apparmor.
Takže nesting + privileged by mělo asi dovolit v CT vše co rovnou na HW.
Napsal: 31 srp 2022, 09:55
od DedVseved
Vidíš, kdybys mi to nenapsal
, tak to nezjistím, protože u všech root účtů používám stejné heslo, proto mi to nepřipadalo jiné.
Napsal: 04 zář 2022, 13:39
od DedVseved
Tak s tím CPU s VT-d to nevyšlo. Proxmox sice jede na Debianu včetně aktualizací z jeho repozitářů, ale kernel pro virtualizaci mají upravený. Jenže k němu nejsou k dispozici zdrojáky (deb-src), takže kdybych chtěl patchnout Atheros ovladače, tak to nejde, protože příkaz stáhne zdrojáky pro Debian bullseye. V 5GHz mi jde nahodit AP pouze na kanálech 36-48 a proto jsem chtěl použít nejlépe OpenWrt, ale v něm mi funguje AP s USB WiFi donglem. Zatím to je takový patvar, protože v OpenWrt musím používat NAT, ale obě WiFi sítě fungují.
Kód: Vybrat vše
root@pve:~# iw dev
phy#0
Interface wlp4s0
ifindex 8
wdev 0x1
addr cc:2d:e0:xx:xx:xx
ssid proxmox
type AP
channel 40 (5200 MHz), width: 20 MHz, center1: 5200 MHz
txpower 23.00 dBm
multicast TXQ:
qsz-byt qsz-pkt flows drops marks overlmt hashcol tx-bytes tx-packets
0 0 0 0 0 0 0 0 0
root@pve:~# ssh root@192.168.1.7
BusyBox v1.33.2 (2022-04-16 12:59:34 UTC) built-in shell (ash)
_______ ________ __
| |.-----.-----.-----.| | | |.----.| |_
| - || _ | -__| || | | || _|| _|
|_______|| __|_____|__|__||________||__| |____|
|__| W I R E L E S S F R E E D O M
-----------------------------------------------------
OpenWrt 21.02.3, r16554-1d4dea6d4f
-----------------------------------------------------
root@OpenWrt:~# iw dev
phy#0
Interface wlan0
ifindex 5
wdev 0x3
addr 48:5d:60:xx:xx:xx
ssid OpenWrt
type AP
channel 7 (2442 MHz), width: 20 MHz, center1: 2442 MHz
txpower 20.00 dBm
Takhle to vypadá před nahozením AP a po nahození.
Kód: Vybrat vše
Frequencies:
* 5180 MHz [36] (23.0 dBm)
* 5200 MHz [40] (23.0 dBm)
* 5220 MHz [44] (23.0 dBm)
* 5240 MHz [48] (23.0 dBm)
* 5260 MHz [52] (24.0 dBm) (no IR, radar detection)
* 5280 MHz [56] (24.0 dBm) (no IR, radar detection)
* 5300 MHz [60] (24.0 dBm) (no IR, radar detection)
* 5320 MHz [64] (24.0 dBm) (no IR, radar detection)
* 5500 MHz [100] (24.0 dBm) (no IR, radar detection)
* 5520 MHz [104] (24.0 dBm) (no IR, radar detection)
* 5540 MHz [108] (24.0 dBm) (no IR, radar detection)
* 5560 MHz [112] (24.0 dBm) (no IR, radar detection)
* 5580 MHz [116] (24.0 dBm) (no IR, radar detection)
* 5600 MHz [120] (24.0 dBm) (no IR, radar detection)
* 5620 MHz [124] (24.0 dBm) (no IR, radar detection)
* 5640 MHz [128] (24.0 dBm) (no IR, radar detection)
* 5660 MHz [132] (24.0 dBm) (no IR, radar detection)
* 5680 MHz [136] (24.0 dBm) (no IR, radar detection)
* 5700 MHz [140] (24.0 dBm) (no IR, radar detection)
* 5720 MHz [144] (24.0 dBm) (radar detection)
* 5745 MHz [149] (30.0 dBm)
* 5765 MHz [153] (30.0 dBm)
* 5785 MHz [157] (30.0 dBm)
* 5805 MHz [161] (30.0 dBm)
* 5825 MHz [165] (30.0 dBm)
* 5845 MHz [169] (27.0 dBm) (no IR)
* 5865 MHz [173] (27.0 dBm) (no IR)
Frequencies:
* 5180 MHz [36] (20.0 dBm)
* 5200 MHz [40] (20.0 dBm)
* 5220 MHz [44] (20.0 dBm)
* 5240 MHz [48] (20.0 dBm)
* 5260 MHz [52] (20.0 dBm) (no IR, radar detection)
* 5280 MHz [56] (20.0 dBm) (no IR, radar detection)
* 5300 MHz [60] (20.0 dBm) (no IR, radar detection)
* 5320 MHz [64] (20.0 dBm) (no IR, radar detection)
* 5500 MHz [100] (24.0 dBm) (no IR, radar detection)
* 5520 MHz [104] (24.0 dBm) (no IR, radar detection)
* 5540 MHz [108] (24.0 dBm) (no IR, radar detection)
* 5560 MHz [112] (24.0 dBm) (no IR, radar detection)
* 5580 MHz [116] (24.0 dBm) (no IR, radar detection)
* 5600 MHz [120] (24.0 dBm) (no IR, radar detection)
* 5620 MHz [124] (24.0 dBm) (no IR, radar detection)
* 5640 MHz [128] (24.0 dBm) (no IR, radar detection)
* 5660 MHz [132] (24.0 dBm) (no IR, radar detection)
* 5680 MHz [136] (24.0 dBm) (no IR, radar detection)
* 5700 MHz [140] (24.0 dBm) (no IR, radar detection)
* 5720 MHz [144] (disabled)
* 5745 MHz [149] (disabled)
* 5765 MHz [153] (disabled)
* 5785 MHz [157] (disabled)
* 5805 MHz [161] (disabled)
* 5825 MHz [165] (disabled)
* 5845 MHz [169] (disabled)
* 5865 MHz [173] (disabled)
Napsal: 05 zář 2022, 16:11
od DedVseved
Zrovna testuji TrueNAS, kde mám připojený na zkoušku pouze jeden disk. Chtěl jsem ještě testovat Docker a vše kolem něho, ale Proxmox mě natolik nadchnul, kde jeho modularita je obrovská, že u něj zůstanu.
Samozřejmě zbrkle skáču z jednoho do druhého, protože nápadů mám hodně, co bych všechno chtěl, ale pokud mi to na první dobrou jakž takž funguje, tak si myslím, že to vždy nějak dokopu do zdárného konce.
Jestli mi to doma nahradí 2-3 zařízení, které dohromady žerou 30-40W, tak budu spokojený, protože tohle bude (co se týče bezpečnosti) vždy aktualizované, než něco, co má poslední firmware starý 5 let apod.
Po svém ISP budu chtít veřejnou IPv4 (za 50 Kč měsíčně), takže časem budu mít vlastní emailový server, určitě cloud pro celou rodinu, ať už pomocí zkoušeného TrueNAS nebo Owncloud/Nextcloud, VPN služby nejspíš pomocí Wireguard atd.
Napsal: 06 zář 2022, 10:54
od DedVseved
Tak se mi nakonec podařilo sehnat CPU s VT-d a vše funguje jak má, což jsem nečekal. Četl jsem o tom, že je s tím víc problémů, než užitku.
Do VM OpenWrt jsem přidal PCI-E WiFi kartu od Qualcommu a AP můžu nahodit na kanálech viz. screenshot, což je jinde než 36-48 a samozřejmě správně.
Nyní si budu moci vše nakonfigurovat dle jakéhokoliv výmyslu.