Als Newie würde ich zuerst versuchen das VPN nur hinter dem Netz der Fritzbox aufzubauen (also zweiter Router raus) und es von außen zu erreichen. Da gibt es viele tolle Anleitungen die man via Suchmaschine exakt für die eingesetzte Hardware bebildert findet. z.B. Anleitung für VPN auf iOS, Anleitung für VPN basierend auf FritzOS und dann noch mal VPN basierend auf dem QNAP OS. Sicherlich gibt es auch jemand der das schon in genau deiner Konstellation bebildert hat.
Wenn das dann klappt, erst dann würde ich mich an ein Subnetz hinter der Fritzbox wagen. Verwirrend ist sicher dass VPN Bereits ein Subnetzwerk darstellt daher lieber erstmal mit einem Subnet anstatt noch komplizierter.
Ich verwendende myfritz mit einem Benutzer auf der Fritzbox der VPN darf. Das sollte mal Step 1 sein. Dieses VPN muss dann auch im WAN Gerät benutzt werden sonst passiert gar nix. IPSec funktioniert bei mir ganz gut. Den Rest konfigurierst du dann im QNAP OS.