Il sistema VMS (Virtual Memory System) nasce per le architetture VAX (Virtual Address eXtension) DEC (Digital Equipment Corpration),
a livello professionale è considerato da molti l'unico vero e solido concorrente ai sistemi Unix like.
Il Sistema VMS è estremamente affidabile, per anni è stato (e viene ancora utilizzato anche se in misura modesta, recentemente "portato" per Intel Itanium) la punta di diamante sui grossi sistemi aziendali distribuiti (cluster), ambito nel quale eccelle.
Come dici, non è proprio un sistema intuitivo ma, come per tutte le cose, basta farci l'abitudine e leggere la documentazione. D'altra parte come esistono i sistemisti Unix, esistono (o sono esistiti) anche
i sistemisti dell'ostico OS400 (per AS400, lo cito anche se completamente diverso) e quindi anche i sistemisti VMS.

Difficilmente potrai utilizzare VMS (in particolare oggi si parla di OpenVMS) su una normale macchina x86, anche se, è da un pò che sento parlare di "port" che tuttavia non ho ancora mai visto;
VMS infatti è concepito per girare (come su detto) su macchine VAX o Alpha (le due principali architetture professionali DEC dell'epoca) oltrechè su piattaforma Itanium (già OpenVMS).
Puoi utilizzare OpenVMS Alpha o VAX utilizzando simh
http://simh.trailing-edge.com/, prima però devi ottenere le licenze presso un DECUS (io per esempio sono iscritto a quello di Monaco di Baviera
http://www.hp-user-society.de/) oltre che naturalmente procurarti il software, sempre presso quest'ultimo.
Esiste in alternativa anche un ottimo progetto italiano
http://decnet.ipv7.net/ che potrebbe fare al caso tuo.

Se non hai una moglie, puoi decidere di metterti in casa una vera e propria architettura VAX o Alpha, una cosa che può dare parecchie soddisfazioni.
Personalmente, non avendo ancora moglie, ho dunque due "figli": un MicroVAX 3800 (che tutto è tranne che "micro") ed un MicroVAX 3100 (decisamente più piccolo).
La mia ragazza li guarda con avversità, loro rispondono al "guardo" minacciosamente, sono addestrati all'autodifesa.

Esiste inoltre anche il progetto freeVMS
http://www.freevms.net/ che però non ho mai approfondito e quindi non so dirti niente di preciso.
Concludo dicendo che il sistema VMS per come è strutturato è tutt'altro che obsoleto, non ha avuto grande fortuna per diverse ragioni:
- Uscì su ambito professionale per i grossi sistemi di servers, costava parecchio e girava (e gira) su macchine "di nicchia".
- Per usarlo in modo decente occorre studiare parecchio.
- DEC è stata assorbita prima da Compaq e poi da HP che, non hanno portato avanti il progetto se non negli ultimi tempi.
- Difficile reperibilità anche a tutt'ora.
Con la speranza di esserti stato utile,
saluti,
MuRdOcK