Da ich selber ziemlich Lange nach der Lösung dieses Problems gesucht habe, möchte ich diese hier mal eben für die Nachwelt festhalten:

Ich habe Oracle 11g Enterprise auf einem Windows 2003 R2 Standard Server installiert. Dieser verfügt über 4 GB Ram ( Das Maximum bei der 32 Bt Standard Edition). Im Enterprise-Manager habe ich unter "Server" -> "Memory Advisor" das "Automatic Memory Management" aktiviert und Oracle 3 GB RAM zugewiesen.
Leider habe ich nicht daran gedacht, dass diese Windows Version User Prozessen maximal 2 GB RAM zur verfügung stellt.
Die Konsequent der ganzen sache war, dass die Instanz sobald sie mehr als 2 GB RAM nutzen wollte terminierte. Nach langem hin und her bin ich dann auf die Lösung gestossen.
Man kann in der Boot.ini den Parameter "/3GB" setzen. Das bewirkt, dass Windows nun bis zu 3 GB an User-Prozesse weitergibt und selber nur noch 1GB für sich beansprucht.

Und siehe da, die Instanz läuft jetzt schon mehrere Wochen problemlos durch.

Voraussetzung für die Nutzung dieses "erweiterten Speichers" ist, dass die jeweilige Software dies unterstützt.

Mir ist eine Unterstützung bekannt von:

Oracle 9 - 11g
Lotus Notes (Domino) ab Version 7
Autocad Inventor 2009

Wobe es sicherlich viele Speicherhungrige Anwendungen gibt, die das unterstützen.