Die große Zeit der Casino-Gesellschaft ging mit dem Beginn des ersten Weltkriegs und der Abdankung des Großherzogs zu Ende. Es folgte die Weimarer Zeit mit der Inflation (1923) und der Weltwirtschaftskrise (1929). Viele Mitglieder konnten sich ihre Beiträge nicht mehr leisten.

Dann kam die dunkle Zeit des 3. Reiches. Gauleiter Carl Röwer und andere Nazi-Größen wurde Mitglied. Das sicherte der "Casino-Gesellschaft" das Überleben. Ähnliche Vereine in anderen Städten wurden von den Nazis verboten. Der Club hatte vor 1933 nicht wenige Jüdische Mitglieder die zu den Honoratioren der Stadt gehörten. Diese mussten den Club verlassen oder wurden ausgeschlossen. Die Mitgliederzahl verringerte sich durch die vielen Austritte und die Kriegswirren erheblich.

1937 war das Casino noch mit großem Aufwand renoviert worden, stand aber bei Kriegsbeginn nicht mehr als Ort der Begegnung zur Verfügung. Nach dem Krieg richteten die Engländer für ihre Soldaten dort ihre NAAFI-Zentrale (Navy, Army and Airforce Institutes) mit Kaufhaus und sozialem Zentrum ein.

1958 sollte die Rückgabe des Casinos an die Gesellschaft erfolgen. Der Verein sah man dem "eigene Haus" nicht mehr mit Freuden, sondern mit Bangen entgegen. Kostenberechnungen ergaben, dass die notwendigen Sanierungs- und Umbaumaßnahmen ca. 500.000 DM betragen würden (Umgerechnet etwa 25 Einfamilienhäuser). Der Verein sah keine Möglichkeit diese gewaltige Summe aufzubringen.

Es erfolgte der Verkauf an die Landeszentralbank. Die Bank beabsichtigte das Gebäude abzureißen. In einem Vermerk des Städtischen Oberbaurats N. hieß es:

"Aufgrund der beiliegenden Vorentwurfsskizze ....wurden Bedenken gegen den Abbruch des Casinos zurückgestellt. Es soll der Denkmalsschutz zwar bis zur Fertigstellung des Bankgebäudes wirksam bleiben, damit auch die Belange des Denkmalschutzes beim Neubau zum tragen kommen. Dann aber wird erwogen, das Grundstück vom Denkmalsschutz freizustellen".

Das hieß nichts anderes, als das das Gebäude bei bestehendem Denkmalschutz abgerissen wurde!
Damit verlor Oldenburg ein weiteres architektonisch wertvolles, stadtbildprägendes Haus.

Die "Casino-Gesellschaft" übernahm im Tausch das Haus der Landeszentralbank am Staugraben 5.
Das Gebäude wurde mit erheblichen Aufwand umgebaut und den Bedürfnissen der Gesellschaft angepasst. 1961 erfolgte die Einweihung. Die Räume strahlten den Charme der 60er Jahre aus und wurden nie richtig von den Mitgliedern angenommen. (Bilder oben und unten).