De villa Elzenburg is in 1938 gekocht door Lodewijk Marggraff, nadat de vorige bewoner Franciscus Johannes Suijling overleden was. Loke wilde op deze plek een nieuwe villa laten bouwen, maar zijn plannen werden vertraagd door de bezetting. Daarom verhuurde hij de bestaande woning aan Gabriel Moll van Charante, een Nederlands-hervormde predikant uit Rotterdam die een aanstelling in Den Bosch kreeg.
In de beginjaren van de bezetting was deze predikant prominent lid was van de Nederlandsche Unie, een alternatief voor de NSB opgezet door politici die met de bezetter in gesprek wilden. In Vught vond het landelijke vormings- en studiecentrum van deze Unie onderdak op het nabij gelegen landgoed Wargashuyse. Moll van Charante werd later aangesteld als predikant op de Harskamp, waar veel voormalige Nederlandse SS’ers gedetineerd waren.
Zijn zus Marie Moll van Charante was financier en mede-eigenaar samen met Grietina Kramer van het kindertehuis Zonneschijn in Zeist. Ramses Shaffy was daar in 1939 korte tijd geïnterneerd. Tijdens de bezetting bood dit tehuis onderdak aan tientallen (betalende) Joodse onderduikers. Jim Terlingen beschrijft in zijn boek Schaduw over Zonneschijn dat beide dames hun internaat tamelijk hardhandig beheerden en dat ze een slaapkamer deelden. Ramses had levendige herinneringen aan zijn woedende reactie op de onrechtvaardige behandeling door beide dames. De boosheid van een kind.
Na verraad deed de Sicherheitsdienst (SD) begin 1944 een inval in Zonneschijn. Marie Moll van Charante werd gearresteerd en gevangen gezet Kamp Vught, waar ze tewerkgesteld werd bij het beruchte Philips-kommando. Vlak voor de ontruiming van Kamp Vught in september 1944 is zij op transport gezet naar het beruchte concentratiekamp Ravensbrück in Duitsland. Daar overleed ze op 6 maart 1945.
Onder beheer
Toen Lodewijk Marggraff na de bevrijding van Vught in 1994 werd opgepakt en beschuldigd van collaboratie, werden alle bezittingen van de familie onder beheer geplaatst van de Centrale Vermogens Opsporingsdienst, die voor de lokale uitvoering notaris Hendrik Worst inschakelde. Worst is waarschijnlijk degene die de Villa Elzenburg in 1945 heeft verhuurd aan rechter Louis Rutten in Den Bosch.
Ewald Marggraff heeft zich jaren verzet tegen de bewoning van zijn pand door de magistraat, maar het duurde tot de jaren zestig voordat Rutten toegaf en Elzenburg verliet. Nadien heeft Ewald het pand uit protest laten verkrotten.
Na het overlijden van de eigenzinnige grootgrondbezitter is in 2011 door architect Diederic Six een plan gemaakt om het landgoed opnieuw geschikt te maken voor bewoning. Zulke plannen waren nodig om onder andere de herbouw van Zionsburg en tweehonderd jaar behoud van de nalatenschap mogelijk te maken. Toen was het bestaan van een kapitaalkrachtige Treuhand in Liechtenstein nog niet bekend.
