Die Dooleys verbrachten hier ihre Sommer bis zum Tod von Major Dooley im Jahr 1922. Mrs. Dooley zwei Jahre später und Swannanoa wurde an die beiden Schwestern ihres verstorbenen Ehemanns vererbt, die das Anwesen sofort loswerden wollten.

Swannanoa wurde zum Niedrigpreis von lediglich 300.000 US-Dollar (heute rund 4,7 Millionen Euro) verkauft und in einen Country-Club umgebaut, der 1927 eröffnete. Doch aufgrund der Weltwirtschaftskrise schloss der Club im Jahr 1932 bereits wieder. Danach stand Swannanoa jahrelang leer.

Während des Zweiten Weltkriegs ließ die US Navy ihre Kaufpläne fallen, nachdem sie vom hohen Verkaufspreis abgeschreckt wurde.

Diese 8 verlassenen Luxusvillen wurden einfach dem Ruin überlassen