I 1821 blev byggeriet af South Carolina Lunatic Asylum og skole for døve og stumme godkendt, hvilket gjorde South Carolina til den anden stat, der bevilgede penge til behandling af sindslidende. Robert Mills blev valgt til at designe den nye anstalt, og i 1822 begyndte byggeriet af Mills Building. I 1828 tog South Carolina Lunatic Asylum sin første patient ind, men Babcock-bygningen blev først opført næsten 30 år senere på grund af den voksende befolkning.

Den oprindelige bygningskampagne blev designet af George E. Walker, men omfattede kun en del af den sydlige fløj. Gustavus T. Berg var arkitekt for den nordlige fløj, og Samuel Sloan var arkitekt for centerbygningen, som forbandt begge fløje. Byggeprocessen blev forsinket mange gange, hvilket førte til en byggeproces i fire faser, som tog næsten tredive år at færdiggøre. I 1885 tog bygningen imod de første patienter.
Babcock-bygningen indeholdt en central struktur i fire etager, komplet med kuppel, og en flankerende nordfløj til mænd og en sydfløj til kvinder. Bygningen fulgte den italienske renæssance revival-stil og var prydet med trægulve og træbeklædning. Den centrale struktur indeholdt operationsrum på anden etage, boliger til overlægen og nogle læger på tredje og fjerde etage samt spisesale for patienterne. Hver etage på hver afdeling indeholdt individuelle patientværelser indtil 1915, hvor renoveringen blev påbegyndt. På det tidspunkt var det kun den tredje anstalt, der blev bygget i USA, men det var ikke det første bevis på behandling af psykisk syge i staten.

Bygningen blev opført på National Register of Historic Places i 1981 og forlod bygningen i 1990’erne.