Nel 1821, fu approvata la costruzione del South Carolina Lunatic Asylum e della scuola per sordomuti, rendendo il South Carolina il secondo stato a stanziare fondi per curare i malati di mente. Robert Mills fu scelto per progettare il nuovo manicomio e nel 1822 iniziò la costruzione del Mills Building. Nel 1828, il South Carolina Lunatic Asylum ammise il suo primo paziente, ma il Babcock Building non fu costruito fino a quasi trent’anni dopo a causa della crescita della popolazione.

Il progetto iniziale della campagna edilizia era di George E. Walker, ma comprendeva solo una parte dell’ala sud. Gustavus T. Berg fu l’architetto per l’ala nord e Samuel Sloan per l’edificio centrale, che collegava entrambe le ali. Il processo di costruzione fu ritardato molte volte, il che portò ad un processo di costruzione in quattro fasi che richiese quasi trent’anni per essere completato. Nel 1885, l’edificio accettò i suoi primi pazienti.
L’edificio Babcock conteneva una struttura centrale di quattro piani, completa di cupola, e un’ala nord affiancata per i maschi e un’ala sud per le femmine. L’edificio seguiva lo stile rinascimentale italiano ed era decorato con pavimenti e finiture in legno. La struttura centrale conteneva sale operatorie al secondo piano, alloggi per il supervisore e alcuni medici al terzo e quarto piano e sale da pranzo per i pazienti. Ogni piano di ogni reparto conteneva stanze individuali per i pazienti fino al 1915, quando iniziò la ristrutturazione. All’epoca era solo il terzo manicomio costruito negli Stati Uniti, ma non era la prima testimonianza di trattamento per i malati di mente nello stato.

L’edificio è stato inserito nel registro nazionale dei luoghi storici nel 1981 e lasciato libero negli anni ’90.