In 1821 werd de bouw van het South Carolina Lunatic Asylum en de school voor doofstommen goedgekeurd, waarmee South Carolina de tweede staat werd die geld beschikbaar stelde voor de behandeling van geesteszieken. Robert Mills werd gekozen om het nieuwe gesticht te ontwerpen en in 1822 werd met de bouw van het Mills Building begonnen. In 1828 liet het krankzinnigengesticht van South Carolina zijn eerste patiënt toe, maar het Babcock-gebouw werd pas bijna dertig jaar later gebouwd vanwege de groeiende bevolking.

Het aanvankelijke ontwerp voor de bouwcampagne was van George E. Walker, maar omvatte slechts een deel van de zuidvleugel. Gustavus T. Berg was de architect voor de noordelijke vleugel en Samuel Sloan was de architect voor het middelste gebouw, dat beide vleugels verbond. Het bouwproces liep vele malen vertraging op, wat leidde tot een bouwproces in vier fasen dat bijna dertig jaar in beslag nam. In 1885 werden de eerste patiënten in het gebouw opgenomen.
Het Babcock-gebouw bestond uit een centrale structuur van vier verdiepingen, compleet met koepel, en een flankerende noordelijke vleugel voor mannen en een zuidelijke vleugel voor vrouwen. Het gebouw volgde de Italiaanse Renaissance Revival stijl en was versierd met houten vloeren en sierlijsten. De centrale structuur bevatte operatiekamers op de tweede verdieping, huisvesting voor de hoofdopzichter en enkele artsen op de derde en vierde verdieping en eetzalen voor patiënten. Elke verdieping van elke afdeling bevatte individuele patiëntenkamers tot in 1915 met de renovatie werd begonnen. In die tijd was het slechts het derde gesticht dat in de Verenigde Staten werd gebouwd, maar het was niet het eerste bewijs van behandeling voor geesteszieken in de staat.

Het gebouw werd in 1981 opgenomen in het National Register of Historic Places en werd in de jaren 1990 ontruimd.