Vuonna 1821 hyväksyttiin Etelä-Carolinan mielisairaalan ja kuuromykkien koulun rakentaminen, jolloin Etelä-Carolinasta tuli toinen osavaltio, joka osoitti rahaa mielisairaiden hoitoon. Uuden mielisairaalan suunnittelijaksi valittiin Robert Mills, ja vuonna 1822 aloitettiin Mills Buildingin rakentaminen. Vuonna 1828 Etelä-Carolinan mielisairaalaan otettiin ensimmäinen potilas, mutta Babcockin rakennus rakennettiin vasta lähes kolmekymmentä vuotta myöhemmin väestönkasvun vuoksi.

Rakennuksen alkuperäisen kampanjasuunnitelman laati George E. Walker, mutta se sisälsi vain osan eteläsiivestä. Gustavus T. Berg oli pohjoissiiven arkkitehti ja Samuel Sloan oli arkkitehti keskimmäisen rakennuksen arkkitehti, joka yhdisti molemmat siivet. Rakennusprosessi viivästyi useita kertoja, mikä johti nelivaiheiseen rakennusprosessiin, joka kesti lähes kolmekymmentä vuotta. Vuonna 1885 rakennukseen otettiin ensimmäiset potilaat.
Babcockin rakennus sisälsi nelikerroksisen keskusrakennuksen, jossa oli kupoli, ja sitä reunustavan pohjoissiiven miehille ja eteläsiiven naisille. Rakennus noudatteli italialaista renessanssia, ja sitä koristivat puulattiat ja -verhoilut. Keskirakennuksessa oli toisen kerroksen leikkaussalit, kolmannessa ja neljännessä kerroksessa valvojan ja joidenkin lääkäreiden asunnot sekä potilaiden ruokasalit. Kunkin osaston jokaisessa kerroksessa oli yksittäisiä potilashuoneita vuoteen 1915 asti, jolloin aloitettiin peruskorjaus. Tuolloin se oli vasta kolmas Yhdysvalloissa rakennettu mielisairaala, mutta se ei ollut ensimmäinen osoitus mielisairaiden hoidosta osavaltiossa.

Rakennus sisällytettiin kansalliseen historiallisten paikkojen rekisteriin vuonna 1981, ja se tyhjennettiin 1990-luvulla.