1821-ben jóváhagyták a South Carolina Lunatic Asylum és a süketnémák iskolájának építését, így Dél-Karolina lett a második állam, amely pénzt különített el az elmebetegek kezelésére. Az új elmegyógyintézet tervezésére Robert Millst választották, és 1822-ben megkezdődött a Mills Building építése. 1828-ban a Dél-Karolinai Elmegyógyintézet befogadta első betegét, de a Babcock-épületet csak majdnem harminc évvel később építették meg a növekvő népesség miatt.

A kezdeti épületkampány tervét George E. Walker készítette, de csak a déli szárny egy részét tartalmazta. Az északi szárnyat Gustavus T. Berg, a két szárnyat összekötő középső épületet pedig Samuel Sloan építész tervezte. Az építési folyamat többször is késett, ami egy négyfázisú építési folyamathoz vezetett, amely közel harminc évig tartott. Az épület 1885-ben fogadta az első betegeket.
A Babcock-épület egy négyemeletes, kupolával ellátott központi épületet, valamint a férfiak számára fenntartott északi szárnyat és a nők számára fenntartott déli szárnyat tartalmazott. Az épület az olasz reneszánsz újjászületés stílusát követte, és fapadlóval és díszítéssel díszítették. A központi épületben a második emeleten műtők, a harmadik és negyedik emeleten a felügyelő és néhány orvos lakásai, valamint a betegek étkezői voltak. Az egyes kórtermek minden emeletén különálló betegszobák voltak 1915-ig, amikor is megkezdődött a felújítás. Abban az időben ez volt csupán a harmadik elmegyógyintézet, amelyet az Egyesült Államokban építettek, de nem ez volt az államban az elmebetegek kezelésének első bizonyítéka.

Az épületet 1981-ben felvették a Történelmi Helyszínek Nemzeti Jegyzékébe, majd az 1990-es években kiürítették.