In 1821 godkändes byggandet av South Carolina Lunatic Asylum och skola för döva och stumma, vilket gjorde South Carolina till den andra delstaten som avsatte pengar för att behandla psykiskt sjuka. Robert Mills valdes ut för att utforma den nya anstalten och 1822 påbörjades byggandet av Mills Building. År 1828 tog South Carolina Lunatic Asylum in sin första patient, men Babcock Building byggdes inte förrän nästan trettio år senare på grund av en växande befolkning.

Den ursprungliga byggnadskampanjens utformning var av George E. Walker, men omfattade endast en del av den södra flygeln. Gustavus T. Berg var arkitekt för den norra flygeln och Samuel Sloan var arkitekt för centrumbyggnaden, som förband de båda flyglarna. Byggprocessen försenades många gånger, vilket ledde till en byggprocess i fyra faser som tog nästan trettio år att slutföra. År 1885 tog byggnaden emot sina första patienter.
Babcock-byggnaden innehöll en central struktur i fyra våningar, komplett med kupol, och en flankerande nordflygel för män och en sydflygel för kvinnor. Byggnaden följde den italienska renässansstilen och var utsmyckad med trägolv och trädetaljer. Centralstrukturen innehöll operationssalar på andra våningen, bostäder för överläkaren och vissa läkare på tredje och fjärde våningen samt matsalar för patienterna. Varje våning på varje avdelning innehöll individuella patientrum fram till 1915 då renoveringen påbörjades. Vid den tiden var det bara den tredje asyl som byggdes i USA, men det var inte det första beviset på behandling av psykiskt sjuka i delstaten.

Byggnaden upptogs i National Register of Historic Places 1981 och utrymdes på 1990-talet.