V roce 1821 byla schválena stavba South Carolina Lunatic Asylum a školy pro hluchoněmé, čímž se Jižní Karolína stala druhým státem, který vyčlenil peníze na léčbu duševně nemocných. Jako projektant nového ústavu byl vybrán Robert Mills a v roce 1822 byla zahájena stavba Millsovy budovy. V roce 1828 přijal jihokarolínský blázinec prvního pacienta, ale budova Babcock Building byla kvůli rostoucímu počtu obyvatel postavena až téměř o třicet let později.

Původní návrh stavební kampaně vypracoval George E. Walker, ale zahrnoval pouze část jižního křídla. Architektem severního křídla byl Gustavus T. Berg a architektem střední budovy, která obě křídla spojovala, Samuel Sloan. Výstavba byla mnohokrát odložena, což vedlo ke čtyřfázové výstavbě, která trvala téměř třicet let. V roce 1885 přijala budova první pacienty.
Babcockova budova obsahovala čtyřpatrovou centrální budovu s kopulí a vedlejší severní křídlo pro muže a jižní křídlo pro ženy. Budova navazovala na styl italské renesance a byla zdobena dřevěnými podlahami a obložením. V centrální stavbě se nacházely operační sály ve druhém patře, byty pro dozorce a některé lékaře ve třetím a čtvrtém patře a jídelny pro pacienty. V každém patře každého oddělení byly až do roku 1915, kdy začala renovace, jednotlivé pokoje pro pacienty. V té době to byl teprve třetí ústav postavený ve Spojených státech, ale nebyl prvním dokladem léčby duševně nemocných ve státě.

Budova byla v roce 1981 zapsána do Národního registru historických památek a v 90. letech 20. století byla opuštěna.