W 1821 r. zatwierdzono budowę South Carolina Lunatic Asylum i szkoły dla głuchoniemych, dzięki czemu Karolina Południowa stała się drugim stanem, który przeznaczył pieniądze na leczenie osób z chorobami psychicznymi. Robert Mills został wybrany do zaprojektowania nowego azylu i w 1822 roku rozpoczęto budowę Mills Building. W 1828 roku przytułek dla obłąkanych w Karolinie Południowej przyjął pierwszego pacjenta, ale budynek Babcock został zbudowany dopiero prawie trzydzieści lat później ze względu na rosnącą liczbę ludności.

Początkowy projekt kampanii budowlanej był autorstwa George’a E. Walkera, ale obejmował tylko część południowego skrzydła. Gustavus T. Berg był architektem północnego skrzydła, a Samuel Sloan był architektem budynku centralnego, który łączył oba skrzydła. Proces budowy był wielokrotnie opóźniany, co doprowadziło do tego, że budowa składała się z czterech faz i trwała prawie trzydzieści lat. W 1885 roku budynek przyjął swoich pierwszych pacjentów.
Budynek Babcock zawierał czteropiętrową strukturę centralną, kompletną z kopułą, oraz flankujące północne skrzydło dla mężczyzn i południowe dla kobiet. Budynek był utrzymany w stylu włoskiego renesansu i był ozdobiony drewnianymi podłogami i wykończeniami. Centralna struktura zawierała sale operacyjne na drugim piętrze, mieszkania dla nadzorcy i niektórych lekarzy na trzecim i czwartym piętrze oraz jadalnie dla pacjentów. Każde piętro każdego oddziału zawierało indywidualne pokoje dla pacjentów aż do 1915 roku, kiedy to rozpoczęto renowację. W tym czasie był to dopiero trzeci przytułek zbudowany w Stanach Zjednoczonych, ale nie był to pierwszy dowód leczenia chorych psychicznie w tym stanie.

Budynek został umieszczony na liście National Register of Historic Places w 1981 roku i opróżniony w latach 90-tych.