Im Jahr 1821 wurde der Bau des South Carolina Lunatic Asylum und der Schule für Taubstumme genehmigt. Damit war South Carolina der zweite Staat, der Geld für die Behandlung von Geisteskranken bereitstellte. Robert Mills wurde mit der Planung der neuen Anstalt beauftragt, und 1822 wurde mit dem Bau des Mills Building begonnen. 1828 nahm das South Carolina Lunatic Asylum seinen ersten Patienten auf, aber das Babcock Building wurde aufgrund der wachsenden Bevölkerung erst fast dreißig Jahre später errichtet.

Der erste Entwurf für das Gebäude stammte von George E. Walker, umfasste aber nur einen Teil des Südflügels. Gustavus T. Berg war der Architekt des Nordflügels und Samuel Sloan war der Architekt des mittleren Gebäudes, das beide Flügel miteinander verband. Der Bau verzögerte sich immer wieder, so dass die Fertigstellung des Gebäudes in vier Phasen fast dreißig Jahre dauerte. Im Jahr 1885 nahm das Gebäude die ersten Patienten auf.
Das Babcock-Gebäude bestand aus einem vierstöckigen Mittelbau mit Kuppel und einem flankierenden Nordflügel für Männer und einem Südflügel für Frauen. Das Gebäude war im Stil des italienischen Renaissance-Revivals gehalten und mit Holzböden und -verkleidungen verziert. Das Hauptgebäude beherbergte im zweiten Stock die Operationssäle, im dritten und vierten Stock Wohnungen für den Oberarzt und einige Ärzte sowie Speisesäle für die Patienten. Bis 1915, als die Renovierung begann, enthielt jedes Stockwerk der einzelnen Stationen individuelle Patientenzimmer. Zu dieser Zeit war es erst das dritte in den Vereinigten Staaten errichtete Irrenhaus, aber es war nicht der erste Nachweis für die Behandlung psychisch Kranker in diesem Staat.

Das Gebäude wurde 1981 in das National Register of Historic Places aufgenommen und in den 1990er Jahren geräumt.