En 1821 se aprobó la construcción del South Carolina Lunatic Asylum y la escuela para sordomudos, convirtiendo a Carolina del Sur en el segundo estado en asignar dinero para tratar a los enfermos mentales. Robert Mills fue elegido para diseñar el nuevo asilo y en 1822 se inició la construcción del edificio Mills. En 1828, el manicomio de Carolina del Sur admitió a su primer paciente, pero el edificio Babcock no se construyó hasta casi treinta años después debido al aumento de la población.

El diseño de la campaña inicial del edificio era de George E. Walker, pero sólo incluía parte del ala sur. Gustavus T. Berg fue el arquitecto del ala norte y Samuel Sloan fue el arquitecto del edificio central, que conectaba ambas alas. El proceso de construcción se retrasó muchas veces, lo que llevó a un proceso de construcción en cuatro fases que tardó casi treinta años en completarse. En 1885, el edificio aceptó a sus primeros pacientes.
El edificio Babcock contenía una estructura central de cuatro pisos, con cúpula, y un ala norte flanqueada para los hombres y un ala sur para las mujeres. El edificio seguía el estilo renacentista italiano y estaba adornado con suelos y adornos de madera. La estructura central contenía quirófanos en el segundo piso, viviendas para el supervisor y algunos médicos en el tercer y cuarto piso y comedores para los pacientes. Cada planta de cada pabellón contenía habitaciones individuales para los pacientes hasta 1915, cuando comenzó la renovación. En ese momento, era sólo el tercer manicomio construido en los Estados Unidos, pero no fue la primera evidencia de tratamiento para los enfermos mentales en el estado.

El edificio fue incluido en el Registro Nacional de Lugares Históricos en 1981 y desalojado en la década de 1990.