Em 1821, foi aprovada a construção do Asilo Lunático da Carolina do Sul e a escola para surdos-mudos, fazendo da Carolina do Sul o segundo estado a alocar dinheiro para tratar aqueles com doença mental. Robert Mills foi escolhido para projetar o novo asilo e, em 1822, teve início a construção do Edifício Mills. Em 1828, o Asilo Lunático da Carolina do Sul admitiu seu primeiro paciente, mas o Babcock Building só foi construído quase trinta anos depois, devido a uma população crescente.

O projeto inicial da campanha de construção foi de George E. Walker, mas só incluiu parte da ala sul. Gustavus T. Berg foi o arquitecto da ala norte e Samuel Sloan foi o arquitecto do edifício do centro, que ligava ambas as asas. O processo de construção foi adiado muitas vezes, o que levou a um processo de construção em quatro fases que levou quase trinta anos para ser concluído. Em 1885, o edifício aceitou seus primeiros pacientes.
O edifício Babcock continha uma estrutura central de quatro andares, completa com cúpula, e uma ala norte flanqueadora para os machos e a ala sul para as fêmeas. O edifício seguiu o estilo Renascentista Italiano e foi adornado com pisos e acabamentos em madeira. A estrutura central continha salas de cirurgia no segundo andar, alojamento para o Supervisor e alguns médicos no terceiro e quarto andares e refeitórios para os pacientes. Cada andar de cada enfermaria continha quartos individuais para os pacientes até 1915, quando a renovação começou. Na época, era apenas o terceiro asilo construído nos Estados Unidos, mas não foi a primeira evidência de tratamento para os doentes mentais no estado.

O edifício foi colocado no Registo Nacional de Lugares Históricos em 1981 e desocupado nos anos 90.