En 1821, la construction du South Carolina Lunatic Asylum et de l’école pour les sourds et muets a été approuvée, faisant de la Caroline du Sud le deuxième État à allouer des fonds pour traiter les personnes atteintes de maladies mentales. Robert Mills a été choisi pour concevoir le nouvel asile et en 1822, la construction du Mills Building a commencé. En 1828, l’asile lunatique de Caroline du Sud a admis son premier patient, mais le Babcock Building n’a été construit que près de trente ans plus tard en raison d’une population croissante.

La conception initiale de la campagne de construction était de George E. Walker, mais ne comprenait qu’une partie de l’aile sud. Gustavus T. Berg était l’architecte de l’aile nord et Samuel Sloan était l’architecte du bâtiment central, qui reliait les deux ailes. Le processus de construction a été retardé à de nombreuses reprises, ce qui a conduit à une construction en quatre phases qui a duré près de trente ans. En 1885, le bâtiment a accepté ses premiers patients.
Le bâtiment Babcock contenait une structure centrale de quatre étages, complète avec une coupole, et une aile nord flanquée pour les hommes et une aile sud pour les femmes. Le bâtiment suivait le style néo-renaissance italienne et était orné de planchers et de garnitures en bois. La structure centrale contenait des salles d’opération au deuxième étage, des logements pour le surveillant et certains médecins aux troisième et quatrième étages et des salles à manger pour les patients. Chaque étage de chaque service contenait des chambres individuelles pour les patients jusqu’en 1915, date à laquelle la rénovation a commencé. À l’époque, ce n’était que le troisième asile construit aux États-Unis, mais ce n’était pas la première preuve de traitement des malades mentaux dans l’État.

Le bâtiment a été placé sur le registre national des lieux historiques en 1981 et a été libéré dans les années 1990.