A Argosy foi fundada em 1925 por Louis Cohen, que escolheu o nome, em parte, porque começou com a letra “A” e seria listada cedo nas listas telefônicas. Originalmente localizada na antiga Casa Bíblica na famosa “Book Row” da Fourth Avenue, mudou-se para a 114 East 59th Street na década de 1930 e depois mudou-se para o endereço atual em 1964, quando o prédio anterior foi substituído por um arranha-céus. A esposa de Cohen, Ruth Shevin, gerenciou a galeria de arte da loja até os anos 90 e trabalhou com vários outros membros da família ao longo dos anos. Agora em sua terceira geração de propriedade familiar, a loja é operada pelas três filhas de Cohen e um neto.

Desde a sua fundação, a Argosy tem trabalhado com muitos clientes proeminentes, incluindo o presidente Franklin D. Roosevelt, que encomendou livros de um catálogo inicial, e mais tarde a Primeira Dama Jacqueline Kennedy, que precisava de ajuda para estocar a biblioteca da Casa Branca com Americana. O Presidente Bill Clinton tem sido um cliente regular desde que os proprietários restauraram sua coleção de livros em Chappaqua, Nova York, que foi danificada pelas inundações. Outros clientes de destaque foram Michael Jackson, Stephen Sondheim, Princess Grace, Sally Field, Donatella Versace, Oriana Fallaci e Kevin Rudd. Patti Smith foi brevemente uma funcionária em 1967.

Em outubro de 2012, a Argosy sofreu grandes danos durante o Furacão Sandy, quando tijolos se deslocaram do 32º andar do prédio adjacente e caíram pelo telhado da loja. A inundação resultante afetou os dois andares superiores e destruiu muitos artefatos históricos, incluindo atos de congresso assinados por Thomas Jefferson. A loja recuperou completamente no outono de 2013.