The Argosy została założona w 1925 roku przez Louisa Cohena, który wybrał nazwę, w części, ponieważ zaczęła się na literę “A” i byłby wymieniony wcześnie w książkach telefonicznych. Pierwotnie mieściła się w starym Domu Biblijnym na słynnej “Book Row” Czwartej Alei, w latach 30. przeniosła się na 114 East 59th Street, a następnie przeniosła się obok na obecny adres w 1964 roku, kiedy poprzedni budynek został zastąpiony wieżowcem. Żona Cohena, Ruth Shevin, prowadziła galerię sztuki w sklepie do 90. roku życia i przez lata współpracowała z kilkoma innymi członkami rodziny. Teraz w trzecim pokoleniu własności rodziny, sklep jest obsługiwany przez trzy córki Cohena i wnuka.

Od momentu powstania, Argosy pracował z wieloma wybitnymi klientami, w tym prezydent Franklin D. Roosevelt, który zamówił książki z wczesnego katalogu, a później Pierwsza Dama Jacqueline Kennedy, która potrzebowała pomocy w zaopatrzeniu biblioteki Białego Domu w Americana. Prezydent Bill Clinton jest stałym klientem od czasu, gdy właściciele odrestaurowali jego zniszczoną przez powódź kolekcję książek w Chappaqua, w stanie Nowy Jork. Wśród innych klientów znaleźli się Michael Jackson, Stephen Sondheim, księżniczka Grace, Sally Field, Donatella Versace, Oriana Fallaci i Kevin Rudd. Patti Smith była krótko pracownik w 1967.

W październiku 2012 Argosy poniósł rozległe szkody podczas huraganu Sandy, kiedy cegły dislodged z 32nd piętrze sąsiedniego budynku i rozbił się przez dach sklepu. Powstała powódź dotknęła dwa najwyższe piętra i zniszczyła wiele historycznych artefaktów, w tym akty kongresu podpisane przez Thomasa Jeffersona. Sklep odzyskał pełną sprawność jesienią 2013 r.

.