Eu acho que o Comentário de Matthew Henry responde melhor à sua pergunta:

Não é tanto um abuso do corpo, mas sim de algo mais, como de vinho pelo bêbado, comida pelo glutão, etc. Nem dá o poder do corpo a outra pessoa. Também não tende tanto à reprovação do corpo e o torna vil. Este pecado é de uma forma peculiar a impureza, a poluição, porque nenhum pecado tem tanta torpeza externa, especialmente num cristão. Ele peca contra seu próprio corpo; ele o profana, ele o degrada, fazendo-o um com o corpo daquela criatura vil com quem ele peca.

Também, o Comentário de Um Volume do Novo Intérprete sobre a Bíblia entra em mais detalhes sobre o contexto em Corinto para os escritos de Paulo:

Na base do ensino do AT (e.g. Gn 2:24, citado em vs. 16), reafirmado por Jesus (Marcos 10:2-12), ele acredita que o ato sexual não é um ato inconseqüente e isolado, mas um ato que une homem e mulher em um vínculo íntimo, completo e duradouro. Consequentemente, ele se revolta com o pensamento de que um membro do corpo de Cristo deve estar sempre unido ao corpo de uma prostituta. Em Corinto, a maioria das prostitutas eram mulheres escravas apegadas ao serviço de um templo pagão. Era comum pensar que qualquer homem que tivesse relações sexuais com essas prostitutas sagradas entrava em comunhão com o deus a quem elas serviam (cf 10:18-22)

Finalmente, eu sinto que Provérbios 6:32-33 resume isso muito sucintamente:

Aquele que comete adultério não tem sentido; aquele que o faz destrói a si mesmo. Ele receberá feridas e desonra, e sua desgraça não será enxugada.