I refuse to go to the party.

"to decline" ←「優しく断る」こと。

一番安全な言い方です。

"to refuse"・"to reject" ←「固く断る」こと。"I refuse ~."は挑発的で相手を傷つける言い方なので、気を付けて使ってください。