一个内蒙古地区顾客在我这下单，有个偏远地区邮费，没发货的情况下他说不要了，我把钱退给他，但是邮费没有退给他，应该怎么解决？