需不需要收费，需要根据退回的原因来决定：
1、如果不是快递公司的责任，是收货人地址不对，或其它原因拒收，一般为原价的两倍收取，找发货方收取。
2、如果是快递公司原因：包装损坏，货物损坏，而导致收货方拒收等原因退回，则快递公司要承担责任。可以要求退回运费，并赔偿货物损失。
快件无法投递又无法退回的，依照下列规定处理：
（一）属于信件，自确认无法退回之日起超过6个月无人认领的，由经营快递业务的企业在所在地邮政管理部门的监督下销毁；
（二）属于信件以外其他快件的，经营快递业务的企业应当登记，并按照国务院邮政管理部门的规定处理；
（三）属于进境快件的，交由海关依法处理；其中有依法应当实施检疫的物品的，由出入境检验检疫部门依法处理。
以上内容参考：-快递暂行条例
法律主观：
快递拒收退回运费问题需要分三种情况进行讨论。 1、包邮商品 包邮商品拒签邮费只需要计算退回运费谁出，邮费的计算要从消费者拒签的原因推拒。若消费者在商家发货之前已经在淘宝后台申请退款，或已经旺旺联系商家无需发货，商家在给予肯定回复的情况下依然发货，此时拒签的运费由商家承担。 若消费者未提前给与商家任何说明，在商家发货后联系商家说要退款，此时如果和商家协商一致拒签快递，快递费由双方具体协商，按理需要消费者出退回运费。 2、不包邮商品 在消费者申请退款后发货的，拒签运费不管是否包邮都由商家支付。 消费者无故拒签，按理来回运费都需要由消费者支付。消费者申请退款时一般商家会要求扣除寄出的运费。 3、因快递问题而拒收 消费者在签收快递时发现快递外包装出现严重破损或明显被人拆封的迹象，拒签快递时注意拍照留作证据。拒签后联系商家，发送照片，说明情况。再协商，重新发货或者退款。寄件人有理由要求快递公司进行赔偿。
法律客观：《 快递市场管理办法 》第二十四条02 经营快递业务的企业对无法投递的快件（邮件），应当退回寄件人。无法投递又无法退回的进境国际快件（邮件），应当依照相关规定交由有关部门处理。