要看下是什么原因收方拒收。如果是因为运输问题（比如货物破损、货物丢失、投递延误、服务恶劣等等），收方拒收，那么快递方不但不应该收取运费，更要承担赔付。如果不是运输原因，收方拒收，或者是快递公司无法联系到收方，包裹只能退回给你，那么来回运费是由你承担的。
但按照流程，如果包裹要退回给你，快递公司是应该先和你联系的，不能在没有弄清情况的前提下，自说自话把包裹给你退回来，然后要你支付双倍运费。
你可以仔细看下快递公司给你的快递单后面的文本，虽然上面的条款都是快递公司一方拟定的格式合同、霸王条款，但作为顾客也要做到心中有数。上面就有顾客需承担来回运费的一些内容。如果与快递公司发生纠纷，可以打当地的12315工商和向当地的邮政部门投诉。
快递被退回不需要承担快递费。
1、如果收件人要这个物品而快递也还没有退回寄件人手中，签收人需要马上告诉寄件人，说明情况自己是为什么没有签收，让寄件人打电话给快递公司，可以重新发到收件人那边重新签收即可。
2、如果收件人不想要了，及时和寄件人反馈说明情况，作好退款处理。快递服务组织应在投递前联系收件人，当出现快件无法投递情况时，采取以下措施：
a.出现首次无法投递时，快递服务组织应主动联系收件人，通知再次投递的时间及联系方法；
b.再次仍无法投递，可通知收件人采用自取的方式，并告知收件人自取的地点和工作时间；收件人仍需要快递服务组织投递的，应告知额外费用；
c.若联系不到收件人，快递服务组织应在彻底延误时限到达之前联系寄件人，协商处理办法和费用，主要包括：寄件人放弃快件的，应在快递服务组织的放弃快件声明上签字，快递服务组织凭函处理快件；寄件人需要将快件退回的，应支付退回的费用；
d.若联系不到收件人和寄件人，除不易保存的物品外，在对快件保存至少3个月后，快递服务组织可以按照相关规定处置快件。
《快递市场管理办法》
第二十条
在快递服务过程中，快件邮件发生延误、丢失、损毁和内件不符的，经营快递业务的企业应当按照与用户的约定，依法予以赔偿。 企业与用户之间未对赔偿事项进行约定的，对于购买保价的快件邮件，应当按照保价金额赔偿。对于未购买保价的快件邮件，按照相关法律规定赔偿。