一般这种情况，都是双方确认好的，由一方来付运费。 然后，要看下是什么原因收方拒收。如果是因为运输问题（比如货物破损、货物丢失、投递延误、服务恶劣等等），收方拒收，那么快递方不但不应该收取运费，更要承担赔付。
如果不是运输原因，收方拒收，或者是快递公司无法联系到收方，包裹只能退回给你，那么来回运费是由你承担的。但按照流程，如果包裹要退回给你，快递公司是应该先和你联系的，不能在没有弄清情况的前提下，自说自话把包裹给你退回来，然后要你支付双倍运费。
快递退回收费吗
不需要。
EMS快递的费用是按照寄送距离和重量计算的，无论快递成功送达，快递公司都已经承担了相应的运输和配送成本。所以退回是不需要支付运费的。
EMS是邮政特快专递服务，由万国邮联管理下的国际邮件快递服务，在中国境内是由中国邮政提供的一种快递服务。
快递退回收费，如果不是快递公司的责任，是收货人地址不对，或其它原因拒收，一般为原价的两倍收取，找发货方收取。
如果是快递公司原因：包装损坏，货物损坏，而导致收货方拒收等原因退回，则快递公司要承担责任。可以要求退回运费，并赔偿货物损失。
快递公司通过同城，同省或出省，邮件的重量，体积大小，加急还是普通件，是否保价等因素来对邮件计费。具体金额各个快递公司都有自己的资费标准。
快递公司通过省内还是省外，邮件的重量，体积大小，加急还是普通件，是否保价等因素来对邮件计费。具体金额各个快递公司都有自己的资费标准。以某快递为例：本省：6-8元，其它区10-12元之间，偏远区15-18之间。当需寄递物品实重大于体积时，运费计算方法为：首重运费＋(重量（公斤）×2－1)×续重运费（例如：7KG货品按首重20元、续重9元计算，则运费总额为：20＋(7×2-1)*9=137(元)）。当需寄递物品实际重量小而体积较大，运费需按体积标准收取，然后再按上列公式计算运费总额。求取体积公式如下：规则物品：长（cm）×宽(cm)×高(cm)÷6000=重量（KG），不规则物品：最长（cm）×最宽(cm)×最高(cm)÷6000=重量（KG）。3.国际快件有时还会加上燃油附加费：比如此时的燃油附加费为9%，还需要在公式(A)的结果加上：运费×9%。
参考资料：