这个说法是对的，对方既然免税，那么开增值税专用发票给你抵扣就是不合逻辑的。对方本就没交税，你抵扣的税额从哪来。
法律依据：
国税函[2005]780号《国家税务总局关于加强免征增值税货物专用发票管理的通知》
一、增值税一般纳税人（以下简称“一般纳税人”）销售免税货物，一律不得开具专用发票（国有粮食购销企业销售免税粮食除外）。如违反规定开具专用发票的，则对其开具的销售额依照增值税适用税率全额征收增值税，不得抵扣进项税额，并按照《中华人民共和国发票管理办法》及其实施细则的有关规定予以处罚。
二、一般纳税人销售的货物，由先征后返或即征即退改为免征增值税后，如果其销售的货物全部为免征增值税的，税务机关应收缴其结存的专用发票，并不得再对其发售专用发票。税务机关工作人员违反规定为其发售专用发票的，应按照有关规定予以严肃处理。
《增值税暂行条例》第二十一条规定，纳税人销售免税货物，需要开具发票的，应当开具普通发票，不得开具增值税专用发票。
满意请采纳！