1951年5月实施的《中华人民共和国暂行海关法》规定，进出口货物收发货人及其代理人为关税纳税义务人。1953年以后，私商迅速衰落，公有制企业成为主要的纳税主体。以洋商为例，1950年洋商户数为302户，1953年降为126户。1956年对农业、手工业和资本主义工商业社会主义三大改造完成以后，公有制企业成为进口关税的唯一纳税主体，由此在征税领域引起了对国营公司进出口货物征收关税有无保护作用的疑问。一种流行的看法是，既然进出口货物按国家计划进行，进口货物的国外价格和国内市场价格是割断的，那么无论是否征收关税，征收多少，都不会影响货物的进口与否和进口数量，关税仅仅作为一种财政收入。由于财政部每年要给外贸部拨一笔计划亏损资金，因而干脆将关税作为外贸贴补，也就不足为奇了。于是，关税作为保护和促进民族工业、调节进出口贸易活动的经济杠杆作用开始减弱。

1952—1954年实行对苏联和东欧国家贸易的集中划拨结算、集中纳税方法，1958年又将集中纳税范围进一步扩大到由资本主义国家进口的国家合同货物，口岸海关实征税款大幅度减少。以九龙海关为例，1953年，共征收关税300多万元，1958年降至200多万元，1961年降至50多万元，1963年后降至每年10多万元。1963年12月国务院颁行的《关于进口商品实行统一作价办法的暂行规定》规定从次年1月起，为贯彻执行自力更生的建设方针，促进外贸部门和用货部门加强经济核算，海关征税实行统一按国内产品价格作价，进口关税由外贸公司向海关交纳，此时的关税征收仅存财政意义。(www.daowen.com)

“文革”时期，在极左思潮的影响下，一些人片面强调计划管理，否定价值规律，完全忽视关税的作用。1967年6月根据外贸部转发国务院“关于外贸进出口公司进出口商品的关税停征并入外贸利润交库的决定”，海关对国营外贸企业进口货物计征关税的任务被取消，实行税利合并制度，即海关的关税收入作为外贸亏损的补贴，并入外贸利润统一交库，海关仅对不按统一作价办法作价的进口货物继续征收进口税。这就是历史上的“以利代税”。由此，海关关税征管工作基本上处于停顿状态，关税征管队伍被解散，关税制度名存实亡，严重抑制了关税在国民经济管理中的重要调节职能。