A选项错误。《中华人民共和国行政处罚法》第七十一条规定，执法人员当场收缴的罚款，应当自收缴罚款之日起2日内，交至行政机关；在水上当场收缴的罚款，应当自抵岸之日起2日内交至行政机关；行政机关应当在2日内将罚款缴付指定的银行。
B选项错误。第六十九条规定，在边远、水上、交通不便地区，行政机关及其执法人员依照本法第五十一条、第五十七条的规定作出罚款决定后，当事人到指定的银行或者通过电子支付系统缴纳罚款确有困难，经当事人提出，行政机关及其执法人员可以当场收缴罚款。
C选项错误。第七十四条规定，除依法应当予以销毁的物品外，依法没收的非法财物必须按照国家规定公开拍卖或者按照国家有关规定处理。罚款、没收的违法所得或者没收非法财物拍卖的款项，必须全部上缴国库，任何行政机关或者个人不得以任何形式截留、私分或者变相私分。
D选项正确。第七十二条规定，当事人逾期不履行行政处罚决定的，作出行政处罚决定的行政机关可以依照《中华人民共和国行政强制法》的规定申请人民法院强制执行。