第五十四军于1937年10月17日在上海嘉定组建,以陈诚嫡系第14师为基干,首任军长霍揆彰,隶属第十五集团军,随即投入淞沪会战,在罗店一带与日军血战。1938年2月该军在武昌整补,第55师一度拨入后调出,湘军第二十二军撤销后,其第18师、第50师改隶该军。同年参加武汉会战,在瑞昌至阳新一线阻击日军第9师团,第18师师长李芳郴擅自后撤,致围歼计划落空,富池口、半壁山、田家镇等要塞相继失守。战后第18师调归第十八军,第198师编入该军,军长黄维将三个师的建制团互调,使各师战力趋于均衡。
1939年7月陈烈接任军长,改隶第二十集团军,先后参加南昌会战、随枣会战、第一次长沙会战,年底转隶第四战区参加冬季攻势,收复英德、翁源,1940年开赴广西收复宾阳。陈烈在富宁因拔牙感染病故,1941年1月该军移防滇东南文山地区,接替滇军第60军第184师防务,在麻栗坡、马关、河口一线与驻法属印度支那日军对峙。1943年黄维调离,张耀明、方天先后继任军长,9月开赴祥云整训,12月编入中国远征军。1944年第14师、第50师由云南驿机场空运印度,编入新一军、新六军;留在滇西的部队于8月参加腾冲收复战,全军营以上伤亡惨重,阵亡五千余人。1945年换装美械后参与反攻广西,8月收复南宁,日本投降后进驻广州受降。