1947年，针对我刘邓大军千里跃进大别山的战略意图，蒋介石调王敬久率国民党第二兵团的整编三十二师、整编六十六师、整编七十师等重兵集结鲁西南，企图消灭刘邓大军或迫使他们退回黄河以北。自7月2日起，刘邓大军先后进行了郓城之战、菏泽之战、定陶之战和巨野独山集、六营集之战等战斗，至7月中旬，将王敬久的整编三十二师和整编七十师全歼，并将敌人最精锐的整编六十六师合围。
在鲁西南战场，国民党整编六十六师师长宋瑞珂屡屡同刘邓大军“过招”，虽没有占到多少便宜，但也没有受到多大的损失。被刘邓大军合围后，国民党第二兵团司令长官王敬久命令他突围，但宋瑞珂很自信，认为“有我们‘钉’在这里，刘伯承就不敢南窜”。于是他利用山东金乡城西北30里处的羊山作为制高点，与山下集镇的民房构成核心阵地，准备凭借有利地形，负隅顽抗到底。
1947年7月13日，刘邓大军扫除了羊山外围阵地后，当天就组织重兵攻打羊山。刘伯承和邓小平决定拿出陈再道的二纵和陈锡联的三纵两支精锐主力作为主攻部队，东西两路同时向羊山发起攻击。但战斗打响后，敌六十六师守军配合得相当好，导致我攻山部队前进受阻，在付出重大伤亡后，于7月14日拂晓被迫撤出战斗。
此后，我二纵和三纵对兵力火力重新做了调整和部署，于17日晚再次发起攻击。羊山有三个突出山峰，居民称东峰为“羊头”，中峰为“羊身”，西峰为“羊尾”。我三纵八旅二十二团虽然攻�