只差一步就到大许家，手下军长拒绝撤退，黄百韬只好死守碾庄
淮海战役开始之前，国军也在准备徐蚌会战计划。
徐蚌会战的计划是杜聿明在1948年初就已经提出的，就是放弃陇海路，将沿线的机动兵力全部集中到徐州附近，依托徐州到蚌埠的铁路进行补给，再加上徐州的永备国防工事，让解放军来攻，等到解放军攻击顿挫，再展开反击。
济南战役结束后，津浦路被切断，山东全境解放，华野全面威胁陇海路沿线的国军各集团。按照粟裕的计划，首选的打击目标，就是在豫东战役中增援积极的黄百韬兵团，因为这时候黄百韬兵团驻地在新安镇，处在陇海路沿线国军的头部位置。
这也就是一般所说的，粟裕提出的小淮海战役的计划。这个计划以消灭黄百韬兵团为目标，收复淮阴、淮安地区，但还不是进行战略决战的计划。但在和中央电报往返，商量下一步作战计划的时候，国军这边也开始调动了，全线向徐州方向撤退。
国军之前是一字长蛇阵，让中央和粟裕很犯难，到底是先打头部的黄百韬呢，还是先打尾巴上的孙元良呢？结果国军自己先动起来了，开始进行战略收缩，于是粟裕和中央迅速决定，直接打黄百韬兵团。淮海战役就这么戏剧化的开始了。
黄百韬兵团在东边，如果按照南京统帅部确定的作战计划，直接撤退，其实是没有问题的，但这时候临时给他派了个任务，等一下在海州的44军，带着44军一起撤退。原计划44军是要走海路南撤的，这时候突然变了，跟着黄百韬兵团撤退，并且计划到徐州之后交给邱清泉兵团。
这一来，黄百韬兵团除了他自己的25军，100军，加上战前编入的63军和64军，就一下子达到了五个军，看起来人数不少，算得上兵强马壮，人多势众。但实际上完全不是这么回事。因为各军驻地分散，所以无法统一行动。
黄百韬先等着44军，然后让25军掩护44军撤退，最后变成了25军断后，另外的63军接到命令之后，还没来得及行动，就被华野以迅雷不及掩耳之势包围了，黄百韬此时想让他身后的李弥兵团暂缓撤退，等一等他的兵团，但李弥表示拒绝，上面有命令，我不能违反啊！
黄百韬倒是不含糊，这时候也顾不上63军了，只能带着其他四个军撤退。25军掩护，64军先渡过运河占领阵地，44军在64军之后渡河，100军周知道表示来不及了，他要单独行动，于是另外找地方渡河，也被华野追上一顿揍，损失严重。
这样算下来，渡过运河之后，黄百韬兵团的五个军，一个军被全歼，25军和100军被打残，44军拖后腿，战斗力弱，剩下能靠得住的部队，就只有刘镇湘的64军了。黄百韬要求继续向徐州方向撤退，但刘镇湘坚决不肯，要求就在这里决战，不必走来走去。
说起刘镇湘这个名字，可能很多人不熟悉，但说到“小煤山大捷”，估计知道的人就比较多了，其中挑头打架的就是刘镇湘。刘镇湘穿起将官礼服，表示就在碾庄和解放军决一死战，杀身成仁。刘镇湘话说得慷慨激昂，黄百韬也没办法，只好命令部队，就地建立防御阵地。
实际上，刘镇湘并不是真打算杀身成仁，报效党国。作为广东人，他对南京政权的忠诚度没那么高，没有这个必要去送死。他拒绝继续撤退，只是因为他听说，撤退到大许家之后，给他分配的防御阵地有个土山，相传是当年关二爷被迫降曹的地方，他觉得不吉利。
而且，这时候黄百韬兵团其他部队都已经残破不全，战斗力不完整，只有64军完整地撤下来了，如果要撤退，那么最有可能被留在后面断后的，也有可能是他。而且，国军运动中被包围，更容易全军崩溃，不如就地坚守待援，活下来的希望还大一点。
华野这边一听黄百韬兵团度过运河之后并没有继续撤退，而是在碾庄地区就地组织防御，大喜过望，粟裕马上调整部署，只留下叶飞的一纵继续歼灭63军，其他部队都赶过去包围黄百韬兵团去了，黄百韬兵团残部大约七万人，就这样死死的被包围在了碾庄。
直到最后被全歼，也没等来国军的援兵。刘镇湘也并没有杀身成仁，反而是黄百韬一个杂牌出身的将领，真的报效党国了。只是这次他连写遗书都没来得及写，只有他身边的副官帮他留下了著名的三个后悔。