黄百韬军团被歼灭前，曾在绝望之中对杨廷宴说：我有三个不解！
1948年11月17日，谭震林、王建安指挥的攻坚部队对黄百韬发动了总攻。40分钟的炮火准备之后，在华东特纵的坦克部队的引导下，陶勇率华野4纵从北面、王必成率6纵从西面、张仁初率8纵从东南面、聂风智率9纵从正南面对碾庄圩之敌发动了猛烈的攻击。
聂风智率9纵一部担任正面进攻，他们首先跃出工事，不顾天寒地冻，踹过齐胸深的水壕，扑向敌军阵地，和敌人扭打在一起，很快就在敌军阵地上撕开了一个突破口。
随即我后续部队像潮水一般从突破口涌进了敌军阵地，向敌军的纵深攻击，到了夜里10点多钟，聂风智的9纵的余部和张仁初的8纵也分别从南面和东面突破了敌军的第一道防线。
敌军的第一道防线突破后，我军战士又向敌纵深的第二道防线发起冲击。敌军的第二道防线，是一道钢铁防线，由一排汽车构成。在一排汽车之后，是一道土墙。敌军依托着这一特殊的工事，进行负隅顽抗。我军战士乘着冲破敌第一道防线的锐气，冒着敌军密集的火力，一举冲到敌军的第二道防线上。越过敌军的汽车防线，翻过土墙，冲入敌军阵地与守敌展开了白刃战。
得知我军对碾庄圩发动了总攻，黄百韬十分惊慌。为了保命，他立即率兵团部逃到第64军的军部所在地——碾庄圩北面的大院。
逃到大院后，黄百韬气急败坏，他将手中的手枪狠狠地摔在桌上，大声吼道：“老子就不信，老子今天就冲不出去。”
就在这时，第64军军长刘镇湘跑了进来，对黄百韬说：“司令官，第25军完蛋了，碾庄也失守了。”
黄百韬一听，忙问：“陈士章哪里去了？”
“他不知去向，听军部的一个文书说，他换上了老百姓的衣服，估计已经突围了。”
“你们这帮蠢蛋！”黄百韬气得把刘镇湘也一道骂了一通。
“敌军即将向我部发动攻击了。司令官，我们不能等死，我们应当立即突围啊！”刘镇湘带有哭腔地求道。
“嗯？你也想逃命？你再逃，老子毙了你！”黄百韬气急败坏地说。
经黄百韬这一骂，刘镇湘吓得默默无声地退了出去。回到自己的住处，刘镇湘左思右想，既然黄百韬不让他突围，他只有死路一条了。于是，他打开皮箱，把将官大礼服穿了起来。挂上勋章，穿上皮靴。然后拿起手枪。准备“杀身成仁”，“效忠党国”。
刘镇湘的这一举动，正好被赶进来的兵团参谋长魏翱看见，他跨步上去，一把夺过刘镇湘的手枪，说：“老弟，这是何苦呢？”
为了顶住我军的进攻势头，黄百韬打出了他最后的一张“王牌”，让国民党部队中最凶狠的特务武装——“青年突击队”组成敢死队向我军反扑。
敌人敢死队不怕死，而我军战士更英勇，敌人凶狠，我军战士更勇猛。一阵激烈的白刃战，黄百韬的“青年突击队”全部报销。
消灭了敌军的反扑力量后，我军又进行了猛冲猛打，向敌军阵地深处穿插，将守敌完全分割开。至20日拂晓，我军歼灭了敌军第44、100军的全部和第25、64军的大部分。
攻占了敌军兵团部所在地碾庄圩，黄百韬率残部第25、64军各一个师，龟缩在三里庄、沙墩等几个小村庄，一面继续垂死挣扎，一面急电老蒋、杜聿明请求支援。
老蒋接到黄百韬的急电后，立即命令杜聿明不顾一切增援黄百韬，为黄百韬兵团解围。
杜聿明为了挽救黄百韬，连忙将余锦源指挥的72军和赵志华指挥的战车团调至大许家，企图通过最后一搏，打通前去碾庄圩的通道，解救黄百韬兵团。
20日，邱清泉、李弥兵团在余锦源指挥的72军和赵志华指挥的战车团的增援下，向我大许家阵地发动了数十次的进攻。然而，其每次攻击都被我英勇的战士击退，激战了一整天，邱、李兵团还是无法突破我军阵地。
21日，黄百韬兵团处在最后的危急关头，杜聿明对所有的增援部队下了一道死命令，所有的增援部队必须不惜一切代价，进行全线出击，占领大许家，救出黄百韬。
然而，经过一个星期的恶战，遭到沉重打击的邱、李兵团已经丧失了锐气。邱、李这两个行伍出身的将领，凭着多年与我军作战的经验教训，他们感到突破我军的阻击阵地也是不可能的了，东援已经无望了。在这种情况下，如果继续亡命东进，很有可能像黄百韬一样落入我军的手中，遭到覆灭的命运。因此，邱、李虽然也指挥部队向前乱冲，但是，他们的后腿和尾巴始终不离徐州，主力也不敢离徐州太远，以防后路被断，陷入重围。因此，他们的进攻也是有限的，决不敢像杜聿明所要求的那样，全力以赴。
在增援彻底无望的情况下，黄百韬立即命令刘镇湘，率残部向碾庄圩西北方向突围。
然而，这时刘镇湘已经完全失去了突围的信心了，他回答说：“突围出去，重武器都丢光了，出去又有什么用？”
就在这时，我军对刘镇湘的第64军军部发起了冲锋。黄百韬又率刘镇湘、谭岳、韦德、黄觉、杨廷宴等人往北逃到该军第156师阵地。
该师师长张越秀立即向黄百韬报告说：“昨晚对方曾派人来劝降。”
魏翱听说，连忙对黄百韬说：“司令官，我们可以借这个机会，与他们联系，拖延一段时间，等待援军到来。”
黄百韬听了，沉思片刻后，说：“决定今晚同他接头。”
就在黄百韬准备拖延时间时，我军围歼黄百韬的部队发起了最后的攻击。敌人的据点很快被攻克。敌第64军大部被歼，敌军长刘镇湘被俘。
第64军第159师师长钟世谦、副师长李振中等看到顽抗下去，只有被消灭，于是在22日上午7时率残部2000余人投降。
22日下午4时许，我军发现敌第156师张越秀投降无诚意，随即发动攻击，战斗至7时许，将该团全歼。魏翱、韦德、战地视察官黄炎、第156师师长张越秀等均被俘。
在混战中，黄百韬亲自指挥第156师残部从吴庄向西北突围，企图逃到碾庄圩西北的三塔与李弥兵团会合，但遭遇我军炮火的轰击和步兵的阻击。
敌军的突围被粉碎了，黄百韬和第25军副军长杨廷宴逃到一个茅棚里躲了起来。这时，黄百韬想到他10多万大军就这样被消灭，感到十分绝望。绝望之中，他怀着十分悲伤的心情对杨廷宴说道：“我有三个不解：一、我为什么那么傻，要在新安镇等待第44军两天；二、我在新安镇等了两天之久，为什么不知道在运河上架设军桥；三、李弥兵团既然以后要向东进攻来援救我，为什么当初不在曹八集附近掩护我西撤？”这既是黄百韬本人对自己作战指挥失误的检讨，也是对老蒋、刘峙的错误指挥的谴责，更是国民党军队内部尔虞我诈、互不配合的自供状。
就在这时，我军的喊杀声由远而近，“活捉黄百韬”的呼声震天动地。黄百韬在绝望之中，举枪自杀身亡。
至此，黄百韬的第7兵团5个军约12万人被我军全部歼灭。