杨愔想要除掉高演和高湛，绝不是一纸诏书可以做到的，需要禁卫的大力支持，但他偏偏在这个时候得罪了总管禁卫的平秦王高归彦。前往邺城时，杨愔下令随驾的五千精兵留守晋阳，却没有事先告知高归彦。直到抵达邺城后，高归彦才知道这个安排，由此对杨愔怀恨在心。领军大将军可朱浑天和是可朱浑道元的儿子，娶了高殷的姑母东平公主为妻，他总是说：“如果不杀了二王，少主决不可能平安执政。”有了可朱浑天和的支持，燕子献谋划把娄太皇太后安置到邺城北宫去，使朝廷大权归李太后掌管。自天保八年以来，北齐的官爵赏赐太多太滥，杨愔想加以澄清淘汰，于是带头上表请求解除自己开府及开封王的职务，众多沾光窃取皇恩享受荣华的人都跟着被废黜罢免了。从此，那些原来被宠幸但现在失去官职的人，都归心于高演与高湛。高归彦起初和杨愔、燕子献是一条心，杨愔将其得罪后，他转身将杨愔、燕子献疏远猜忌二王的种种迹象全部密告了高演和高湛。高洋曾派侍中宋钦道住在东宫，教导高殷熟悉吏事。这天，宋钦道当面启奏高殷道：“两位皇叔威权太重，应该设法尽快除去他们。”高殷不肯，但又对他道：“你可以和杨愔共同商议此事。”杨愔等人商议把高演和高湛派出去当刺史，但考虑到高殷天性慈爱仁厚，恐怕不会批准他们的奏请，于是就启奏李太后，详尽讲述了高演和高湛构成的威胁以及皇帝的安危，请她出面主持大局。宫人李昌仪本是高仲密的妻子，李太后因她和自己同姓，和她一向交好，视为闺蜜，就把杨愔等人递上来的奏折给她看，和她商议。不料，李昌仪却秘密地把奏折的内容报告了娄太皇太后。身为北齐幕后真正的主宰，娄太皇太后当然不希望孙子和儿子斗，不会支持任何一方。但杨愔居然将她撇在一边，请李太后主持大局，一下子勾起了婆媳矛盾，娄太皇太后大怒，天平彻底失衡。
杨愔等人又商议不能让二王都出去当刺史，请求让高湛镇守晋阳，以高演为录尚书事，高演和高湛决定趁此机会拿下杨愔，假装同意。天嘉元年（公元560年）二月二十三，高演和高湛在尚书省会见百官，以公开宣布接受任命。杨愔等人将去赴会，散骑常侍兼中书侍郎郑颐阻止道：“此事深不可测，不宜轻率。”杨愔道：“我等对国家一片至诚，岂有常山王拜职而不去赴会的道理！”此时，高湛已经在后室埋伏了几十个家僮，并与参与宴会的勋贵贺拔仁、斛律金等几人约定道：“等会儿敬酒敬到杨愔等人时，我对他们每人各劝双杯酒，他们必定起来致辞。我头一次说'拿酒’，第二次说'拿酒’，第三次说'为什么不拿！’你们就动手把他们抓起来！”宴会时，贺拔仁、斛律金按照计划将杨愔逮捕，杨愔不服，大喊道：“诸王谋逆，想杀害忠臣良将吗？我等尊奉天子，削弱诸侯，赤胆忠心为国，有何罪！”高演为人心软，想要缓一缓，高湛断然拒绝。于是，高湛命人拳头棍棒一顿乱揍，杨愔、可朱浑天和、宋钦道都被打的血流满面，每人被十个人按住，动弹不得。燕子献力气大，头发又很少，拼尽全力挣脱，狼狈地推开众人跑出门去，斛律光追上去将其擒住。燕子献长叹道：“大丈夫用计迟了一步，终于落到这步田地！”高演和高湛又派太子太保薛孤延等到尚药局去抓郑颐，郑颐叹息道：“这帮人不听智者的话以至于此，这难道不是命吗？”接着，高演、高湛与高归彦、贺拔仁、斛律金等挟持杨愔等人闯入云龙门。开府仪同三司成休宁抽出刀呵斥高演，高演派高归彦去说服他，成休宁声色俱厉地抗议，表示绝不服从。但高归彦长期担任领军，军士们一向对他很敬服，这时都放下兵器不再抵抗，成休宁只得叹息着让开。高演径直闯入皇宫，来到昭阳殿，高湛和高归彦停在朱华门外。高殷和娄太皇太后、李太后一起走出，娄太皇太后坐在殿上，皇太后和高殷站在两侧。看到杨愔被擒，高殷局促不安，李太后则脸如死灰。高演把头抵在殿砖上，边叩头边道：“臣与陛下是至亲骨肉，杨愔等人想独揽大权，作威作福，自王公以下文武百官无不蹑足屏气。这帮人互相勾结，串通一气，已然成了祸根，如果不早日除掉他们，必定会成为宗庙社稷之大害。臣与高湛以国家为重，贺拔仁、斛律金珍惜献武皇帝开创之业，所以共同行动抓住杨愔等人入宫觐见，臣等未敢擅自施刑杀戮，现交由陛下处治。臣等没有事先请示就行事，专断之罪，实在罪该万死。”当时宫庭中和两边走廊里有卫士两千余人，都披着甲胄、拿着兵器等待高殷的诏令。武卫娥永乐武艺超群，过去一向为高洋所看重厚待，这时用手敲着刀刃，抬起头来仰视高殷，期待他下令擒住高演。但高殷心里发虚，有意不看他，而且他平素口吃木讷，仓猝之间更不知该说什么好。这时，娄太皇太后下令卫兵放下兵器退下，卫士们不退。娄太皇太后厉声道：“你们这些奴才不听令，立刻就让你们掉脑袋！”卫士们这才退下，娥永乐把刀插入鞘内痛哭起来。等卫士退下后，娄太皇太后这才发问道：“杨郎现在在哪里？”贺拔仁回答道：“他一只眼睛的眼球被打出来了。”娄太皇太后怆然涕下道：“杨郎能有什么反抗之力呢？留着他以待使唤难道不好吗？”于是，娄太皇太后责备高殷道：“这些人心怀叛逆，想杀害我的两个儿子，接着就要杀害我，你为什么纵容他们？”高殷还是说不出话来。娄太皇太后既生气又悲伤难禁，说道：“怎么可以让我们母子受这汉人老太婆的算计呢！”李太后连忙下跪谢罪。娄太皇太后又对李太后道：“高演并没有夺位的异志，只是想除去自身的威胁而已。”高演在下面不断叩头。大势已去，李太后只好对高殷道：“还不赶快安慰你叔叔！”高殷这才开口道：“天子也不敢为叔叔的事惜身不前，何况这些汉人！只要留侄儿一条性命，侄儿自行退位，这些人交给叔叔，由你们处治。”于是，高演将杨愔等人全部斩首，也宣告了高殷彻底沦为傀儡。
