当北魏和南齐的战事逐渐升级之时，北魏内部的权力斗争也走向了白热化，高肇接连铲除竞争对手，一步步迈上权力巅峰。
中兴元年（公元501年）九月初八，元恪立于烈的弟弟于劲之女于氏为皇后。如此一来，于氏也成了外戚，对高肇是个极大威胁。
自从祖父于栗磾以来，于家几代显贵，家门中出了一个皇后，四人封公爵，三人任领军，两人任尚书令，还有三人是开国公。
不久，于烈去世，享年六十六岁。在他死后，于氏的势力有所削弱。
十一月初六，元恪以骠骑将军穆亮为司空；十一月初七，以北海王元详为太傅，兼任司徒。
当初，元详想要夺取彭城王元勰的司徒之位，所以诬陷中伤元勰，迫使元恪将其罢黜。元勰免职之后，元恪想要以元详为司徒，但元详害怕遭人非议，所以只担任大将军，到这一年才居于司徒之位。
元详掌权后，将作大匠王遇经常随他所欲，私自将官物给他。司徒长史于忠（于烈之子）为人正直，曾当着元详的面斥责王遇道：“殿下的身份，相当于周公，担负着辅导主上、主持国政的重任，他需要什么，你应该得到旨令后才给予，何至如此阿谀附势，损公惠私呢？”王遇听后脸上挂不住，元详也被迫承认过错。
之后，于忠多次耿直进言，元详非常不爽，曾对他道：“我担心先看见你死，而不担心你看见我死！”于忠回答道：“人生在世，一切自有定分，如果我应当死在您手中，躲也躲不过；如果不是，您杀不了我。”
讨伐咸阳王元禧时，于忠因功被封为魏郡公，升散骑常侍，兼任武卫将军。元详借于忠上表辞让之际，密劝元恪削弱于氏的势力，以于忠为列卿。于是，元恪诏令撤消对于忠的封赏，只升为太府卿。
元详此举，不仅打压了于氏，也在客观上帮助了高肇。
天监元年（公元502年）闰四月三十，穆亮去世，元详更加一手遮天，时为尚书左仆射、兼吏部尚书的高肇在默默寻找机会。
是年，高肇娶平阳公主为妻。不久，平阳公主病逝，高肇再娶元恪的姑姑高平公主为妻，亲上加亲，既是舅舅，又是姑父。
天监二年（公元503年）八月二十一，为了平衡元详的势力，元恪重新起用元勰为太师，元勰坚决推辞不肯接受。元恪为此亲赐元勰诏书，谆谆劝谕，又以小辈身份给他写了家信，一再祈请，恳切备至，元勰不得已，只好受命。
这一年，元恪纳高肇侄女高英为贵嫔。高英为人聪慧，入宫后很快得到元恪的宠爱，逐渐与于皇后分庭抗礼。
当时，元恪身边最为受宠的是散骑常侍赵修。赵修出身微贱，突然显贵，恃宠骄恣，欺压王公，被众人所忌恨。赵修回家葬父时，元恪特别恩典，所用财物劳役全由官家提供，赵修却在路上放纵淫欲，被人所告发。自此以后，元恪对他的宠幸大不如前，给了政敌高肇可乘之机。是年底，高肇秘密收集赵修罪状，侍中、领御史中尉甄琛、黄门郎李凭、廷尉卿王显等人，平时都巴结投靠赵修，嗅出风向不对，立马投靠高肇，争着帮他攻击赵修。元恪命尚书元绍核查审讯案情，元绍一向痛恨赵修，很快就坐实。最终，元恪下诏公布赵修奸行，免去死罪，鞭挞一百，贬到敦煌充军。甄琛和王显负责监督刑罚，两人事先准备了五个身强力壮的打手，让他们轮流鞭打赵修，必欲置之于死地。不料，赵修向来膘肥体壮，非常耐打，甄琛和王显暗中加到三百下，赵修居然挺过来了。不过，他虽然没死，但已是奄奄一息。甄琛马上叫来驿马，催促赵修即刻上路。出城后，用绳子将他捆在马鞍上，驱马急行，走了八十里后，赵修终于扛不住，一命呜呼。除掉赵修后，高肇将第二个目标瞄准了元详。苍蝇不叮无缝的蛋，元详本人也确实不是什么好鸟。自恃身份尊贵，元详骄奢淫佚，喜好声色，贪图财利，永远没有满足之时，到处营造宅第，抢占他人房产，朝野内外怨声载道。冠军将军茹皓因心眼灵巧而得宠于元恪，负责传达和答复门下省奏事，他借机弄权作弊，收受贿赂，连元详也不得不投靠巴结。茹皓娶了高肇的堂妹为妻，她的姐姐又是元详的堂叔、安定王元燮的妃子，而元详与之私通，两人的关系因此越发亲近，高肇恨之入骨。直阁将军刘胄本为元详所引荐，殿中将军常季贤擅长养马，陈扫静则专为元恪梳头，三人都得宠于元恪，与茹皓相为表里，结党营私。高肇的祖上是高丽人，一般人都很轻视他。元恪罢黜辅政大臣、诛杀咸阳王元禧后，就把政事只委托于高肇一人。高肇在朝廷中的同宗甚少，为此大量结交朋党，凡是投附他的人，十天半月就可破格提升，不愿投靠者则动辄陷以重罪。他尤其忌妒藩王，由于元详地位在自己之上，就想把他除掉，以便独掌朝政。于是，高肇便在元恪面前诬陷元详道：“元详与茹皓、刘胄、常季贤、陈扫静等人密谋叛乱。”元恪本就忌惮藩王，信以为真。天监三年（公元504年）四月，元恪夜召中尉崔亮入宫，让他弹劾元详贪婪淫乱，奢侈放纵，以及茹皓等四人依仗权势，贪赃枉法，下令拘捕茹皓等人，关押在御史台，又派一百武士包围元详府第。担心元详受惊逃脱，元恪先派左右郭翼去向元详宣谕圣旨，并向他出示崔亮的弹劾状。眼见弹劾状上只有关于贪赃枉法的罪行，元详坦然道：“如果是这些，我有什么可担心的呢？别人给我东西，我确实收下了。”天亮后，有关部门奏请处置茹皓等人的罪行，全部赐死。随后，元恪召集高阳王元雍等五王商议对元详罪行的处理决定。五月初一，元恪诏令宽宥元详不死，贬为平民，移送太府寺，看管也更加严密，母亲和妻子则回到南宅，每五天来看视一次。之后，元详的几个家奴秘密勾结，想要劫狱，书写姓名托侍婢交给元详。元详刚拿在手上，被看守远远地发现，抢过来上奏给元恪，元详自知难以幸免，恸哭数声，气绝而死。元详既死，高肇彻底大权独揽，一人之下，万人之上。他趁此机会游说元恪让宿卫主帅率羽林虎贲监守诸王的宅第，等同于软禁，元勰再三劝谏不要这样做，但元恪根本不听。说到底，高肇能够一步步走上权力巅峰，除了自身手腕够高明，和元恪对宗室的猜忌，以及高贵嫔的受宠都分不开关系，三者缺一不可。
