战乱流离，成就了杜甫这个天才
严武第一次入蜀时，就邀请过杜甫入幕府，但被杜甫婉拒，“懒性从来水竹居”、“幽栖真钓锦江鱼”。第一次是杜甫先来成都，并非是来投靠严武，而再次回成都，则摆明了是由于严武归来的原因。因此，严武再入蜀后，邀请杜甫，杜甫便不好拒绝。亦有学者认为杜甫加入严武幕府，是由于代宗继位后，杜甫萌发了重新参政的想法。而一旦成为严武的下属后，疏散的田园生活便结束了，杜甫又成了昔日华州任上整日迫于处理文书的小官吏。
广德二年（764）三月，杜甫入严武幕府。严武上书，表奏杜甫为节度使参谋、校检工部员外郎，赐绯、鱼袋。杜甫由此又被称为杜工部。节度使参谋归节度使管理、任命、给俸，校检工部员外郎属于荣誉官职，不是真的去工部做事，属于从六品上。唐制，五品以上赐绯衣、鱼袋。故对杜甫赐绯、鱼袋属于恩上加恩。严武为杜甫奏请官职，一方面是出于私交愿意提携杜甫，另一方面也是彼时的幕府风气——各节度使为了笼络人才，竞相为属下加官。朝廷不耗费任何资费，授予这类空职，也算顺水人情。
尽管“加官晋爵”，杜甫的幕府生活却不顺畅。当年秋天，杜甫即后悔入幕，“胡为来幕下，只合在舟中”。与同事多有不协，“平地专欹倒，分曹失异同”；每日上班多辛劳，“晓入朱扉启，昏归画角终”；不自在，“束缚酬知己，蹉跎效小忠”；感觉如鸟入樊笼，“信然龟触网，直作鸟窥笼”，思念江湖山薮。这些原因之外，恐怕还有杜甫与严武本身的矛盾。日日相处的上下级毕竟不似先前饮酒聚会赋诗的朋友容易相处，再加上二人皆个性天然，难免会有龃龉，但也未出大错——《新唐书》转引《云溪友议》中杜甫醉酒后登床斥责严武“严挺之乃有此儿”、严武欲杀杜甫被其母制止的故事，经傅璇琮等考证，不确。
永泰元年（765）正月三日，杜甫正式辞职回浣花溪草堂，不久便获高适辞世的凶信。三年前，王维去世；两年前，房琯驾鹤；一年前，郑虔逝于台州、苏源明饿毙于长安；李白生死未卜，杳无音信，怅然回顾，真是“独步诗名在，只令故旧伤”，杜甫自感老迈羸弱，“疟病餐巴水，疮痍老蜀都”，故乡远在他方，“飘零迷哭处，天地日榛芜”。四月，严武暴卒。成都没有什么再值得留恋的，也无人可依托，杜甫留下一直跟他“一岁四行役”从洛阳到华州、到秦州、到同谷、入成都的幼弟杜占看守草堂，带领家人准备通过水路返乡。杜占很可能一直留在了成都，成都的城南杜姓据说是杜占的后裔。
从成都东下，杜甫一家路过嘉州（今四川省乐山地区）、渝州（今重庆）、忠州（今重庆忠县），秋天到了云安（今重庆云阳县）。大历元年（766）四月，杜甫一家从云安迁到夔州（今重庆奉节）。到大历三年（768）正月离开夔州，杜甫在夔州住了一年九个月。这段时期内，他搬了六次家，写了四百五十余首诗歌，其中有不少是追忆故人及旧日时光，如回忆当年与李白、高适漫游的《昔游》，“昔者与高李，晚登单父台”，曾是“吴门转粟帛，泛海陵蓬莱。肉食三十万，猎射起黄埃”，可如今岁月蹉跎，老之将至，“隔河忆长眺，青岁已摧颓”，诗友已逝，“不及少年日，无复故人杯”，辉煌不再，“荣华敌勋业，岁暮有严霜”。
在夔州所作的诗歌中，还有《秋兴八首》——叶嘉莹先生所集录的历代相关评论便有几十万字，可知此组诗对后世的影响之巨。尽管夔州山清水秀，白帝城风景令杜甫倾倒，“千家山郭静朝晖，日日江楼坐翠微”，但他仍然思念两都，“夔府孤城落日斜，每依北斗望京华”。最终，尽管在夔州置了田产、筑了草堂，还有地方官柏茂林的照拂，但杜甫将产业送予亲友后，带家人于大历三年初春出三峡赴江陵。
但学界认为，杜甫离开夔州的原因比较复杂，除了思念两都，欲从江陵下襄阳返东都，还可能是打算去江陵与弟弟杜观相会，也有与柏茂林相处不协的原因，亦有学者认为夔州的气候杜甫不能适应、山有虎患、又有无良之徒欺侮外地人，居民热衷于商业、在树上架屋居住、以鱼为主要的食物、崇尚巫傩，这些日常生活的种种不便及与儒家文化的冲突也令杜甫不愿久居。
无论何种因由，大历三年正月，杜甫全家乘船出峡，到了江陵。旧友李之芳、郑审在江陵，去之前，杜甫给他们写下《秋日夔府咏怀寄郑监李宾客一百韵》说明了在夔州的不如意和自己生活的困境，为去江陵做铺垫。这首千字排律是杜甫最长的一首诗。到达后，杜甫与他们雅集饮酒，多有诗歌赠答。然而，杜甫的贫困生活却未根本改善。李之芳病故后，蜀地的兵乱也波及过来，杜甫一家只得继续南下。
在公安（今属湖北荆州）逗留两个月后，年底到达岳阳，渡过洞庭湖，于大历四年（769）正月抵潭州（今湖南长沙），沿湘江去衡州（今湖南衡阳）投靠韦之晋。韦之晋是杜甫少年的朋友，十九岁杜甫第一次游历天下时，即与韦之晋结伴。终于有老友可托本来是一次转机，可惜韦之晋在四月就被调任潭州，上任后便病故了。衡州失去了依靠，入夏天气又热，杜甫也只得带家人返回潭州，靠亲友接济及自己去集市卖药勉强度日。这段日子虽依然穷困，但与潭州的诗友时常小聚也颇为热闹，基本算安定。偶尔，杜甫亦乘船游览附近山水，写诗记述。
大半年后，大历五年（770）四月，潭州爆发了臧玠之乱，杜甫全家只得逃往衡州。在衡州接到任职于郴州的舅父崔伟的书信见招，便去投奔舅父。时逢夏季，湘南洪水泛滥，船在耒阳被困五天断粮，幸得耒阳县令闻讯后送来白酒、牛肉解困。无法南下，只得北上回潭州。暂歇几个月后，是年深秋，杜甫决定北归。船行至岳阳一带时，愿望终不敌病魔，孤舟中写下《风疾舟中伏枕书杯三十六韵奉呈湖南亲友》，“家事丹砂决，无成涕作霖”，诗人含恨而终。
杜甫去世后，他的长子宗文也辞世了，儿媳带着孙子返回家乡四川，在眉州定居。宗文的儿子自号东山翁，他的这支杜氏在宋代时迁居江津。父兄离去后，次子宗武流落湖南，被节度使李昌蠖收留，随其去桂林。在李昌蠖的推举或直接任命下，被授予正九品下的“正字”，所以又被称为“杜正字”。大历年间，宗武曾从桂林去江陵探望在此地定居的叔叔杜观。事后应返回桂林。但宗武后来可能返回杜甫的卒葬之地，为父亲守墓。因此，平江的杜氏一支以宗武为始祖。宗武应卒于元和八年（813），即元稹应起子嗣业的请求为杜甫作墓志铭之前。
叶嘉莹先生说：“杜甫是可以集大成的天才，生在可以集大成的时代，有可以集大成的才能和容量，这当然是他的幸运，可是他也遭遇到了不幸，因为当时的唐朝处在一个大转折的时代，国家正一步一步走向衰落。正是因为杜甫生在一个大转折的时代，经历了战乱的痛苦、流离，才成就了他的诗歌。河中流动的水遇到河底的石块才能激起美丽的水波，它落下万丈的深渊，才有了奔流澎湃的瀑布。战乱流离，成就了杜甫这个天才。”（辛上邪）