Simone221年，张辽驻扎雍丘之时染病，次年，抱病击破孙吴大将吕范之后病势危重，终于不治身亡，死在江都，时年54岁。
张辽祖上本不姓张，他的祖先是雁门马邑一带的豪商聂壹，是汉武帝时马邑之谋的发动者，可惜马邑之谋功败垂成，为了避免匈奴复仇而改姓张。虽然改姓，但是张辽家族依旧生活在马邑。张辽少年时便崭露头角，被推举为郡吏。
汉末，军阀混战，因为张辽武力过人，所以并州刺史丁原就召其为从事，命他带兵奔赴京师勤王。后来大将军何进又派张辽到河北募兵，共得千余人，可是，张辽募兵还没有回到洛阳，何进就因剿灭宦官失败被杀。因此，张辽所领部卒都归了董卓所有。董卓死时，张辽又归属吕布，迁任骑都尉。
曹操破吕布于下邳，张辽与吕布一起被俘虏，面对吕布乞降、讨好曹操，张辽怒斥曹操为国贼，而且对吕布非常不屑：“羞矣，当死则死。”所以，曹操曾经一度想要将其与吕布一起处死，但是被刘备和关羽阻止，结果，曹操竟然招纳了张辽，拜其为中郎将，赐爵关内侯。后来，屡立战功，升为裨将军。《三国演义》中，关羽被围土山，张辽亲上土山劝说，最终关羽约法三章，投降了曹操。后来关羽挂印封金离开曹操，也是张辽单骑相送，尽管是曹操的安排，却也可以看出张辽的义薄云天。
建安五年（200年），张辽随曹操破袁绍。之后，又和夏侯渊一起率军围攻吕布余部昌豨于东海郡，并出面劝降了昌豨。其后，张辽随军征讨袁谭、袁尚，招降黑山贼等，破辽东柳毅，率先锋斩乌丸单于蹋顿于白狼山。
曹操兵败赤壁，任命张辽引李典、乐进防守合肥，以抵御孙权进攻。后来孙权引军入寇，张辽率兵迎击，在合肥郊外逍遥津率领八百勇士突入吴军重围，大败孙权十万大军，差点活捉孙权。这一战，使得张辽威震江东，名扬天下，张辽之名一时可止小儿夜啼。建安二十一年(216年)，曹操再次进攻孙权，到合肥时，沿着张辽战斗的地方来回走动，叹服了好长时间。
曹丕即魏王位之后，封张辽为前将军，并分封他的兄长张汛和一个儿子为列侯。孙权再次攻魏，曹丕派张辽回军屯驻合肥，进封张辽为都乡侯。曹丕称帝后，封张辽为晋阳侯，增加食邑一千户，加上以前的封赐共二千六百户。
黄初二年(221年)，张辽到洛阳宫朝见，魏文帝在建始殿会见张辽，亲自询问破灭吴国的意见。为张辽建筑府第，又特别为张辽的母亲建筑殿宇，把随同张辽破灭吴军的应募士兵，改为虎贲嫌郑知。张辽回雍丘屯驻时生了病。曹丕派遣待中刘晔请太医诊断病情，虎贲探问消息。梁章巨《三国志旁证》中提到：“汉三公病，遣中黄门问病。魏、晋则黄门郎，尤重者或侍中。（张）辽位未至公，而遣侍中，盖丛瞎宠之也。”疾病没有治好，曹还把张辽接到自己所在的地方，亲自乘车前往慰问，握住张辽的手，赏赐他皇帝穿是衣服，太官每天送给他皇帝吃的食物。
病情稍好时，张辽又回到军中。这一年，张辽大败孙权的部将吕范。但是，张辽的病情日种，最终病逝在江都。
黄初六年(225年)，曹魏文帝追念张辽和李典在合肥之战中的功劳，颁发诏书说：“合肥之役，辽、典以步卒八百，破贼十万，自芹消古用兵，未之有也。使贼至今夺气，可谓国之爪牙矣。其分辽、典邑各百户，赐一子爵关内侯。”
