建安三年十二月癸酉（199年2月7日），吕布的嫡系将领侯成、宋宪、魏续三人绑缚陈宫向曹操投降，并打开城门使得曹操军队急速冲入下邳城。[22]然后，曹操使吕布彻底破灭于下邳城中。[23]然后，张辽率领自己的军队[13]归降曹操（同一时期，至少有5篇类似的史书记载可以共同论证，张辽的投降时间晚于吕布的下邳破亡[24-28]。《资治通鉴》记载，在曹操对下邳城内的投降者们以礼相待之后，张辽率军投降[29]）。曹操将张辽拜为中郎将，并赐爵关内侯。[24]而张辽的鲁国国相的职务则由毕谌来接替。[25]建安五年（200年），官渡之战爆发。袁绍首先派兵袭击白马。曹操依荀攸之计，亲率军队救援白马，张辽与关羽作为前锋，击破颜良军队[30]。在官渡之战的数次战斗中，张辽数有战功，迁裨将军。[31]
动漫游戏版张辽(25张)同年十月，袁绍主力溃败后，曹操另派曾经领有鲁国的张辽去安定鲁国诸县。[32]这是因为曹操的兖、豫之地在袁绍大举攻曹之时，有非常多的郡县投靠了袁绍。
建安六年（201年），张辽与夏侯渊同围昌豨于东海郡，历经数月，粮秣将尽，众人商议都认为应该引军而还。在“众议还”的氛围中，唯有张辽看出昌豨有动摇之心，于是向夏侯渊说：“这些天以来，每当我巡视围城的军情时，昌豨就两眼盯着我看。而且，他的士兵所发射的箭日益稀少，此种迹象必定是因为昌豨心怀犹豫，所以才没有力战。我希望能挑试一下他，并与之洽谈，倘若可以成功诱使昌豨投降，岂不是更好吗？”[34]于是，张辽派遣使者向昌豨传话：“曹公有命令，让张辽来对你传达。”昌豨果然走下来与张辽对话。张辽便说：“曹公神武，正在用他的美德感化四方，先归附的可以受大赏。”于是昌豨便答应投降。张辽知其肯降，于是只身上三公山，入昌豨家中，并拜候其家人。昌豨见张辽如此坦诚相对，心中欢喜，便随之往见曹操。[35]曹操先遣昌豨返还东海郡。随后，曹操便责备张辽道：“只身赴敌巢穴，这不是大将所为。”张辽拜谢了曹操的关怀，又根据当时的形势，回答道：“凭着明公威信著于四海，我张辽拿着圣旨，昌豨必然不敢害我。所以我才这么做。”[3