建安十二年（207年），曹操要征讨在柳城的袁尚、袁熙与乌桓。张辽进谏：“许都，是天子所在的地方。现今，天子就在许都，曹公北征甚远，若刘表派遣刘备攻击许都，占据它而号令四方，明公您大势去矣。”曹操推测刘表必不能任用刘备，于是，大军出征。
八月，曹操带领先锋部队登上白狼山，突然与敌兵遭遇。敌人的数量很多。当时，曹操军队的主力重兵还在后方，尚未到达前线，而曹操身边只有少量的军队。曹军将士们希望等待后续部队，并对当前的危险局面都感到恐惧。
在“左右皆惧”的曹军氛围中，张辽力排众议，反对畏敌不前，极力劝说曹操应当趁着胡虏的阵势不整，立刻进行交战，而不是等待后援。张辽劝战时的语气非常振奋。曹操十分欣赏张辽的雄壮斗志，又看见乌桓的军队尚未排好战斗阵形，于是，采纳了张辽的建议。曹操亲自将自己所持的麾，授予给张辽暂用，于是张辽与张郃[145]、曹纯[146]等人攻击敌军，并临阵斩杀了以骁武著称的乌桓单于蹋顿。[49-50]（曹操“自以所持麾授辽”。《淮南子·主术训》：“军之持麾者，妄指则乱矣”，说明，“持麾”的作用在于“指”，张辽负责白狼山之战的临阵指挥。[51-52]《魏武军令》：“麾前则前，麾后则后，麾左则左，麾右则右。不闻令而擅前后左右者斩”，说明，曹军各部的进攻方向、进攻时机全由张辽决定[53-54]。）此役，虽然敌众我寡、左右皆惧，并且，“蹋顿又骁武，边长老皆比之冒顿”，但是，乌桓的军阵当时还没有排列整齐，张辽极力主张迅速进攻，终于，其疾如风，虏众大崩，胡、汉降者二十馀万。
白狼山之战是汉人击败胡虏的重要一战，张辽也因此名声卓著。唐朝的昭文馆大学士甚至将张辽与卫青、霍去病相提并论，于是有诗句写在《登长城赋》：“卫青开幕，张辽辟土，校尉嫖姚，将军捕虏。”
建安十三年（208年），当时，荆州尚未安定，人心尚未归附。曹操在那一年，重新组建了许多军队。张辽率领其中一支新组建的军队，屯驻于长社。军队临出发之际，军中忽有谋反者起事骚动，在夜间，惊乱起火，全军尽受其扰。此时，张辽经过审时度势，对左右说：“不可乱动。