与金敬姬结婚10年后，张成泽开始在朝鲜劳动党内担任要职。1982年，他出任朝鲜劳动党党中央青少年事业部副部长。2002年，张成泽受金正日之命，“史无前例”地率团访问韩国。
2003年7月，叛逃到韩国的朝鲜高官黄长烨在韩国国会作证时说：“若金正日体制垮台，最有可能接班的是张成泽，他是事实上的朝鲜第二号人物。”
2004年，金正日的妻子高英姬去世，朝鲜围绕继承人的问题产生内部矛盾。据传张成泽介入了权力继承之争，被金正日“逐出”平壤，但很快“雨过天晴”。两年后，张成泽又被召回。2006年，他率团访问中国。2007年，他晋升为朝鲜劳动党中央行政部部长。
张成泽被称为“关键先生”，路透社2008年首次称其为朝鲜事实上的“第二号人物”。
随着权力代际交替压力的增加，作为金正日最信任的妹夫，张成泽在2010年出任国防委员会副委员长之职，晋身朝鲜最高领导层。金正日在临死之前一个月，授予张成泽大将军衔。
他的哥哥张成佑和张成吉也是军队的高级将领。
2月24日，张成泽佩戴大将肩章，身着军装，跟随金正恩在锦绣山纪念宫内向金正日遗体致哀。有消息人士说，2011年12月15日金正日去世时，张成泽是在其身边接受遗命的“顾命大臣”。
被称为金正恩“军部家庭教师”的李英浩近期突然去职。韩国政府消息人士分析这位拥有次帅军衔的总参谋长下台是“劳动党行政部部长张成泽和金敬姬在其中发挥了绝对的作用”。
在姑母金敬姬和姑父张成泽的帮助下，金正恩先后在党（第一书记）、政（国防委员会第一委员长、党中央军事委员会委员长）、军（最高司令官）巩固了地位。韩国政府认为，张成泽帮助铲除了李英浩等可能在金正恩巩固权力过程中成为绊脚石的高层人士。