，字文紀，觀州蓚人也。祖元則，後魏清河太守。父制，周車騎大将軍。綱少慷慨有志節，每以忠義自許。初名瑗，字子玉，讀《後漢書-張綱傳》，慕而改之。周齊王憲引爲參軍。宣帝将害憲，召僚屬證成其罪，綱誓之以死，終無撓辭。及憲遇害，露車載屍而出，故吏皆散，唯綱撫棺号恸，躬自埋瘗，哭拜而去。
隋開皇末，爲太子洗馬。皇太子勇嘗以歲首宴宮臣，左庶子唐令則自請奏琵琶，又歌《武媚娘》之曲。綱自勇曰：“令則身任宮卿，職當調護，乃于宴座自比倡優，進*，穢視聽。事若上聞，令則罪不測，豈不累于殿下？臣請遽正其罪。”勇曰：“我欲爲樂耳，君勿多事。”綱趨而出。及勇廢黜，文帝召東宮官屬切讓之，無敢對者。綱對曰：“今日之事，乃陛下之過，非太子罪也。勇器非上品，性是常人，若得賢明之士輔導之，足堪繼嗣皇業。方今多士盈朝，當擇賢者居其任，奈何以弦歌鷹犬之才侍側，至令緻此？乃陛下訓導不足，豈太子之罪耶！”辭氣凜然，左右皆爲之失色。文帝曰：“令汝在彼，豈非擇人？”綱曰：“臣在東宮，非得言者。”帝奇其對，擢拜尚書右丞。時左仆射楊素、蘇威當朝用事，綱每固執所見，不與之同，由是二人深惡之。會遣大将軍劉方誅讨林邑，楊素言于文帝曰：“林邑多珍寶，自非正人不可委。”因言綱可任，文帝以爲行軍司馬。劉方承素之意，屈辱綱，幾至于死。及軍還，久不得調。後拜齊王府司馬。未幾，蘇威複令綱詣南海應接林邑，久而不召。綱後自來奏事，威複言綱擅離所職，以之屬吏。綱見善蔔者，令筮之，遇《鼎》，因謂綱曰：“公易姓之後，方可得志而爲卿輔。宜早退；不然，有折足之敗也。”尋會赦免，屏居于鄠。
大業末，賊帥何潘仁以綱爲長史。義師至京城，綱來谒見。高祖大悅，授丞相府司錄，封新昌縣公，專掌選。高祖踐祚，拜禮部尚書，兼太子詹事，典選如故。
先是，巢王元吉授并州總管，于是縱其左右攘奪百姓，宇文歆頻谏不納，乃上表曰：“王在州之日，多出微行，常共窦誕遊獵，蹂踐谷稼，放縱親昵，公行攘奪，境内獸畜，取之殆盡。當衢而射，觀人避箭以爲笑樂。分遣左右，戲爲攻戰，至相擊刺疻傷緻死。夜開府門，宣淫他室。百姓怨毒，各懷憤歎。以此守城，安能自保！”元吉竟坐免。又諷父老詣阙請之，尋令複職。時劉武周率五千騎至黃蛇嶺，元吉遣車騎将軍張達以步卒百人先嘗之。達以步卒少，固請不行。元吉強遣之，至則盡沒于賊。達憤怒，因引武周攻陷榆次，進逼并州。元吉大懼，绐其司馬劉德威曰：“卿以老弱守城，吾以強兵出戰。”因夜出兵，攜其妻孥，棄軍奔還京師，并州遂陷。高祖怒甚，謂綱曰：“元吉幼小，未習時事，故遣窦誕、宇文歆輔之。強兵數萬，食支十年，起義興運之資，一朝而棄。宇文歆首畫此計，我當斬之。”綱曰：“賴歆令陛下不失愛子，臣以爲有功。”高祖問其故，綱對曰：“罪由窦誕不能規諷，緻令軍人怨憤。又齊王年少，肆行驕逸放縱，左右侵漁百姓，誕曾無谏止，乃随順掩藏，以成其釁，此誕之罪。宇文歆論情則疏，向彼又淺，王之過失，悉以聞奏。且父子之際，人所難言，歆言之，豈非忠懇？今欲誅罪，不錄其心，臣愚竊以爲過。”翌日，高祖召綱入，升禦坐謂曰：“今我有公，遂使刑罰不濫。元吉自惡，結怨于人。歆既曾以表聞，誕亦焉能制禁？”
時高祖拜舞人安叱奴爲散騎常侍，綱上疏谏曰：“謹案《周禮》，均工、樂胥不得預于仕伍。雖複才如子野，妙等師襄，皆身終子繼，不易其業。故魏武使祢衡擊鼓，衡先解朝服，露體而擊之，雲不敢以先王法服爲伶人之衣。雖齊高緯封曹妙達爲王，授安馬駒爲開府，既招物議，大絜彜倫，有國有家者以爲殷鑒。方今新定天下，開太平之基。起義功臣，行賞未遍；高才碩學，猶滞草萊。而先令舞胡，緻位五品；鳴玉曳組，趨馳廊廟，顧非創業垂統贻厥子孫之道也。”高祖不納。尋令參詳律令。
綱在東宮，隐太子建成初甚禮遇。建成常往溫湯，綱時以疾不從。有進生魚于建成者，将召饔人作鲙。時唐儉、趙元楷在座，各自贊能爲鲙，建成從之，既而謂曰：“飛刀鲙鯉，調和鼎食，公實有之；至于審谕弼諧，固屬于矣。”于是遣使送絹二百匹以遺之。建成後漸狎無行之徒，有猜忌之謀，不可谏止。又思筮者之言，頻乞骸骨。高祖漫罵之曰：“卿爲潘仁長史，何乃羞爲朕尚書？且建成在東宮，遣卿輔導，何爲屢緻辭乎？”綱頓首陳謝曰：“潘仁，賊也，誠在殺害，每谏便止，所活極多，爲其長史，故得無愧。陛下功成業泰，頗自矜伐，臣以凡劣，才乖元凱，所言如水投石，安敢久爲尚書？兼以愚臣事太子，所懷鄙見，複不探納，既無補益，所以請退。”高祖謝曰：“知公直士，勉弼我兒。”于是擢拜太子少保，尚書、詹事并如故。綱又上書谏太子曰：“綱耄矣，日過時流，墳樹已拱，幸未就土，許傅聖躬，無以酬恩，請效愚直，伏願殿下詳之。竊見飲酒過多，誠非養生之術。且凡爲人子者，務于孝友，以慰君父之心，不宜聽受邪言，妄生猜忌。”建成覽書不怿，而所爲如故。綱以數言事忤太子旨，道既不行，郁郁不得志。武德二年，以老表辭職，優诏解尚書，仍爲太子少保。高祖以綱隋代名臣，甚加優禮，每手敕未嘗稱名，其見重如此。
貞觀四年，拜太子少師。時綱有腳疾，不堪踐履，太宗特賜步輿，令綱乘至閣下，數引入禁中，問以政道。又令輿入東宮，皇太子引上殿，親拜之。綱于是陳君臣父子之道、問寝視膳之方，理順辭直，聽者忘倦。太子每親政事，太宗必令綱及左仆射房玄齡、侍中王珪侍坐。太子嘗商略古來君臣名教竭忠盡節之事，綱凜然曰：“托六尺之孤，寄百裏之命，古人以爲難，綱以爲易。”每吐論發言，皆辭色慷慨，有不可奪之志。及遇疾，太宗遣尚書左仆射房玄齡詣宅存問，賜絹二百匹。五年卒，年八十五。贈開府儀同三司，谥曰貞。太子爲之立碑。初，周齊王憲女孀居孑立，綱自以齊王故吏，贍恤甚厚。及綱卒，其女被發号哭，如喪所生焉。
子少植，隋武陽郡同功書佐，先綱卒。少植子安仁，永徽中爲太子左庶子。屬太子被廢，歸于陳邸，宮僚皆逃散，無敢辭送者，安仁獨涕泣拜辭而去，朝野義之。後卒于恒州刺史。