凌煙閣功臣張公瑾並非李世民的嫡系，最開始的時候，李世民和張公瑾並不認識。張公瑾原先是王世充的手下，任洧州長史，李淵建唐之後，張公瑾歸順大唐，被任命為鄒州別駕。他與李世民相識是在洛陽城下的。

當時李世民剛率領秦瓊、尉遲恭等人在谷水大敗王世充，王世充退回洛陽當了縮頭烏龜。李世民圍困洛陽十天仍沒有任何進展。在軍情火燒火燎的情況下，李勣和尉遲敬德聯名向李世民推薦了張公瑾，說張公瑾此人力大無窮，並且是王世充的舊部，他跟王世充手下將領多有相識的，他很可能有破敵之法。李世民欣然應允。張公瑾來到洛陽之後，很快幫助李世民攻破洛陽，獨霸中原。

張公瑾一生最閃亮的地方在於之後助李世民登上皇位的鬥爭中立下了不世之功。武德九年是李建成和李世民兄弟二人鬧得最兇的一年。李建成和李元吉建立同盟想搞死李世民，先是李建成請李世民喝酒，誰曾想喝的是毒酒，李世民喝完之後胸痛不已，大口吐血，幸好其叔叔李神通第一時間護送他回到王府，服用藥物才得以緩解。

李建成和李元吉又聯手在一月之內將李世民的心腹紛紛調離秦王府，房玄齡、杜如晦、程知節都被調走，尉遲恭還遭到暗殺。此時的李世民已經陷入絕境，長孫無忌、尉遲恭、張公瑾都勸李世民先下手為強，否則就得完蛋。李世民又接到內線秘報，六月初一，李建章和李元吉又在昆明池擺下鴻門宴，幕布背後都是刀斧手。李世民還是下不了狠心，居然請來了占卜先生。占卜活動正在進行，張公瑾突然闖了過來，直接把占卜用的龜殼扔到地下。反問李世民，如果占卜有用，我們還用如此緊張？如果占卜結果是吉，李建成就不會殺你了嗎？一語驚醒夢中人，這才有了三天後的玄武門之變，李世民乾脆利落地幹掉了李建成和李元吉。當李建成的大軍殺了過來時，力大無窮的張公瑾憑藉一人之力把城門給關上了，將萬千敵軍擋在宮門之外，為李世民篡位奪權贏得時間。