司馬光除樞密副使。光以所言不行，不敢就職，詔許辭免，公再封還之。上知公不可奪，以詔直付光，不由門下。公奏：「由臣不才，使陛下廢法，有司失職，乞解銀台司。」許之。
會有詔舉諫官，公以軾應詔，而御史知雜謝景溫彈奏軾罪。公又舉孔文仲為賢良。文仲對策，極論新法之害。安石怒，罷文仲歸故官。公上疏爭之，不報。
時年六十三。即上言：臣言不行，無顏復立於朝，請致仕。疏五上，最後指言安石以喜怒賞罰事曰：「陛下有納諫之資，大臣進拒諫之計；陛下有愛民之性，大臣用殘民之術。」安石大怒，自草制極口詆公，落翰林學士，以本官致仕。聞者皆為公懼。公上表謝，其略曰：「雖曰乞身而去，敢忘憂國之心。」又曰：「望陛下集群議為耳目，以除壅蔽之奸；任老成為腹心，以養和平之福。」天下聞而壯之。安石雖詆之深，人更以為榮焉。
公既退居，專以讀書賦詩自娛。客至，輒置酒盡歡。或勸公稱疾杜門。公曰：「死生禍福，天也。吾其如天何！」同天節乞隨班上壽，許之。遂著為令。久之歸蜀。與親舊樂飲，賑施其貧者，期年而後還。軾得罪，下御史台獄，索公與軾往來書疏文字甚急。公猶上書救軾不已。朝廷有大事，輒言之。
官制行，改正議大夫。今上即位，遷光祿大夫。初，英宗即位，仁宗主而遷僖祖。及神宗即位，復還僖祖而遷順祖。公上言：「太祖起宋州有天下，與漢高祖同，僖祖不當復還。乞下百官議。」不報。及上即位，公又言乞遷僖祖，正太祖東向之位。時年幾八十矣。
韓維上言：公「在仁宗朝，首開建儲之議，其後大臣繼有論奏，先帝追錄其言，存沒皆推恩，而鎮未嘗以語人，人亦莫為言者，雖顏子不伐善，介之推不言祿，不能過也。」悉以公十九疏上之。拜端明殿學士。特詔長子清平縣令百揆改宣德郎，且起公兼侍讀提舉中太一宮。詔語有曰：「西伯善養，二老來歸。漢室卑詞，四臣入侍。為我強起，無或憚勤。」公固辭不起，天下益高之。
改提舉嵩山崇福宮。公仲兄之孫祖禹，為著作郎，謁告省公于許。因復賜詔，及龍茶一合，存問甚厚。數月，復告老，進銀青光祿大夫，再致仕。
初，仁宗命李照改定大樂，下王樸樂三律。皇中，又使胡瑗等考正，公與司馬光皆與。公上疏，論律尺之法。又與光往複論難，凡數萬言，自以為獨得於心。元豐三年，神宗詔公與劉幾定樂。公曰：「定樂當先正律。」上曰：「然。雖有師曠之聰，不以六律，不能正五音。」公作律尺、龠、合、升、鬥、豆、區、釜、斛，欲圖上之。又乞訪求真黍以定黃鐘，而劉幾即用李照樂，加用四清聲而奏樂成。詔罷局，賜賚有加。公謝曰：「此劉幾樂也，臣何與焉。」及提舉崇福宮，欲造樂獻之，自以為嫌，乃先請致仕。既得謝，請太府銅為之，踰年乃成。比李照樂下一律有奇。二聖御延和殿，召執政同觀，賜詔嘉獎，以樂下太常，詔三省、侍從、台閣之臣皆往觀焉。
時公已屬疾，樂奏三日而薨。實元三年閏十二月癸卯朔，享年八十一。訃聞，輟視朝一日，贈右金紫光祿大夫，謚曰忠文。公雖以上壽貴顯，考終於家，無所憾者，而士大夫惜其以道德事明主，閲三世，皆以剛方難合，故雖用而不盡。及上即位，求人如不及，厚禮以起公，而公已老，無意于世矣。故聞其喪，哭之皆哀。
公清明坦夷，表裡洞達，遇人以誠，恭儉慎默，口不言人過。及臨大節，決大議，色和而語壯，常欲繼之以死，雖在萬乘前無所屈。篤於行義，奏補先族人而後子孫，鄉人有不克婚葬者，輒為主之，客其家者常十餘人，雖僦居陋巷，席地而坐，飲食必均。
兄卒於隴城，無子，聞其有遺腹子在外，公時未仕，徒步求之兩蜀間，二年乃得之，曰：「吾兄異於人，體有四乳，是兒亦必然。」已而果然。名之曰百常。以公蔭，今為承議郎。公少受學于鄉先生龐直溫。直溫之子卒於京師，公娶其女為孫婦，養其妻子終身。
其學本於六經仁義，口不道佛老申韓異端之說。其文清麗簡遠，學者以為師法。凡三入翰林，知嘉二年、六年、八年及治平二年貢舉，門生滿天下，貴顯者不可勝數。
詔修《唐書》、《仁宗實錄》、《玉牒日曆類篇》。凡朝廷有大述作、大議論，未嘗不與。契丹、高麗皆知誦公文賦。少時嘗賦「長嘯卻胡騎」，及奉使契丹，虜相目曰：「此長嘯公也。」其後兄子百祿亦使虜，虜首問公安否。有《文集》一百卷，《諫垣集》十卷，《內製集》三十卷，《外製集》十卷，《正言》三卷，《樂書》三卷，《國朝韻對》三卷，《國朝事始》一卷，《東齋記事》十卷，《刀筆》八卷。
積勛柱國，累封蜀郡開國公，食邑加至二千六百戶，實封五百戶。娶張氏，追封清河郡君。再娶李氏，封長安郡君。子男五人。長曰燕孫，未名而卒。次百揆，宣德郎監中嶽廟。次百嘉，承務郎，先公一年卒。次百歲，太康主簿，先公六年卒。次百慮，承務郎。女一人，嘗適左司諫吳安詩，復歸以卒。孫男十人。祖直，襄州司戶參軍。祖樸，長社主簿。祖野、祖平，假承務郎。祖封，右承奏郎。祖耕，承務郎。祖淳、祖舒、祖京、祖恩。孫女六人，曾孫女三人。
公晚家于許，許人愛而敬之。其薨也，裡人皆出涕。以元四年八月己未，葬于汝之襄城縣汝安鄉推賢裡，夫人李氏。
會有詔舉諫官，公以軾應詔，而御史知雜謝景溫彈奏軾罪。公又舉孔文仲為賢良。文仲對策，極論新法之害。安石怒，罷文仲歸故官。公上疏爭之，不報。
時年六十三。即上言：臣言不行，無顏復立於朝，請致仕。疏五上，最後指言安石以喜怒賞罰事曰：「陛下有納諫之資，大臣進拒諫之計；陛下有愛民之性，大臣用殘民之術。」安石大怒，自草制極口詆公，落翰林學士，以本官致仕。聞者皆為公懼。公上表謝，其略曰：「雖曰乞身而去，敢忘憂國之心。」又曰：「望陛下集群議為耳目，以除壅蔽之奸；任老成為腹心，以養和平之福。」天下聞而壯之。安石雖詆之深，人更以為榮焉。
公既退居，專以讀書賦詩自娛。客至，輒置酒盡歡。或勸公稱疾杜門。公曰：「死生禍福，天也。吾其如天何！」同天節乞隨班上壽，許之。遂著為令。久之歸蜀。與親舊樂飲，賑施其貧者，期年而後還。軾得罪，下御史台獄，索公與軾往來書疏文字甚急。公猶上書救軾不已。朝廷有大事，輒言之。
韓維上言：公「在仁宗朝，首開建儲之議，其後大臣繼有論奏，先帝追錄其言，存沒皆推恩，而鎮未嘗以語人，人亦莫為言者，雖顏子不伐善，介之推不言祿，不能過也。」悉以公十九疏上之。拜端明殿學士。特詔長子清平縣令百揆改宣德郎，且起公兼侍讀提舉中太一宮。詔語有曰：「西伯善養，二老來歸。漢室卑詞，四臣入侍。為我強起，無或憚勤。」公固辭不起，天下益高之。
改提舉嵩山崇福宮。公仲兄之孫祖禹，為著作郎，謁告省公于許。因復賜詔，及龍茶一合，存問甚厚。數月，復告老，進銀青光祿大夫，再致仕。
初，仁宗命李照改定大樂，下王樸樂三律。皇中，又使胡瑗等考正，公與司馬光皆與。公上疏，論律尺之法。又與光往複論難，凡數萬言，自以為獨得於心。元豐三年，神宗詔公與劉幾定樂。公曰：「定樂當先正律。」上曰：「然。雖有師曠之聰，不以六律，不能正五音。」公作律尺、龠、合、升、鬥、豆、區、釜、斛，欲圖上之。又乞訪求真黍以定黃鐘，而劉幾即用李照樂，加用四清聲而奏樂成。詔罷局，賜賚有加。公謝曰：「此劉幾樂也，臣何與焉。」及提舉崇福宮，欲造樂獻之，自以為嫌，乃先請致仕。既得謝，請太府銅為之，踰年乃成。比李照樂下一律有奇。二聖御延和殿，召執政同觀，賜詔嘉獎，以樂下太常，詔三省、侍從、台閣之臣皆往觀焉。
時公已屬疾，樂奏三日而薨。實元三年閏十二月癸卯朔，享年八十一。訃聞，輟視朝一日，贈右金紫光祿大夫，謚曰忠文。公雖以上壽貴顯，考終於家，無所憾者，而士大夫惜其以道德事明主，閲三世，皆以剛方難合，故雖用而不盡。及上即位，求人如不及，厚禮以起公，而公已老，無意于世矣。故聞其喪，哭之皆哀。
公清明坦夷，表裡洞達，遇人以誠，恭儉慎默，口不言人過。及臨大節，決大議，色和而語壯，常欲繼之以死，雖在萬乘前無所屈。篤於行義，奏補先族人而後子孫，鄉人有不克婚葬者，輒為主之，客其家者常十餘人，雖僦居陋巷，席地而坐，飲食必均。
兄卒於隴城，無子，聞其有遺腹子在外，公時未仕，徒步求之兩蜀間，二年乃得之，曰：「吾兄異於人，體有四乳，是兒亦必然。」已而果然。名之曰百常。以公蔭，今為承議郎。公少受學于鄉先生龐直溫。直溫之子卒於京師，公娶其女為孫婦，養其妻子終身。
其學本於六經仁義，口不道佛老申韓異端之說。其文清麗簡遠，學者以為師法。凡三入翰林，知嘉二年、六年、八年及治平二年貢舉，門生滿天下，貴顯者不可勝數。
詔修《唐書》、《仁宗實錄》、《玉牒日曆類篇》。凡朝廷有大述作、大議論，未嘗不與。契丹、高麗皆知誦公文賦。少時嘗賦「長嘯卻胡騎」，及奉使契丹，虜相目曰：「此長嘯公也。」其後兄子百祿亦使虜，虜首問公安否。有《文集》一百卷，《諫垣集》十卷，《內製集》三十卷，《外製集》十卷，《正言》三卷，《樂書》三卷，《國朝韻對》三卷，《國朝事始》一卷，《東齋記事》十卷，《刀筆》八卷。
積勛柱國，累封蜀郡開國公，食邑加至二千六百戶，實封五百戶。娶張氏，追封清河郡君。再娶李氏，封長安郡君。子男五人。長曰燕孫，未名而卒。次百揆，宣德郎監中嶽廟。次百嘉，承務郎，先公一年卒。次百歲，太康主簿，先公六年卒。次百慮，承務郎。女一人，嘗適左司諫吳安詩，復歸以卒。孫男十人。祖直，襄州司戶參軍。祖樸，長社主簿。祖野、祖平，假承務郎。祖封，右承奏郎。祖耕，承務郎。祖淳、祖舒、祖京、祖恩。孫女六人，曾孫女三人。
公晚家于許，許人愛而敬之。其薨也，裡人皆出涕。以元四年八月己未，葬于汝之襄城縣汝安鄉推賢裡，夫人李氏。
