在纂修《四庫全書》的過程中，紀曉嵐和許多同僚都飽嘗了文字所帶來的窘迫、艱辛甚至家破身亡，后人很難從其中看到“爬格子”的那種愉悅。總纂紀曉嵐、陸錫熊和總校陸費墀等人都因差錯而多次遭到乾隆的呵斥、交部議處、罰賠等處分。
最后，總纂陸錫熊在前往盛京校書途中，連嚇帶凍一命嗚呼；總校對陸費墀因無力負擔修改費用而被革職，郁郁而終，死后仍被抄沒房產祖業。紀曉嵐也多次受到訓斥和處罰，在乾隆四十五年（1780年）《四庫全書》復校完成后，又發現許多訛誤，乾隆又“令紀、陸兩人一體分賠”。同僚和自己的親身遭遇帶給紀曉嵐更深的感觸，也使他真切認識到自身所處環境的險惡。紀曉嵐騰達始于筆硯，以文字走上仕途，在他所生活的乾隆朝也正是“文字獄”達到頂峰的時期，這也一定使紀曉嵐噩夢纏身。
在乾隆三十三年（1768年），紀曉嵐因給親家盧見曾通風報信而卷入鹽政虧空案。和珅抓住時機給了他最致命的打擊，他被發配到新疆烏魯木齊。在這段時間里，他的大兒子病亡，愛妾郭彩符也撒手人寰，家破人亡。但紀曉嵐依然堅定地從悲痛中走了出來，兩年后他又回到朝堂。
但是這些并不能妨礙紀曉嵐樂觀的精神，紀曉嵐在69歲那年自題一首挽聯如下：“浮沉宦海如鷗鳥，生死書叢似蠹魚。”把自己比作在官場中起落浮沉的鷗鳥；又說自己如生死書中的蠹魚。這其中表達了他對自身命運的喟嘆，也包含了對自己一生的認識，這也是他畢生經歷的真實寫照。
從這一自挽聯中也可以看出紀曉嵐對官場的厭倦之情，久在官場浮沉的紀曉嵐并沒有體會到多少飛黃騰達的快感，他雖然修煉成了超然世外的態度，可稱得上是看破紅塵，但他的內心更多的時候是充滿孤獨、凄苦的感嘆。
紀曉嵐一生做過翰林院編修、日講起居注官、侍讀學士、詹事府詹事、內閣學士、總理中書科事務、兵部侍郎、都察院左都御史、兵部尚書、禮部尚書、協辦大學士等官，誥受光祿大夫，經筵講官兼文淵閣直閣事，賜紫禁城內騎馬。
嘉慶十年（1805年），82歲的紀曉嵐死于京城，歷雍正、乾隆、嘉慶三朝。嘉慶皇帝御賜碑文有“敏而好學可為文，授之以政無不達”之句，故謚號“文達”，這是對他文學才能的最高認可。
另外還有“滿清第一才子”、“風流才子”、“幽默大師”和“一代通儒”等稱號，每個稱號后面都為后世留下諸多令人津津樂道的故事。
