Learn how to unlearn

Learn how to unlearn

「雖然這樣講很不政治正確,但大部分的人讀了太多書(包括我自己),實際上,有用的書實在很少,知識都在手上、腳上、身上。」

昨天寫的一段話,覺得應該要好好解釋。

這不只是一段反思,最近發生許多事情,都跟學習如何不學(Unlearn)有很大的關係,其中最核心的事件,是在社群看到一篇有關大語言推理模型的思考過程的論文。

這篇論文討論推理模型思考過程,誕生新的領域:「思考學(Thoughtology)」。從 DeepSeek-R1、o1、Claude 3.7 Sonnet、Gemini 2.5 等開始,越來越多的模型的思想過程被公開的類型。尤其是DeepSeek-R1有很多公開的內容,可以詳細檢視模型的推論。高達 142 頁內容解釋思考長度的影響、可控性、長或混亂情境的管理、文化和安全問題。

這篇文章影響的,不僅是大語言模型對人類認知現象需要更仔細的檢驗,包括語言處理與世界觀等等,單純看推論結果可能會失去原貌。此外,論文裡發現DeepSeek-R1 有一個推理的 「甜蜜點」,在這個點上,額外的推理時間會損害模型性能。

簡單來說,長而深的推論有許多優點,但在目前的情況下也有不合理的效果,像是使用更多之前探索過的問題會導致認知失衡。或者,有時思考太多會降低績效。這個跟我們人類思考有個共同現象,有一種現象是:人們老是在同一件事上繞圈思考,而且無法控制思考的數量,基本上就是有可能「想太多」。將 DeepSeek-R1 跟非推論對應程式相比,論文裡認為思考具有強大的安全漏洞,過度推論將會損害傳統安全規則的大語言模型。

當然我也是用 DeepResearch 一起念的。對我來說,這篇論文讓我聯想到,這跟孔恩在《科學革命的結構(The Structure of Scientific Revolutions)》一書提示的相同,每個學科在特定年代都有一個堅不可摧的典範(Paradigm),當時的科學家大部分都會用固定的典範解決問題。思考學顯示出來的大語言模型有可能想太多,這等於挑戰過去我們認為越思考會越聰明的基本典範,要回頭調整成一個想得剛剛好的狀況。

不管是人類還是人工智能,「過度思考」會成為令人綁手綁腳的存在,我想,這點在現代生活也同樣適用。所以,當人工智能尚未發展出感官認知前,可能我們需要多多動手做,不用讓電腦幫我們「想太多」。

DeepSeek-R1 Thoughtology: Let’s about LLM Reasoning

如果你喜歡這篇文章,或許可以請我喝杯咖啡

我有想法..