我寫「AI 對話筆記」的方法與思考
by Sam Chivers
你會把「和 ChatGPT 的對話、問答」寫成筆記嗎？顯然我會，而且很大量！
其中有 8 成以上都是程式相關，來自每天和 ChatGPT 的日常開發問答。
應該說，與 ChatGPT 對話早已成為我工作、學習的重要環節。在〈別依賴「試誤法」寫程式〉中我也強調過，像 ChatGPT 這樣的工具，如果僅僅用來「獲得答案」，未免也太可惜。
因此，我幾乎每天都會有新的「AI 對話筆記」。
話說回來，把 AI 的回答寫成筆記，並作為主要的知識來源，這是一個好的實踐嗎？
本文無法回答這個問題XD，但我可以分享一下，做了一年 AI 對話筆記後，我的看法與注意事項。
附帶一提，我的筆記是 Logseq 閃卡（Flash card），大致做法可參考「我在 Logseq 的局部實現」或這篇臉書。更多閃卡實作細節，我們另篇再談。
事實、觀點與幻覺
事實、觀點的定義與區別，這裡不多作闡述。只要能大概區分這兩者，就可以繼續往下閱讀。
筆記內容，往往是事實與觀點兼具，而我們常說 AI 有「幻覺」，主要著眼於它對事實的瞎掰胡扯。
如果你跟我一樣，把 AI 回答做成筆記並複習，而且為的是「專業技術養成」，那 AI 對於事實的幻覺，當然會是一個重要議題。
殘酷的是，幻覺目前還很難完全避免。
因此，把 AI 的回答寫成筆記，還是要有一些方法與準則才好。
加上標籤
基於這個擔憂，所有對 AI 的回答整理，我會加上一個標籤，我自己是用 #Session，代表我和 AI 的對話內容。
貼上標籤只是一個提醒：告訴自己，這些內容是 AI 產生的，只能作為「參考」。雖然嚴格來說，我們所知道的一切，都是參考。
預設相信八成
我的看法是，在「一般情況（下面會討論「非一般」情況）」下，AI 的回答我會給予 80% 的相信程度。（這只是一種量化的表達方式，不必太認真）
所謂的「一般情況」，就是你大概能相信它不會講錯的情況，這好像是廢話XD。舉例而言，好比我問 ChatGPT 關於 Python 的議題。
而 Python 是一個很「一般（general）」的主題，意謂網路、文獻資料極多，我幾乎不擔心它會說謊（有幻覺）——除非是太新的功能。
對，我只會這樣分XD！所以很依賴個人判斷，但有這個「場景意識（知曉討論主題的一般與特殊程度）」確實很重要。
其實我覺得，加上標籤就很有幫助了！至少是對大腦的一種提醒。
此外，如果不是和 AI 的對話，但是我問了 AI 並用它的回答作為補充，也會上個標籤，此時我用 #GPT——但不限於 ChatGPT 的回答。
非一般情況——我半信半疑
上述的「一般」議題我不怕它說謊，但只要討論主題稍為「特殊」一點，我對它可信度的把握，也隨之下降。
比如，我工作中很常遇到的 Django 議題。Django 算是「一般」還是「特殊」議題，取決於你問的具體內容（子議題）是什麼。
Django 的基本概念，問 ChatGPT 沒問題，這些屬於一般議題。
但複雜的 ORM 查詢語法，就很不一般（相關資料少得多），你問 ChatGPT，它也都能說出個所以然，但我對它的回答就會半信半疑。
這時，我需要一些手段來確認。不然乾脆不要記錄，或者記錄時寫下「待驗證」之類的短語。
降低不確定性的手段
遇到半信半疑的時候，有三種方法降低我的不確定性。
一、看文件
看文件，這肯定是最重要的，文件說了算！——雖然文件有時候也會描述不清楚，讓人愈看愈糊塗。
但看文件是作為開發者的義務，可以罵文件沒寫好，但自己沒查，總是說不過去。
二、Google
老方法，其中 Stack Overflow 的回答還有 GitHub 上的 issue 討論，往往特別有幫助。
二、問其它 AI 工具
除了 ChatGPT（GPT-4），是我的絕對開發主力，我使用的其它工具如下：（都沒有付費）
上述順序恰恰也是我詢問的順序。不過通常問完 Phind 我就收手了，除非我非常想知道答案。（其實這個時候不會有答案，只有更多的疑問和不確定）
然而，如果我真問完一輪上述的 AI，那這個問題肯定是沒有讓我滿意的回答，我全部的回答都不信，只是想知道這些模型怎麼說而已😷
小結：就算正確，也可能是暫時的
總的來說，我做筆記的基本態度是：所有的筆記，都只能算「我暫時相信的事」，後面有了新的事實、觀點，就要繼續修改或廢棄內容。
當然，如果這些筆記參雜太多 AI 幻覺，也是挺困擾的！
所以我們需要一些 sense，知道什麼情況下，對它的回答不能認真。加上適時查證，我相信幻覺問題會大大減少。
而且，無論資訊是否來自 AI，筆記終歸是筆記，我們還是得保持一顆懷疑的心，即使是書中的內容，也不能盡信。
畢竟書的內容即使正確，也可能被我誤解地記錄下來。退萬步言，就算是正確的，這樣的正確，也可能只是暫時的。