WK
ChatGPT 試驗之二:

1. 拿來做文章摘要非常危險。簡單通俗的文章可能還行。但如果是法學論文(像這篇)就非常悲劇。
2. 拿來摘要 SCOTUS cases 時好時壞。例如不會講清楚 Turner Broadcasting v. FCC 其實有前後兩個判決,而且會莫名跑出沒有討論過的 indecency provisions。不過摘 Reno v. ACLU 就勉強還可以。
3. 但是如果是通論的東西,例如說針對 publisher, distributor and common carrier 在 liability 上的區分跟相關的法令判決,跑出來的結果還可以。
WK
要拿來協助法律專業縮短研究時間可能還有好一段距離。當然可能是因為餵進去的語料問題。不知道那些號稱專門給法律專業人士用的 AI 效果如何。
YYPPOO
好奇如果先請他作角色扮演,是否會有明顯改進?
WK
YYPPOO : 我下次來試試看!不過為什麼會建議特別要它做角色扮演?
WK
測試結果:一樣爛。接續 1. 的那篇論文相關對話,我用的 input 是 “Act as a legal expert on freedom of online speech and content moderation, and give me a summary of this article.” 然後跑出來的內容完全不是重點。接下來我說 “Summarize, compare and discuss the three regulatory approaches described in this article.”,然後也有把 approaches 替換成 models,跑出來的結果還是錯的。
WK
我其實很懷疑它並不是真的有辦法把一篇連結的網頁整個 parse 進去然後做 digest,最多只能抓標題(運氣好多家某些段落),然後根據跟這標題最有可能相關的單字做文字接龍而已。
moss
我試了也覺得他只能摘要通俗的文章,或對大的議題做一個概要。一但進入比較細分的領域,就開始胡說八道了。
貓鵝同盟
覺得在建立參考文獻庫時用它來掃過&摘abstract還蠻方便的
但文章還是得自看自摘
YYPPOO
原來,我在問通俗一點的領域請他作角色扮演後的確有回答得比較好XD 但太難的真的還不行
載入新的回覆