這個項目名為詩雲(The Poetry Cloud),源於科幻作家劉慈欣的中篇小說《詩雲》。
項目參考了《詩雲》中作詩機機器的情節,高等智慧文明為了寫出超越李白的詩,列舉了所有可能的字詞組合,窮盡了太陽系質量來儲存,創造出一片「詩詞的星雲」,包含著全部已存在或未來可能被寫下的詩詞,卻寫不出鑒賞詩詞的程序。即使詩雲無窮的詩詞庫裏存在某顛峰之作,也無法檢索出來。
我們沒有外星的技術,不能窮盡太陽系質量,但我們的智慧也凝鍊出諸如Transformer的架構,可以訓練一個作詩機器,來學習隱藏於古詩詞一字一句的規律,希望能寫出具韻味的詩詞,探索技術與藝術的交界。
Transformer的部分,使用了Andrej Karpathy Let's build GPT: from scratch, in code, spelled out (Google Colab)的源代碼。