AI 技術前沿

共 158 篇文章

LLM 離 AGI 還差什麼?哥大教授用數學給出精確答案
AI 技術前沿

LLM 離 AGI 還差什麼?哥大教授用數學給出精確答案

哥倫比亞大學教授米斯拉用「貝氏風洞」方法證明 Transformer 是精確的貝氏推論機器,再以 Shannon 熵與 Kolmogorov 複雜度的框架定義 LLM 與 AGI 的精確差距:缺少持續 …

那份消失的 Email:Ilya Sutskever 閱讀清單的傳奇故事
AI 技術前沿

那份消失的 Email:Ilya Sutskever 閱讀清單的傳奇故事

OpenAI 共同創辦人 Ilya Sutskever 曾告訴遊戲傳奇 John Carmack:讀完這些,你就懂了 90% 的 AI。這份只有 27 項的閱讀清單,原始 email 卻因 Meta …

有損壓縮也是一種智慧——清單唯一的生成模型
AI 技術前沿

有損壓縮也是一種智慧——清單唯一的生成模型

Sutskever 的二十七項閱讀清單裡沒有 GAN、沒有擴散模型,唯一的生成模型是他自己參與寫的 Variational Lossy Autoencoder。這篇論文被選中,不是因為它代表生成模型, …

規模的力量——從 GPipe 到 Scaling Laws,Sutskever 清單中最有商業影響力的論文
AI 技術前沿

規模的力量——從 GPipe 到 Scaling Laws,Sutskever 清單中最有商業影響力的論文

Sutskever 閱讀清單的前八篇處理的是「怎麼讓模型更聰明」,這篇的四個項目問的是不同的問題:怎麼讓模型更大,以及更大真的更好嗎。從 GPipe 的管線平行化到 Scaling Laws 的冪律曲 …

記憶、推理、關係理解——Sutskever 清單指向 AGI 的三根柱子
AI 技術前沿

記憶、推理、關係理解——Sutskever 清單指向 AGI 的三根柱子

Ilya Sutskever 閱讀清單中有三篇來自 DeepMind 的論文,分別處理外部記憶、關係推理、以及時序中的關係理解。它們在 2014-2018 年沒有帶來商業突破,卻指出了通往 AGI 最 …

RNN 的魅力與極限——當機器試圖記住過去
AI 技術前沿

RNN 的魅力與極限——當機器試圖記住過去

Ilya Sutskever 的閱讀清單連放三篇 RNN 相關文章:Karpathy 的傳奇部落格、Olah 的 LSTM 視覺化解說、Zaremba 的正則化論文。在 Transformer 出現之 …

看見的革命——CNN 如何教會機器理解影像
AI 技術前沿

看見的革命——CNN 如何教會機器理解影像

Ilya Sutskever 的閱讀清單有 27 項,其中 5 項關於卷積神經網路。更耐人尋味的是,AlexNet 那篇他自己就是作者之一。從 AlexNet 到 ResNet,從一場比賽的碾壓到 …

更多文章