疊加態中的旋轉

Lesswrong·

我們透過手動編碼多層感知器(MLP)的權重,在二維輸入特徵上實現多個條件旋轉,藉此實驗性地測試疊加狀態下電路的數學框架。

TL;DR 我們透過手動編碼 MLP 的權重,在二維輸入特徵上實現多個疊加(superposition)狀態下的條件式[1]旋轉,藉此實驗性地測試疊加電路(circuits in superposition)的數學框架。程式碼可以在這裡找到。

這項工作得到了 Coefficient Giving 和 Goodfire AI 的支持。

1 導論

圖 1:旋轉向量 x 的期望值。

<mjx-chtml>...</mjx-chtml> (此處保留原始 Markdown 中的數學渲染 HTML 標記)

[1] 譯註:原文 conditional 意指根據特定條件執行的操作。

Lesswrong

相關文章

  1. 共生演化與匯聚性後果論

    6 個月前

  2. 標記化的黑暗藝術,或:我如何學會開始憂慮並擁抱大型語言模型的未解碼輸出

    6 個月前

  3. 長程訊號條件下,伊辛模型仍具局部因子作用

    5 個月前

  4. 學習解讀語言模型中的權重差異

    6 個月前

  5. 分布的集合關係類比

    5 個月前

其他收藏 · 0