为什么我还是无法理解transformer？
- 发表时间：2025-06-25 04:55:14
- 来源：
不要想的太过复杂，就只有随机数生成的三个矩阵，原始输入已经通过矩阵相乘关联在三个随机数矩阵中，再通过一些代数游戏得到每个token对于整体输入序列的注意力权重矩阵，再和另外一个随机数矩阵进行线性的代数变化即可。
反向传播更新的是这三个矩阵的权重，三个矩阵的维度设计也是为了符合线性代数的运算。
总之这个就是一个巧妙的线性代数游戏，没有什么复杂的逻辑问题。
。
推荐资讯
- 2025-06-21 11:30:18哪一段代码最能体现c语言的魅力？
- 2025-06-21 12:15:18系统该怎样架构才能处理实时热点数据？
- 2025-06-21 12:45:18为什么上海、宁波那么近要搞两个港口？不会恶性竞争么？
- 2025-06-21 12:35:18为什么腾讯云或者阿里云不让自建dns服务器?
- 2025-06-21 12:35:17曼德拉是南非的罪人吗？
- 2025-06-21 12:05:18go语言接口的优势？
- 2025-06-21 12:10:17有一个乌克兰的朋友问我，中国人凭什么能享受和平，我该怎么说？
- 2025-06-21 12:50:18如何评价腾讯元宝桌面端使用 Rust 的 Tauri 框架？
- 2025-06-21 12:10:17飞虎队为什么不和驻港部队交流受训？
- 2025-06-21 12:50:18有哪些事情是MacOS做不到但Linux可以做到的？
推荐产品
-
如何评价网易国产动作冒险单机新作《归唐》首支预告片？
看了下首发PV，这次网易游戏的《归唐》背景故事是放在一个比较 -
什么时候你意识到做技术永无出路？
朋友是技术。 跟老板一起创业做项目。 老板许诺了分红比例 -
你卡过最厉害的bug是什么？
以前的一种***的IC卡电话，你插卡在显示余额后就可以打电话 -
用J***a写Android的时代是不是要结束了？
声明式UI确实是趋势，Jetpack Compose写UI效
最新资讯