手机浏览器扫描二维码访问
第606章 用故事解释softmax函数的溢出问题（第1页）
用故事解释softmax函数的溢出问题
故事背景：龙族宴会上的金碗
在一座神秘的龙族王国，龙族每年都会举行一次盛大的宴会，宴会上有一个传统：每条龙要把自己的财富（金币数量）放进一个金碗，然后让智慧长老计算每条龙的“财富占比”，来决定谁是这一年的财富之王。
宴会当天，四条龙分别报出了自己的金币数量：
?
火龙：100万金币
?
冰龙：200万金币
?
雷龙：300万金币
?
风龙：10亿金币
智慧长老准备使用一个古老的计算方法——softmax规则，将这些财富转换成概率来比较。但他很快发现了一个严重的问题：
金碗炸了！
为什么？因为按照softmax的计算方法，他需要计算每个金币数量的指数值：
但这些数值实在是太大了，远远超出了王国的计算能力，直接导致金碗崩溃（计算溢出）。
智慧长老陷入了困境，他需要找到一个方法来避免计算崩溃。于是他想到一个聪明的技巧：
“我们不直接放金币，我们可以先让大家的金币数减去最大的金币数！”
于是，他重新计算：
?
火龙的金币数变为
100万
-
10亿
=
-9.99亿
?
冰龙的金币数变为
200万
-
10亿
=
-9.98亿
?
雷龙的金币数变为
300万
温婉沧海 哭包竹马爱哭还难哄 他的Freesia 末世，给异类收编 他如焰藏匿我心 意外得到空间后金手指带我闯末日 快穿：拯救反派，本系统亲自下场 我在乡下当村医 仙集 重生1990，带着全村人发家致 引凰归帝凰临：炼丹契兽倾世女帝 你和我的苏打水情缘 导演我要举报！她跑龙套还开挂！ 军人军医，办公室恋情？ 梦幻西游：大唐弃徒，成就史一法 带着猴哥游异界 隔壁那个帝少 武夫李青舟，要问剑仙李太白 和校花解散后，契约灵兵皆S级 爱丽丝综合征
弃婿归来
弃婿归来简介emspemsp蛰伏3年，只等一朝！三年前被抛弃的江浩，三年后强势归来。拿回本该属于他的，摧毁阻挠他的一切。女人，金钱，权利，他统统要了！...
启复汉
启复汉简介emspemsp关于启复汉人狠话不多的刘启，穿越到架空历史的赵宋朝，借助金手指，在兵荒马乱的北赵末乱世，挣扎求存，建功立业。书友群696261568...
豪门小甜妻：老公，别过火
双洁甜宠她被父母设计送上他的婚床，离婚是她的人生目标，却被宠上天！她打架，他助阵。她杀人，他提刀。她放火，他帮忙提汽油…惟一的缺憾就是秒得她怀疑人生那一晚，到底做了没？关于秒不秒，某男很淡定这个问题需要你亲自鉴定。他洗白白，大字状躺平求验证！求真相！再后来，有人问女神，你设计那么多露肩露背的礼服，自己为什么不穿？白筱拉拉衣领，遮去草莓印因为…皮肤不好。如果您喜欢豪门小甜妻老公，别过火，别忘记分享给朋友...
太古魔帝尊
太古魔帝尊简介emspemsp千古魔帝，一世轮回无敌流吾有神魔无敌心，敢灭天地日月星！一代人族千古魔帝莫凌轩以仙神为奴，以妖冥为仆，掌御诸天万界。一眼，天地颤一剑，诸神覆！九千年后，千古魔帝意外陨落重生于粒子世界...
众神降临
肆意挥洒激情的游戏人生，打破现实框架的无尽幻想！如果您喜欢众神降临，别忘记分享给朋友...
野村小医仙
陈凡出狱回到了家乡，成为一位农民，一次偶然的机会获得传承，他利用种植术，种出大卖的菜品，也利用医术，治好了多年顽疾。...
重生之爆款制作人
酒吧驻唱歌手余生安穿越到了一个类似地球的平行世界，发现自己居然身处在前女友和最好哥们的婚礼上。在大家充满恶意的鼓动下，他上台唱了一首粤语歌明年今日。...
