手机浏览器扫描二维码访问
第14章 一不小心站在了技术发展的最前沿（第1页）
2014年，人工智能领域正处于深度学习的快速发展时期，但在训练深层神经网络时，仍存在一些无法绕过的核心难题，其中“梯度消失”和“梯度爆炸”问题尤其突出。
当马库斯和林枫的对话逐渐转向这些人工智能瓶颈时，他们自然聊到了这个话题。
对于人工智能涉及到的梯度消失和梯度爆炸这个问题，对于前世就从事人工智能方面工作的林枫来说，他自然是不陌生。
梯度消失和梯度爆炸是神经网络训练中常见的问题。
了解梯度消失和梯度爆炸首先要了解神经网络。
简单说，神经网络是一种模仿人脑工作原理的计算模型。
它由很多“神经元”组成，这些神经元分成多层，数据会从一层传到另一层，最终得到一个结果。
训练神经网络的过程就是不断调整这些神经元之间的“连接强度”，让网络的输出越来越接近我们想要的结果。
为了调整神经网络中的这些连接强度，我们需要用到一种叫“梯度”的东西。
简单来说，梯度就是用来指引我们“往哪里走”的方向，就像你爬山时要知道往哪边是上坡、哪边是下坡。
我们通过“梯度”来知道哪些参数需要调整，从而让网络的表现变得更好。
那“梯度消失”和“梯度爆炸”又是什么呢？
假设你在玩一个滑滑梯，当你站在滑梯的最高处，往下滑时，你能很快感受到速度在增加，因为坡度很大。
但是，如果滑到快要到底部的地方，坡度变得很小，你几乎就感觉不到滑动的速度了。
这里的“坡度”就像是“梯度”——当坡度变小，滑动的速度也变小。
在神经网络中，类似的事情也会发生。
如果我们给网络很多层，它们之间的梯度会越来越小，传到前面几层时，梯度几乎“消失”了。这就是“梯度消失”问题。
梯度太小，无法有效调整那些神经元的连接强度，网络的训练就会变得非常困难。
想象你在爬一个大山，山的坡度越来越平，最终你几乎感受不到自己在上升了，这时你很难再判断该怎么继续往上爬。
在神经网络里，梯度消失的问题就是这种感觉，网络不知道该如何继续改进。
而梯度爆炸又是另外的一个极端。
假设这次你站在一座非常陡的悬崖边，一不小心就滚下去了！
因为坡度太陡了，你的速度变得非常快，失控了。
在神经网络中，这种情况也被称为“梯度爆炸”
春花秋月李三妮 穿越后我在异世界娱乐圈爆红 倚天：我从双修开始修炼成仙 神耳偷仙，诡变求存 妖月悬空，开局觉醒双星核 假千金撬了男主他墙角 和闺蜜穿七零，带着婆婆一起离 碎婚 百岁躺进棺材中，让我攻略女帝 红颜情殇之宫阙风云 血虹剑 鞠怡以的神影 我在快穿游戏里玩儿嗨了 琪亚娜的万界之旅 一穿越就成断案高手 你帅，我靓，咱俩日子过得旺 我携山河画卷，穿越古今追光 重生之都市极品天尊 被道侣分手后，系统终于来了！ 老婆请转身沈浪苏妙涵
重生后，小撩精日日哄他吻他诱他
上辈子一尸两命，横死荒野，死不瞑目。冤种老公撕心裂肺，痛不欲生，跳海殉情。重生归来，各路妖魔鬼怪齐齐上阵要她离婚。可她只想要他，爱他，宠他，哄他，撩他，诱他。老公要亲亲，要抱抱，要要要什么？要你。都说御枭寒嗜血成性，偏执成魔，却不知他宠妻无度，令人发指。只要他有，只要她要，身给她，心给她，命也给...
穿越之将门嫡妻
星际指挥官薛棠一朝穿越，成了即将下堂的嫡妻。丈夫秦眀渊失踪，外，有奸佞小人世家大族对秦家的权势虎视眈眈，内，有三个不学无术的小叔子和一个长歪了的小姑子，薛棠闭了闭眼，和离什么的先放一放，被原主带歪的这些废物必须领回正道，快被原主败光的家业也要抢救回来。众人纷纷诧异。那个刁蛮跋扈贪图享乐的女人，为何一下变得又美又飒？...
母女重生互换身体，两人都杀疯了
前世，真千金盛敏敏刚出生被恶意调包，过了12年牲口般的农女生活。12岁被接回盛府，亲生父母，3个嫡亲的哥哥无条件地偏宠假千金，最后盛敏敏跟自己刚出生的孩子被假千金活活烧死。今生，盛敏敏与亲生母亲互换身体，她决定以母亲的身份整死假千金，3个哥哥跟所有仇人盛敏敏心情不爽逆子，逆女，跪下！扑通几...
三胞胎死后，我嫁给了渣前夫他小叔
老公小青梅养的狗害两岁女儿得了狂犬病送医。渣老公却为了救他的小青梅和三只狗，延误了救女儿的黄金时间最终惨死医院。同一时间，婆婆的不看管，致使家里的大宝小宝溺死游泳池中。安抒抒痛失三个孩子，一夜白了头。从此，她褪下过去无用的温婉懂事，将自己磨炼成锋利见血的利刃，一刀一刀将恶人凌迟。葬礼上，缺失父爱的孩子们，到死也没等...
火影：万物皆可复制
出身番茄孤儿院的角木，被泥头车送到忍界。有一个沉稳可靠，有时喜欢搞些小操作的老爸。有一个温柔体贴有主见，偶尔会小腹黑的老妈。有一个活泼调皮，崇拜哥哥的弟弟。虽然还有房贷要还，但仍是个幸福美满，温暖的家。只是，弟弟的名字叫海野伊鲁卡。自己的名字，是海野角木。从未来的九尾之乱中拯救自己的家人，便是海野角木踏足忍界要...
左手白无常右手黄泉路，都是瓜！
闻家真千金被找回来了，还是个从山里出来，满嘴胡言的小神棍，整个圈内都等着看她笑话。短短几日，宋家那小霸王追着要当她小弟萧氏一族奉她若上宾特管局一处求她加入，玄门世家想要拜她为师闻曦小手一挥，直播赚功德水友大师，最近我总觉得被鬼压床了，还梦见诡异的婚礼现场。闻曦出门在外不要乱捡东西，你那是被人配冥婚了。水...