国漫手机壁纸

李沐新文引热议!用随机梯度下降优化人生最优解是啥?

新智元报道来源:知乎编辑:瘦瘦好困【新智元导读】随机梯度下降好是好,奈何我算力不够啊。众所周知,梯度下降法(Gradientdescent)是神经网络最常用的一阶优化算法。使用梯度下降法找到一个函数的局部极小值,需要向函数上当前点对应梯度的反方向的规定步长距离点进行迭代搜索。不过今天说

NetSmell 出品

  新智元报道

  来源:知乎

  编辑:瘦瘦好困

  【新智元导读】随机梯度下降好是好,奈何我算力不够啊。

  众所周知,梯度下降法(Gradient descent)是神经网络最常用的一阶优化算法。

  使用梯度下降法找到一个函数的局部极小值,需要向函数上当前点对应梯度的反方向的规定步长距离点进行迭代搜索。

  不过今天说的倒不是深度学习里的梯度下降,而是亚马逊首席科学家李沐的「用随机梯度下降来优化人生」。

  在文中,李沐列举了十一种方法,告诉大家如何利用「梯度下降」来优化自己的人生。

  1. 要有目标

  2. 目标要大

  3. 坚持走

  4. 痛苦的卷

  5. 可以躺平

  6. 四处看看

  7. 快也是慢

  8. 赢在起点

  9. 很远也能到达

  10. 独一无二

  11. 简单最好

  一经发表,就吸引了各路网友前来讨论。

  大神毕竟是大神,这套理论用在学术研究中刚刚好。

  不过更多的网友读完之后表示,这个想要「复现」,实在是太难了!

  梯度下降需要不断试错,人生也确实是在不断优化的。

  然而不是所有人生都是「类凸函数」,也不是所有人都有足够的「算力」。

  「晚夜朝阳」说,有些人是含着 4 路 3090 出生的,而有些人只是集显罢了。

  「蒜葵」表示,本来以为可以参照大神的优化器优化人生,结果发现只是一个不起眼的低智能粒子在 PSO 里面盲目试探。

  还有不少人的吐槽点都集中在了「如何做」上。有个「目标函数」固然好,然而「目标是什么」却成了最大的难题。

  用「CharlesChan」的解释:他认为从一开始,就没有人教你如何设置目标,什么样的方法能用到什么样的过程中,据此来得到一个最优解。

  可能还是「算法」的问题?

  无论怎样调整参数也调不好,dealine 快到了,新的 backbone 不断出现,你还会期待下一个最优解吗?其中「易晓」认为李沐的「梯度下降」并不能应用到人生的所有环节中。因果关系不明确,不过是消耗时间成本罢了。

  说到底,「做一些错误的决定」并不能迈过舒适圈,也必然不是最好的答案。

  这个观点获得了大量点赞。随后,其他人纷纷表示在实现目标的过程中遇到很多困难。原地踏步还是坚持走?目标确定但无法实现。

  尤其是在过程中遇到的压力与焦虑,除了躺平并没有最优解。

你用你内心的激情来迈步子。步子太小走不动,步子太长容易过早消耗掉了激情。周期性的调大调小步长效果挺好。所以你可以时不时休息休息。

  「Hello venus」表示,写得很形象也很有道理。由此看来预训练可以看作遗传基因,蒸馏是学习过程,算力是你所掌握的资源和财富

  或许,很多人也陷入了一个局部最优问题:只想着如何达到「最优」,如果达不到的话,你说的这些又有什么意义呢?

  不过即便是起点是随机的,即便前路四处都是悬崖,但通过梯度下降都能得到的差不多的解。

  每次找一个大概还行的方向(梯度),迈一步(下降),然后不停地这样走下去。

  不管有没有到达「真正的」最优解,最后停留在的地方,可能也是最接近的了。

  当然,最后的最后,都是一样的(doge)。

  参考资料:

  https://zhuanlan.zhihu.com/p/414009313?utm_source=wechat_session&utm_medium=social&utm_oi=861295628167294976

  https://www.zhihu.com/question/489380225

显示余下内容
相关文章:
  1. 信用卡 PIN 码很容易猜测
  2. 神经元簇发能模拟 AI 学习策略
  3. 蜘蛛丝可能根本不具有抗菌性质
  4. 佳能因禁止无墨水打印机扫描被起诉
  5. DeepMind盈利后开始「买买买」!收购机器人模拟平台MuJoCo,全面开源
  6. 分析师:新MacBook Pro搭载自家芯片,苹果利润率更高了
  7. 格芯提交上市申请IPO,筹资约26亿美元
  8. 美股周二:中概股普涨 阿里涨超6% 高途涨逾12%
  9. 搭配自研处理器与安卓12,谷歌新机Pixel 6起价599美元
  10. 摩根士丹利:马斯克有望凭SpaceX成首位万亿美元富豪
  11. 《鱿鱼游戏》助奈飞三季度新增用户翻倍,股价近新高
  12. DOTA 2又上热搜了 为什么这次大家到处刷“猛犸”?
  13. 多位游戏巨头联合希望美国政府监管盗版和作弊网站
  14. Google Play Data Safety开始接受开发者申请:2022年将强制执行
  15. 价格欺诈投诉引发公益诉讼 京东“划线价”格式条款须整改
 

发表回复

您的电子邮箱地址不会被公开。