您当前位置：首页 > 服务器 > 深度学习与自然语言处理(4)_斯坦福cs224d 大作业测验1与解答

深度学习与自然语言处理(4)_斯坦福cs224d 大作业测验1与解答

来源：程序员人生发布时间：2016-07-20 08:19:56 阅读次数：3927次

深度学习与自然语言处理(4)_斯坦福cs224d 大作业测验1与解答

作业内容翻译：@胡杨(superhy199148@hotmail.com) && @胥可(feitongxiaoke@gmail.com)
解答与编排：寒小阳 && 龙心尘
时间：2016年6月
出处：
http://blog.csdn.net/han_xiaoyang/article/details/51760923
http://blog.csdn.net/longxinchen_ml/article/details/51765418

说明：本文为斯坦福大学CS224d课程的中文版内容笔记，已得到斯坦福大学课程@Richard Socher教授的授权翻译与发表

0 前言

前面1个接1个的Lecture，看得老衲自己也是1脸懵逼，不过你以为你做1个安安静静的美男子(总感觉有勇气做deep learning的女生也是1条汉纸)就可以在Stanford这样的学校顺利毕业啦？图样图森破，除掉极高的内容学习梯度，这类顶尖大学的作业和考试1样会让你突(tong)飞(bu)猛(yu)进(sheng)。

说起来，怎样也是堂堂斯坦福的课，这类最看重前言研究在实际工业利用的学校，1定是理论和利用并进，对动手能力要求极强的，因而乎，我们把作业和小测验(MD你这也敢叫小测验！！)也扒过来，整理整理，让大家都来体验体验。反正博主君自己每次折腾完这些大学的assignment以后，都会感慨1句，“还好不生在水生火热的万恶资本主义国家，才能让我大学和研究僧顺利毕业(甚么？phd？呵呵…博主是渣渣，智商终年处于欠费状态，我就不参与你们高端人士的趴体了)”。

不能再BB了，直接开始造作业考试吧…

1 Softmax (10 分)

(part a) (5分)
证明针对任何输入向量x和常数c，softmax函数的输出不会随着输入向量偏移（也就是常数c）而改变。即：

s o f t m a x (x) = s o f t m a x (x + c)

其中x+c就是给x每个元素加上常数c。注意：

s o f t m a x (x) i = e x i \sum j e x j

提示：在实际利用中，常常会用到这个性质。为了稳定地计算softmax几率，我们会选择c=−maxixi。（行将x的每一个元素减去最大的那个元素）。

博主：熬过了高中，竟然又看见证明了，也是惊(ri)喜(le)万(gou)分(le)，答案拿来！！！

解答：

证明，针对所有维度1≤i≤dim(x)：

(s o f t m a x (x + c)) i = exp ( x i + c ) \sum d i m ( x ) j = 1 exp ( x j + c ) = exp ( c ) exp ( x i ) exp ( c ) \sum d i m ( x ) j = 1 exp ( x j ) = exp ( x i ) \sum d i m ( x ) j = 1 exp ( x j ) = (s o f t m a x (x)) i

(part b) (5 分)
已知1个N行d列的输入矩阵，计算每行的softmax几率。在q1_softmax.py中写出你的实现进程，并使用python q1_softmax.py履行。

要求：你所写的代码应当尽量的有效并以向量化的情势来实现。非向量化的实现将不会得到满分。

博主：简直要哭晕在厕所了，当年毕业设计也是加论文1星期都可以写完的节奏，这里1个5分的作业，还这么多要求…社会主义好…答案拿来！！！

import numpy as np

def softmax(x):
    """
        Softmax 函数
    """
    assert len(x.shape) > 1, "Softmax的得分向量要求维度高于1"
    x -= np.max(x, axis=1, keepdims=True)
    x = np.exp(x) / np.sum(np.exp(x), axis=1, keepdims=True)

    return x