cs224n lecture 1 note: introduction
1. What is NLP?
自然语言处理是计算机科学、人工智能和语言学的交叉领域，旨在让计算机能够“理解”或处理自然语言，而重点就是计算机对自然语言的处理，这就延伸出了很多应用。
这是NLP涉及到的几个层次，可以看到输入包括语音和文本。第一级是语音识别和OCR或分词； 第二级是形态学分析，是从语音内部特征，词的内部结构等方面进行分析；接下来就是课程的 重点部分：句法分析和语义分析，这往往是很多任务的基础；最后就是对话处理。
应用： 拼写检查、关键词搜索、文本挖掘、文本分类、机器翻译、客服系统、复杂对话系统等
特别提到在工业界正在腾飞的应用： 搜索、广告推荐、自助/辅助翻译、情感舆情分析、语音识别、聊天机器人和对话系统等
2. What's special about human language?
这里讲到人类语言是一个专门用来传达语义的符号系统，跟数据挖掘不同，数据挖掘是针对离散的 数据，挖掘出有用的信息；而自然语言，随机性小目的性强，富有逻辑，它表达了某种语义，你认识 一句话的每一个字但不一定知道语义，相反，你可能能从一段完全不懂的语言符号中总结规律，理解 语义，就像《数学之美》中讲的，法国人在几千年之后破解了古埃及的石碑文字。 从符号到语义，想象人自身理解文字（解码）的过程，从生物学的角度 似乎是大脑神经元在接收的连续的声光学信号下的激活。再加上词表的稀疏性，这就给人启发，是不是针对如此特殊的 人类语言，应该用连续的符号来处理。
3. What's Deep Learning?
深度学习是机器学习的子集，与传统机器学习不同的是，深度学习通过复杂的网络结构， 可以自动去提取特征，而传统机器学习需要专业人士在他的理解下设计所要提取特征的规则，再进一步提取。 相同点都是在得到特征后的分析和处理。 可以看到，后者完全取决于人的领域学习，机器只是在做数值优化。
深度学习是通过深度网络自动学习输入的多层特征表示。
4. Reasons for Exploring Deep Learning
这一部分简单讲了深度学习的历史和正在腾飞的应用实例。这本身没什么可记录的，可是当我们现在在用lstm, cnn等网络的时候，会惊奇的发现，这都是上世纪八九十年代的产物。神经网络产生于上世纪六十年代，由于应用的局限和玄学的可解释性，一直没有被重视，谁又能想到现如今，随着数据的聚集，高性能计算器的发展，深度学习正在以神奇的方式改变着人工智能发展的格局。
这告诉我们，坚持的重要性。
5. What do we hope to teach?
希望自己能够在18节课的学习之后，成为被希望成为的人。
- 高效理解使用机器学习方法
- 理解自然语言的理解与生成的难点
- 能够针对NLP领域的主要问题构建系统，如：词语相似性、解析、机器翻译、命名实体识别、问答、句子理解
6. Why is NLP hard?
因为自然语言不是字符的无序结合，是要考虑上下文的，甚至外部知识，且有些句子本身就具有歧义。 “树上七只猴”和“树上骑只猴”在语音中就具有歧义，需要结合上下文来分析，人可以这样来分析，可是计算机呢？这就是难点所在。
7. Deep NLP = Deep Learning + NLP
最后，将自然语言处理的思想与表示学习结合起来，用深度学习的方法解决NLP目标，简单介绍了几个实例。 在这些实例中，深度学习的基础元素-词向量，大放异彩。词语被映射到了低维连续空间，虽然不可避免的丢失了信息，但相似的词还是体现出了相关性。深度学习将传统的基于统计或规则的方式，转换成词向量或词向量+逻辑规则的方式，在句法解析，情感分析，问答等任务中有突出表现。
我的研究方向是情感分析，从我的经验看来，任务的突破大致有两种思路：一是模型优化，二是输入优化。而输入优化就可以利用逻辑规则，对向量预先做操作，处理的还是向量，但是是具有更强逻辑表达的向量。
8. Conclusion
这节课从大的方向上介绍了NLP和NLP任务，并与深度学习结合，构建出一个大的方向。课程质量很高，对未来的课程也很期待。
由于组会关系，每周的实际学习时间是周三之后，这周从0学习了git操作，搭建了博客，熟悉了markdown，所以进度稍慢了些。万事开头难，今后肯定会越来越快的，尤其这种偏理解少工程的课。