60年技术简史，带你读懂AI的前世今生
发布时间：2019-07-11 06:19:09 所属栏目：建站 来源：佚名
导读：人类的进化成长史就是一部人类制造和行使器材的汗青，差异的器材代表了人类的进化程度。从石器期间、铁器期间、蒸汽期间、电气期间再到此刻的信息期间，我们行使越发先辈便捷的器材来改变出产和糊口。 器材的目标是延长和拓展人类的手段，我们跑得不快，但
|
不外着实和Attention同时风行的还包罗”Memory”，这或许是2015年的时辰，其时风行”Reason, Attention and Memory”(简称RAM)，我记适合年NIPS尚有个RAM的workshop。Memory就是把LSTM的Cell进一步抽象，酿成一种存储机制，就行计较机的内存，然后提出了许多伟大的模子，包罗Neural Turing Machine(NTM)等等，包罗让神经收集自动进修出排序等算法。其时也火过一阵，但最终并没有办理什么现实题目。 固然RNN/Transformer可以进修出上下文语义相关，可是除了在呆板翻译等少量使命外，大部门使命的实习数据都很少。因此怎么可以或许行使无监视的语料进修出很好的上下文语义相关就成为很是重要的课题。这个偏向从2018年开始一向一连到此刻，包罗Elmo、OpenAI GPT、BERT和XLNet等，这些模子一次又一次的刷榜，引起了极大的存眷。 ELMo是Embeddings from Language Models的缩写，意思就是说话模子获得的(句子)Embedding。其它Elmo是美国儿童教诲电视节目芝麻街(Sesame Street)里的小怪兽的名字。原始论文是《Deep contextualized word representations》，这个问题是很吻合的，也就是用深度的Transformer模子来进修上下文相干的词暗示。 （编辑：湖南网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
