被捧上天的GPT-3推拉棋牌首页,商业化之路怎么走?
更新时间: Oct 17, 2020  作者:刘推拉棋牌首页  来源:

图片来源@视觉中国

文 | 脑极体

对于我个人来说,刚刚步入媒体圈,职业生涯就将遭遇一次非常严重的AI威胁。

因为GPT-3来了,而且在写文章、编故事的能力上面比上一代更能打了。

推拉棋牌首页今年5月,已经得到微软Azure算力加持的OpenAI放出了GPT-3这个巨型NLP模型怪兽,包含1750亿参数,比2月份微软刚推出的全球最大深度学习模型Turing NLG大上十倍,是其前身GPT-2参数的100倍。

我们可以用一张图表来直观感受下GPT-3所处在位置,是不是有点高处不胜寒的感觉?

同时,GPT-3使用的训练数据集也十分庞大,基于包含近1万亿单词量的CommonCrawl数据集、网络文本、数据、维基百科等数据,数据量达到了45TB。其训练费用也达到惊人的1200万美元,这已经是个人开发者和小型AI开发团队无法轻易染指的训练规模和成本了。

在最近大量有关GPT-3的介绍文章里,很多人都注意到的是这个模型惊人的体量和各种各样脑洞大开的文本生成能力,不仅是写文章、编故事、搞翻译,还包括多轮对话、写代码、做数学运算、表情包配文、做表格、生成图标等等,几乎是在文本方面为所欲为了。

有人惊呼“真正的AI已经到来”、“GPT-3可以改变世界了”,也有人说“GPT-3是一种形象工程”、“一种赤裸裸的炫富”。

无论评价如何,人们其实都并未过多注意到OpenAI现在发布GPT-3的API接口的一大原因是推动这一技术的商业化。现在,GPT-3模型已经广泛应用的领域当中,有哪些领域更好地进行商业化尝试,又有哪些领域仍然差强人意,这些也许是更值得我们去探讨的地方。

GPT-3到底有多厉害?

相较于之前的GPT-2,这次GPT-3有哪些明显的进步呢?

从训练方式来说,与之前版本并没有什么不同,GPT-3依旧延续之前的单向语言模型训练方式,只不过就是训练数据和参数有了几个数量级的提升。但从实际的效果来看,GPT-3的尝试至少验证了一点,就是将一个深度神经网络不断增大,它确实可以变得更加的聪明。

相较于当前的BERT模型,GPT-3主要能够解决两个问题,一个是避免对各领域内的标注数据的过分依赖,一个是避免对各领域数据分布的过度拟合,从而调教出一个更通用、更泛化的NLP模型。GPT-3的主要目标是用更少的领域数据,还有去掉微调步骤去解决问题。

(图源:李宏毅《深度学习人类语言处理》)

直观来理解就是如图所示,GPT-3就是要拿掉Fine-tune(微调)这个环节,也拿到Task-Specific的示例资料,来直接对特殊的领域问题进行回答。

基于此,研究者们使用GPT-3在不同形式下进行了推理效果的测试,包括Zero-shot、One-shot、Few-shot三种,但是这三种形式都是不需要经过Fine-tuning的。因为GPT-3选择的是单向transformer,所以它在预测新的token时,会对之前的examples进行编码。

(责任编辑:推拉棋牌首页)

本文地址:http://www.veeramaravarkal.com/dushushuku/2020/1017/2425.html

上一篇:里弗斯自信源于哪?不担心西蒙斯投篮,靠鸡汤解决双帝兼容问题?

下一篇:影视娱乐平台获红杉资本领投近亿美金: UGC短剧2万部 DAU超500万

吉利汽车一年涨近5倍 李书福身家增厚372亿元

数据显示,吉利汽车股价在2016年2月12日落在当年低点的2.722港元,随后一路开始上攻,并在2017年2月21日升至11.4港元,劲涨419%,而11.4港元的价格也推拉棋牌首页创造了历史新高。  虽 ...详情

二推拉棋牌首页维超导材料上观察到磁激发态 或为制造量子计算机开辟新途径

科技日报北京10月19日电 法国和俄罗斯科学家日前在二维超导材料上发现一种特殊的磁场扰动,就像一个个微小的振荡星。这些激发态由掺入超导材料的磁性原子产生,这意味着于渌芝 ...详情

人大代表到青秀区法院观摩推拉棋牌首页刑事案件庭审

广西新闻网南宁12月26日讯(通讯员 李论)12月23日上午,青秀区人民法院在该院7号法庭公开开庭审理了被告人方某拒不支付劳动报酬一案,并邀请了青秀区人大代表到场观摩庭审。公诉 ...详情

快船走到十字路口 乔治引发的连锁反应 或许促使快船走向极端

北京时间9月22日,这一天NBA没有任何比赛,东西部决赛的4支球队并没有得到太多关注和新闻报道,反而快船队成为这一天的主角。NBA著名记者查拉尼亚在这一天报道了诸多新闻,让人震 ...详情

“健康中国2030”,齐鲁制药集团在行动

为全面推进健康中国战略目标建设,健康中国2030规划纲要对健康生活、健康服务、健康保障、健康产业等各方面作了详细具体的要求。虽然我国在健康领域改革发展方面成就显@AnsonB@S ...详情

超7万人预约抢购小米笔记推拉棋牌首页本Air 京东929零点开售

等了那么久的国庆假期马上就要到来,对很多辛苦拼搏的年轻人来说,此刻真想分分钟上演逃离北上广的戏码。因为平时工作时间长,他们喜欢拿着生存质量自嘲一番,如果有一台不给 ...详情

重点研发计划7个重点专项项目指南征求意见

关于对国家重点研发计划“干细胞及转化研究”等7个重点专项2020年度项目申报指南征求意见的通知根据《国务院关于改进加强中央财政科研项目和资金管理的若干意见》(国发〔 ...详情

微软支持Cortana的新智能显示屏或于下半年发售

近日据悉,微软一批专为 Microsoft Teams 会议协作而打造的多合一专用设备,即将于今年晚些时候上市,其的特点是配备了触屏、支持 Cortana 语音助理和免提体验。  用户通过与 Cortana ...详情

凤妹纸如何倾情打造最让设计师心动的CAD软件(附图)

温婉如玉,简洁清新,是她给人的第一印象,喜欢浪漫而富于幻想,心中时常是五彩斑斓,双鱼座特有的神秘感让她散发着一种令人难以抵御的奇异的魅力。她就是中望研发中心的凤妹 ...详情

外媒称软银日本5G网络覆盖面极小 一个街区之外完全无5G信号

推拉棋牌首页 4月28日消息,据国外媒体报道,软银集团持股67%的软银公司,今年3月27日在日本推出了5G商用服务,成为了日本第3家推出5G商用网络的电信运营商。  但从外媒的报道来 ...详情