Scaling Transformer to 1M tokens and beyond with RMT 这份技术报告展示了循环记忆的应用，以扩展 BERT 的上下文长度，这是自然语言处理中最有效的基于 Transformer 的模型之一。通过利用循环记忆 Transformer 架构，我们成功地将模型的有效上下文长度增加到前所未有的 200 万个标记，同时保持高记忆检索精度。我们的方法允许存储和处理局部和全局信息，并通过使用递归实现输入序列段之间的信息流。我们的实验证明了我们方法的有效性，这具有巨大的潜力来增强自然语言理解和生成任务的长期依赖处理，并为记忆密集型应用程序启用大规模上下文处理。
最近的大模型训练进展表明，正如人们学习数学的时候，解题思路很重要一样，大模型也可以通过生成解体思路来教会小模型很多。
AIGC降低了内容生产的难度，很多人利用AIGC可以做到以前做不到的事情，例如一个不会画画的人，可以快速画出精美的照片级别的美图。
而对于国内的自媒体来说，洗稿变得特别容易。
AIGC的快速普及，将导致内容的生产者出现劣币驱逐良币的过程。
由于洗澡容易而图片又很难卖钱，大量的自媒体更加肆无忌惮的抄袭原创作者。结果就是谁写原创内容，谁就吃亏。
那么长此以往，除了少数纯非盈利的且不在乎被洗稿抄袭的作者以外，大部分都不再会认真创作有价值的内容。
从而完成AIGC驱动下的内容创作者的劣币驱逐良币。
由于内容质量的快速降低，且垃圾内容越来越多，最终传导到用户侧的结果就是，人们逐渐减少对垃圾内容的消费。
最终就是自媒体大批量的死亡。
在这个过程中，一批卖自媒体创作工具服务的可以赚到钱，广告平台可以赚到钱。但是以为有了AIGC加持，就可以赚到大钱的自媒体们，恐怕要失望了。
问题的本质是，自媒体的第一性原理是信息中介。而中介的作用在于把信息转化成受众容易理解和接受的模态，从而促进信息的传播。
但是AI的核心作用其实是促进信息的直达。
人人都可以有一个AI助手在身旁的时代，谁会漫无目的的看自媒体的二手三手四手的洗稿文呢？
Prompt Engineering是现阶段AGI还不够智能的一个阶段性产物，但是很难判断这个阶段有多长。
如果在相当长的一段时间内，AGI的上下文能力都在100万Token以内的话，Prompt Engineering将长期存在并非常重要。
如果AGI的上下文能力达到10亿Token规模（和人类相当）那么就不再需要什么Prompt Engineering，取代Prompt Engineering将是纯粹的自然语言表达。
近年来，随着OpenAI推出的chatGPT的火爆，越来越多的中国互联网巨头纷纷加入通用对话大语言模型（GPT）的研发领域。然而，对于这些大型模型，许多非业内人士可能并不了解其中的技术细节。实际上，这些模型的代码量并不大，结构的复杂也不过是很多层类似的Transformer不断重复而已。尽管训练大型模型的难度较大，但这并非无法克服的挑战。
真正的难题在于高质量语料的匮乏。中文互联网自从强制备案以来，逐渐枯萎，严格的审查制度使得中文表达的有效性降低，进一步导致语言的小圈子化。此外，各大互联网巨头主推App，纷纷筑起了信息高墙，使得搜索引擎爬取信息变得极为困难，甚至不可能，进而加剧了信息孤岛化现象。
在这种背景下，自媒体、营销号等无底线的抄袭和洗稿行为进一步破坏了创作者生态，使得优质长内容在中文互联网上几乎绝迹。目前，多学科、多专业的严肃长内容中文网站寥寥无几，知乎或许是其中的佼佼者。在这样的生态环境中，一切向钱看，各类文字创作如小说、故事、软文，往往成为割韭菜的盛宴。
面对如此严峻的现状，我们不禁要问：如何获取足够多的优质语料来训练中文大语言模型呢？巧妇难为无米之炊，这句古老的谚语似乎反映了当前的困境。最终，人们可能只能依赖将英文语料翻译成中文再进行模型训练的方法，但这样做究竟意义何在？难道仅仅是为了增加一个步骤吗？
事实上，大型语言模型本来就具有跨语言理解语义的能力，但翻译过程中往往会带来语义损失。一种语言文字的生命力，实际上源于其承载的文化，尤其是科技文化。随着GPT-4等大语言模型的加持，英语的主导地位将得到空前的加强，甚至有朝一日成为全球唯一的活语言，而其他语种将快速走向式微。
这种情况和微软的dotnet平台上的C#语言与其他语言的演化过程颇为类似。
以下省略200字。
目前百度文心一言还没有对公众开放，不过，百姓网有一个 阿旺机器人 已经正式对公众开放，且开始销售会员。一年999元。有点贵。
期待文心一言的API对公众开放！
本站将作为收集整理分享一些关于通用人工智能的信息。