QLoRA: 高效Finetuning 量化 LLMs
Dettmers提出了一种高效的微调方法QLoRA，它能够在保持完整的16位微调任务性能的同时，将内存使用量降 … 阅读更多
AGI
知乎携手面壁智能推出全新开源大模型：CPM-Bee10b 登顶中文基座模型
2023年5月27日，知乎在2023中国国际大数据产业博览会上发布了最新的大语言模型成果。知乎合伙人、首席技术 … 阅读更多
ConvNeXt V2：使用遮罩自编码器共同设计和扩展ConvNets
由于改进的架构和更好的表示学习框架的推动，视觉识别领域在 2020 年代初期迅速现代化并提高了性能。例如，现代 … 阅读更多
大模型能力的“涌现”机制被谷歌发现
大型语言模型的涌现能力是一个黑箱，难以解释。尽管目前的研究已经开始揭示其中的一些机制，但我们仍然需要更深入的研 … 阅读更多
InstructBLIP抢跑看图聊天，开源项目横扫多项SOTA
InstructBLIP是一种指令感知的多模态基础模型,通过微调BLIP-2和丰富指令微调数据获得。它在图像理 … 阅读更多
BLOOMChat: 开源可商用支持多语言的大语言模型，性能逼近GPT-4！
背景:目前开源的大语言模型对多语言支持不够理想,且大多数模型参数量不够大,无法商用。而SambaNova和To … 阅读更多
RMT 突破LLM百万Tokens上下文长度
Scaling Transformer to 1M tokens and beyond with RMT 这份 … 阅读更多
思维链 — 展现解题过程的重要性
最近的大模型训练进展表明，正如人们学习数学的时候，解题思路很重要一样，大模型也可以通过生成解体思路来教会小模型 … 阅读更多
chatGPT对软件技术栈的冲击将逐渐显现
软件研发的技术栈是逐步迭代形成的，其第一性原理是：通过技术栈对系统的复杂性就行分层控制。 由此可知，如果系统复 … 阅读更多