🌌《RWKV-7 的奇幻冒险:从黑白棋到音ä¹åˆ›ä½œçš„全能 AI》 New

🧠 RWKV 的新篇章:Transformer å’Œ RNN 的完美结åˆ

想象一下,一个 AI æ¨¡åž‹æ—¢èƒ½åƒ Transformer 一样高效并行处ç†ï¼Œåˆèƒ½åƒ RNN 一样擅长处ç†åºåˆ—æ•°æ®ã€‚RWKV 就是这样一ä½â€œè·¨ç•Œé€‰æ‰‹â€ã€‚作为一ç§åˆ›æ–°çš„深度学习网络架构,RWKV 巧妙结åˆäº† Transformer å’Œ RNN 的优点,既实现了高度并行化训练,åˆåœ¨æŽ¨ç†æ•ˆçŽ‡ä¸Šè¡¨çŽ°ä¼˜å¼‚。

而现在,RWKV 的故事迎æ¥äº†æ–°çš„篇章——RWKV-7 架构的å‘布。这ä¸ä»…仅是一次技术å‡çº§ï¼Œæ›´æ˜¯ä¸€æ¬¡å…¨æ–°çš„探索。RWKV 社区基于这一架构推出了多个令人兴奋的项目,其中包括支æŒå¤šè¯­è¨€çš„ RWKV-7-World 模型,以åŠä¸€æ¬¾åŸºäºŽé»‘白棋(Othello)的策略模型 RWKV Othello。

🌠RWKV-7-World:多语言的世界之旅

RWKV-7-World-0.4B 模型是 RWKV-7 系列的明星选手。它在 world-2.9 æ•°æ®é›†ï¼ˆä»Ž world-v3 æ•°æ®é›†ä¸­é‡‡æ ·äº† 2T tokens)上训练而æˆï¼Œæ‹¥æœ‰ 0.4B å‚数。尽管体é‡ä¸å¤§ï¼Œä½†å®ƒçš„表现å´ä»¤äººæƒŠè‰³â€”—支æŒå…¨çƒ 100 多ç§è¯­è¨€å’Œä»£ç ï¼Œå¹¶åœ¨å¤šè¯­è¨€èƒ½åŠ›ä¸Šæ˜¾è‘—超越其他åŒç±»æ¨¡åž‹ã€‚

🎯 生æˆæ¡ˆä¾‹ï¼šä»Žè‹±è¯­åˆ° Python 的全能选手

RWKV-7-World 的强大能力在社区 WebGPU Demo 中得到了充分展示。例如,它å¯ä»¥ç”¨æµç•…的英语回答问题,甚至还能生æˆé«˜è´¨é‡çš„ Python 代ç ã€‚以下是一些生æˆæ¡ˆä¾‹çš„简è¦å±•ç¤ºï¼š

  • 英语对è¯æ”¹è¿›ï¼šæ¨¡åž‹èƒ½å¤Ÿç†è§£å¤æ‚的上下文,并æ出优化建议。
  • Python 冒泡排åºä»£ç ç”Ÿæˆï¼šæ¨¡åž‹ä¸ä»…能生æˆä»£ç ï¼Œè¿˜èƒ½è§£é‡Šç®—法的逻辑。

这些能力使得 RWKV-7-World æˆä¸ºå¤šè¯­è¨€ä»»åŠ¡å’Œä»£ç ç”Ÿæˆé¢†åŸŸçš„强大工具。

â™Ÿï¸ RWKV Othello:黑白棋的策略大师

黑白棋,也被称为å转棋,是一ç§ç»å…¸çš„策略游æˆã€‚而 RWKV Othello 项目则是 RWKV 社区的åˆä¸€åŠ›ä½œã€‚这个项目由社区æˆå‘˜ @Jellyfish042 基于 RWKV-7 架构开å‘,使用 CoT(Chain of Thought)数æ®è®­ç»ƒäº†ä¸€ä¸ªä»… 8.8M å‚æ•°çš„å°åž‹æ¨¡åž‹ã€‚

🤖 与人类对战:胜率惊人

RWKV Othello 模型å¯ä»¥ä¸Žäººç±»çŽ©å®¶æˆ–其他模型进行自动对战。在与人类对战时,它展现出了éžå¸¸é«˜çš„胜率。更令人惊å¹çš„是,它支æŒä¸¤ç§æŽ¨ç†æ¨¡å¼ï¼š

  1. 关闭æœç´¢ï¼šç›´æŽ¥é¢„测最佳走法。
  2. å¼€å¯æœç´¢ï¼šæ ¹æ®æœç´¢é…置进行推ç†ï¼Œæ€è€ƒçš„ token 数越多,棋力越强。

以下是ä¸åŒæœç´¢æ ‘深度和宽度下的获胜率测试结果:

æœç´¢æ·±åº¦æœç´¢å®½åº¦èŽ·èƒœçŽ‡ï¼ˆ%)
1165
3285
5392

RWKV Othello 项目ä¸ä»…展示了 RWKV 模型在策略游æˆä¸­çš„潜力,还è¯æ˜Žäº†å…¶åœ¨æ’定资æºå ç”¨ä¸‹çš„高效性。

🌠RWKV WebGPU Demo:æµè§ˆå™¨ä¸­çš„ AI 魔法

如果你以为 RWKV 的能力仅é™äºŽæ¨¡åž‹è®­ç»ƒå’ŒæŽ¨ç†ï¼Œé‚£å°±å¤§é”™ç‰¹é”™äº†ã€‚RWKV WebGPU Demo å°† AI 的魔力带到了你的æµè§ˆå™¨ä¸­ã€‚无需下载任何应用,你åªéœ€æ‰“å¼€æµè§ˆå™¨ï¼Œå°±èƒ½ä½“验 RWKV 的强大功能。

💬 对è¯åŠŸèƒ½ï¼šéšæ—¶éšåœ°çš„ AI èŠå¤©ä¼™ä¼´

在 Demo çš„èŠå¤©ç•Œé¢ï¼Œä½ å¯ä»¥é€‰æ‹©ä¸€ä¸ª RWKV-7-World 模型(0.1B 或 0.4B. ¼‰ï¼Œç‚¹å‡»åŠ è½½æŒ‰é’®åŽï¼Œæ¨¡åž‹å°†åœ¨æµè§ˆå™¨ä¸­ç¦»çº¿è¿è¡Œã€‚你甚至å¯ä»¥ç›´æŽ¥æ‹–动本地模型文件到界é¢ä¸­ï¼Œçœç•¥ä¸‹è½½è¿‡ç¨‹ã€‚✅

🎲 解 15 谜题:ç»å…¸ç›Šæ™ºæ¸¸æˆçš„新玩法

15 谜题,åˆç§°æ•°å­—推盘游æˆï¼Œæ˜¯ä¸€ä¸ªç»å…¸çš„滑å—益智游æˆã€‚在 Demo çš„ 15 puzzle ç•Œé¢ï¼Œä½ å¯ä»¥è®¾ç½®ä¸€å±€å…¨æ–°çš„谜题,点击开始按钮åŽï¼ŒRWKV-puzzle15 模型会自动解开谜题,并展示推ç†è¿‡ç¨‹ã€‚

🎵 作曲功能:AI 的音ä¹åˆ›ä½œä¹‹æ—…

在 Demo 的音ä¹ç•Œé¢ï¼Œä½ å¯ä»¥é©±åŠ¨ RWKV ABC 模型进行作曲。åªéœ€é€‰æ‹©ä¸€ä¸ª ABC æ ¼å¼çš„ prompt,点击生æˆéŸ³ä¹æŒ‰é’®ï¼ŒRWKV 就会为你创作一段旋律。

🔠State å¯è§†åŒ–:探索éšè—状æ€çš„奥秘

ä½œä¸ºä¸€ç§ RNN 模型,RWKV çš„éšè—状æ€æ¼”化是其核心机制之一。在 State Replay ç•Œé¢ï¼Œä½ å¯ä»¥ç›´è§‚地查看模型的éšè—状æ€å¦‚何éšè¾“å…¥å˜åŒ–而演化。例如,当输入“你好â€æ—¶ï¼ŒRWKV-7-World-0.1B 模型的 12 层状æ€ä¼šä»¥é¢œè‰²æ–¹æ ¼çš„å½¢å¼å±•ç¤ºï¼š

  • æ·±è“色:数值较低或接近负数。
  • 黄色:数值较高或接近正数。
  • ç°è‰²æˆ–黑色:数值接近 0。

è¿™ç§å¯è§†åŒ–工具ä¸ä»…帮助我们ç†è§£æ¨¡åž‹çš„内部机制,还为模型优化æ供了é‡è¦å‚考。

🚀 未æ¥çš„æ— é™å¯èƒ½

RWKV-7 çš„å‘布和相关项目的推出,标志ç€è¿™ä¸€æž¶æž„在多语言处ç†ã€ç­–略游æˆã€ç›Šæ™ºè§£è°œå’ŒéŸ³ä¹åˆ›ä½œç­‰é¢†åŸŸçš„巨大潜力。更é‡è¦çš„是,这一切都得益于始智 AI wisemodel 社区的开放和创新精神。

如果你也对 RWKV 的未æ¥æ„Ÿå…´è¶£ï¼Œä¸å¦¨åŠ å…¥ç¤¾åŒºçš„å¼€æºå…±åˆ›å¿—愿者计划,与全çƒå¼€å‘者一起探索 AI çš„æ— é™å¯èƒ½ã€‚

📚 å‚考文献

  1. RWKV-7-World 模型地å€ï¼šhttps://wisemodel.cn/models/rwkv4fun/rwkv-7-world/file
  2. RWKV Othello 项目介ç»ï¼šhttps://wisemodel.cn/models/rwkv4fun/rwkv-7-world/file
  3. RWKV WebGPU Demo 功能展示:https://wisemodel.cn/models/rwkv4fun/rwkv-7-world/file

评论

å‘表回å¤

人生梦想 - 关注å‰æ²¿çš„计算机技术 acejoy.com