借一æ¥ç½‘
作者:
在
想象一下,一个 AI æ¨¡åž‹æ—¢èƒ½åƒ Transformer ä¸€æ ·é«˜æ•ˆå¹¶è¡Œå¤„ç†ï¼Œåˆèƒ½åƒ RNN ä¸€æ ·æ“…é•¿å¤„ç†åºåˆ—æ•°æ®ã€‚RWKV å°±æ˜¯è¿™æ ·ä¸€ä½â€œè·¨ç•Œé€‰æ‰‹â€ã€‚作为一ç§åˆ›æ–°çš„深度å¦ä¹ 网络架构,RWKV 巧妙结åˆäº† Transformer å’Œ RNN 的优点,既实现了高度并行化è®ç»ƒï¼Œåˆåœ¨æŽ¨ç†æ•ˆçŽ‡ä¸Šè¡¨çŽ°ä¼˜å¼‚。
而现在,RWKV 的故事迎æ¥äº†æ–°çš„ç¯‡ç« â€”â€”RWKV-7 架构的å‘布。这ä¸ä»…仅是一次技术å‡çº§ï¼Œæ›´æ˜¯ä¸€æ¬¡å…¨æ–°çš„探索。RWKV 社区基于这一架构推出了多个令人兴奋的项目,其ä¸åŒ…括支æŒå¤šè¯è¨€çš„ RWKV-7-World 模型,以åŠä¸€æ¬¾åŸºäºŽé»‘白棋(Othello)的ç–略模型 RWKV Othello。
RWKV-7-World-0.4B 模型是 RWKV-7 系列的明星选手。它在 world-2.9 æ•°æ®é›†ï¼ˆä»Ž world-v3 æ•°æ®é›†ä¸é‡‡æ ·äº† 2T tokens)上è®ç»ƒè€Œæˆï¼Œæ‹¥æœ‰ 0.4B å‚数。尽管体é‡ä¸å¤§ï¼Œä½†å®ƒçš„表现å´ä»¤äººæƒŠè‰³â€”—支æŒå…¨çƒ 100 多ç§è¯è¨€å’Œä»£ç ,并在多è¯è¨€èƒ½åŠ›ä¸Šæ˜¾è‘—超越其他åŒç±»æ¨¡åž‹ã€‚
RWKV-7-World 的强大能力在社区 WebGPU Demo ä¸å¾—到了充分展示。例如,它å¯ä»¥ç”¨æµç•…的英è¯å›žç”问题,甚至还能生æˆé«˜è´¨é‡çš„ Python 代ç 。以下是一些生æˆæ¡ˆä¾‹çš„简è¦å±•ç¤ºï¼š
这些能力使得 RWKV-7-World æˆä¸ºå¤šè¯è¨€ä»»åŠ¡å’Œä»£ç 生æˆé¢†åŸŸçš„强大工具。
黑白棋,也被称为å转棋,是一ç§ç»å…¸çš„ç–略游æˆã€‚而 RWKV Othello 项目则是 RWKV 社区的åˆä¸€åŠ›ä½œã€‚这个项目由社区æˆå‘˜ @Jellyfish042 基于 RWKV-7 架构开å‘,使用 CoT(Chain of Thought)数æ®è®ç»ƒäº†ä¸€ä¸ªä»… 8.8M å‚æ•°çš„å°åž‹æ¨¡åž‹ã€‚
RWKV Othello 模型å¯ä»¥ä¸Žäººç±»çŽ©å®¶æˆ–其他模型进行自动对战。在与人类对战时,它展现出了éžå¸¸é«˜çš„胜率。更令人惊å¹çš„是,它支æŒä¸¤ç§æŽ¨ç†æ¨¡å¼ï¼š
以下是ä¸åŒæœç´¢æ ‘深度和宽度下的获胜率测试结果:
RWKV Othello 项目ä¸ä»…展示了 RWKV 模型在ç–略游æˆä¸çš„潜力,还è¯æ˜Žäº†å…¶åœ¨æ’定资æºå 用下的高效性。
å¦‚æžœä½ ä»¥ä¸º RWKV 的能力仅é™äºŽæ¨¡åž‹è®ç»ƒå’ŒæŽ¨ç†ï¼Œé‚£å°±å¤§é”™ç‰¹é”™äº†ã€‚RWKV WebGPU Demo å°† AI çš„é”åŠ›å¸¦åˆ°äº†ä½ çš„æµè§ˆå™¨ä¸ã€‚æ— éœ€ä¸‹è½½ä»»ä½•åº”ç”¨ï¼Œä½ åªéœ€æ‰“å¼€æµè§ˆå™¨ï¼Œå°±èƒ½ä½“验 RWKV 的强大功能。
在 Demo çš„èŠå¤©ç•Œé¢ï¼Œä½ å¯ä»¥é€‰æ‹©ä¸€ä¸ª RWKV-7-World 模型(0.1B 或 0.4B. ¼‰ï¼Œç‚¹å‡»åŠ 载按钮åŽï¼Œæ¨¡åž‹å°†åœ¨æµè§ˆå™¨ä¸ç¦»çº¿è¿è¡Œã€‚ä½ ç”šè‡³å¯ä»¥ç›´æŽ¥æ‹–动本地模型文件到界é¢ä¸ï¼Œçœç•¥ä¸‹è½½è¿‡ç¨‹ã€‚✅
15 谜题,åˆç§°æ•°å—推盘游æˆï¼Œæ˜¯ä¸€ä¸ªç»å…¸çš„滑å—益智游æˆã€‚在 Demo çš„ 15 puzzle ç•Œé¢ï¼Œä½ å¯ä»¥è®¾ç½®ä¸€å±€å…¨æ–°çš„谜题,点击开始按钮åŽï¼ŒRWKV-puzzle15 模型会自动解开谜题,并展示推ç†è¿‡ç¨‹ã€‚
在 Demo 的音ä¹ç•Œé¢ï¼Œä½ å¯ä»¥é©±åŠ¨ RWKV ABC 模型进行作曲。åªéœ€é€‰æ‹©ä¸€ä¸ª ABC æ ¼å¼çš„ prompt,点击生æˆéŸ³ä¹æŒ‰é’®ï¼ŒRWKV å°±ä¼šä¸ºä½ åˆ›ä½œä¸€æ®µæ—‹å¾‹ã€‚
ä½œä¸ºä¸€ç§ RNN 模型,RWKV çš„éšè—状æ€æ¼”åŒ–æ˜¯å…¶æ ¸å¿ƒæœºåˆ¶ä¹‹ä¸€ã€‚åœ¨ State Replay ç•Œé¢ï¼Œä½ å¯ä»¥ç›´è§‚地查看模型的éšè—状æ€å¦‚何éšè¾“å…¥å˜åŒ–è€Œæ¼”åŒ–ã€‚ä¾‹å¦‚ï¼Œå½“è¾“å…¥â€œä½ å¥½â€æ—¶ï¼ŒRWKV-7-World-0.1B 模型的 12 层状æ€ä¼šä»¥é¢œè‰²æ–¹æ ¼çš„å½¢å¼å±•ç¤ºï¼š
è¿™ç§å¯è§†åŒ–工具ä¸ä»…帮助我们ç†è§£æ¨¡åž‹çš„内部机制,还为模型优化æ供了é‡è¦å‚考。
RWKV-7 çš„å‘å¸ƒå’Œç›¸å…³é¡¹ç›®çš„æŽ¨å‡ºï¼Œæ ‡å¿—ç€è¿™ä¸€æž¶æž„在多è¯è¨€å¤„ç†ã€ç–略游æˆã€ç›Šæ™ºè§£è°œå’ŒéŸ³ä¹åˆ›ä½œç‰é¢†åŸŸçš„巨大潜力。更é‡è¦çš„是,这一切都得益于始智 AI wisemodel 社区的开放和创新精神。
å¦‚æžœä½ ä¹Ÿå¯¹ RWKV 的未æ¥æ„Ÿå…´è¶£ï¼Œä¸å¦¨åŠ 入社区的开æºå…±åˆ›å¿—愿者计划,与全çƒå¼€å‘者一起探索 AI çš„æ— é™å¯èƒ½ã€‚
è¦å‘表评论,您必须先登录。
🧠RWKV çš„æ–°ç¯‡ç« ï¼šTransformer å’Œ RNN 的完美结åˆ
想象一下,一个 AI æ¨¡åž‹æ—¢èƒ½åƒ Transformer ä¸€æ ·é«˜æ•ˆå¹¶è¡Œå¤„ç†ï¼Œåˆèƒ½åƒ RNN ä¸€æ ·æ“…é•¿å¤„ç†åºåˆ—æ•°æ®ã€‚RWKV å°±æ˜¯è¿™æ ·ä¸€ä½â€œè·¨ç•Œé€‰æ‰‹â€ã€‚作为一ç§åˆ›æ–°çš„深度å¦ä¹ 网络架构,RWKV 巧妙结åˆäº† Transformer å’Œ RNN 的优点,既实现了高度并行化è®ç»ƒï¼Œåˆåœ¨æŽ¨ç†æ•ˆçŽ‡ä¸Šè¡¨çŽ°ä¼˜å¼‚。
而现在,RWKV 的故事迎æ¥äº†æ–°çš„ç¯‡ç« â€”â€”RWKV-7 架构的å‘布。这ä¸ä»…仅是一次技术å‡çº§ï¼Œæ›´æ˜¯ä¸€æ¬¡å…¨æ–°çš„探索。RWKV 社区基于这一架构推出了多个令人兴奋的项目,其ä¸åŒ…括支æŒå¤šè¯è¨€çš„ RWKV-7-World 模型,以åŠä¸€æ¬¾åŸºäºŽé»‘白棋(Othello)的ç–略模型 RWKV Othello。
🌠RWKV-7-World:多è¯è¨€çš„世界之旅
RWKV-7-World-0.4B 模型是 RWKV-7 系列的明星选手。它在 world-2.9 æ•°æ®é›†ï¼ˆä»Ž world-v3 æ•°æ®é›†ä¸é‡‡æ ·äº† 2T tokens)上è®ç»ƒè€Œæˆï¼Œæ‹¥æœ‰ 0.4B å‚数。尽管体é‡ä¸å¤§ï¼Œä½†å®ƒçš„表现å´ä»¤äººæƒŠè‰³â€”—支æŒå…¨çƒ 100 多ç§è¯è¨€å’Œä»£ç ,并在多è¯è¨€èƒ½åŠ›ä¸Šæ˜¾è‘—超越其他åŒç±»æ¨¡åž‹ã€‚
🎯 生æˆæ¡ˆä¾‹ï¼šä»Žè‹±è¯åˆ° Python 的全能选手
RWKV-7-World 的强大能力在社区 WebGPU Demo ä¸å¾—到了充分展示。例如,它å¯ä»¥ç”¨æµç•…的英è¯å›žç”问题,甚至还能生æˆé«˜è´¨é‡çš„ Python 代ç 。以下是一些生æˆæ¡ˆä¾‹çš„简è¦å±•ç¤ºï¼š
这些能力使得 RWKV-7-World æˆä¸ºå¤šè¯è¨€ä»»åŠ¡å’Œä»£ç 生æˆé¢†åŸŸçš„强大工具。
â™Ÿï¸ RWKV Othello:黑白棋的ç–略大师
黑白棋,也被称为å转棋,是一ç§ç»å…¸çš„ç–略游æˆã€‚而 RWKV Othello 项目则是 RWKV 社区的åˆä¸€åŠ›ä½œã€‚这个项目由社区æˆå‘˜ @Jellyfish042 基于 RWKV-7 架构开å‘,使用 CoT(Chain of Thought)数æ®è®ç»ƒäº†ä¸€ä¸ªä»… 8.8M å‚æ•°çš„å°åž‹æ¨¡åž‹ã€‚
🤖 与人类对战:胜率惊人
RWKV Othello 模型å¯ä»¥ä¸Žäººç±»çŽ©å®¶æˆ–其他模型进行自动对战。在与人类对战时,它展现出了éžå¸¸é«˜çš„胜率。更令人惊å¹çš„是,它支æŒä¸¤ç§æŽ¨ç†æ¨¡å¼ï¼š
以下是ä¸åŒæœç´¢æ ‘深度和宽度下的获胜率测试结果:
RWKV Othello 项目ä¸ä»…展示了 RWKV 模型在ç–略游æˆä¸çš„潜力,还è¯æ˜Žäº†å…¶åœ¨æ’定资æºå 用下的高效性。
🌠RWKV WebGPU Demo:æµè§ˆå™¨ä¸çš„ AI é”法
å¦‚æžœä½ ä»¥ä¸º RWKV 的能力仅é™äºŽæ¨¡åž‹è®ç»ƒå’ŒæŽ¨ç†ï¼Œé‚£å°±å¤§é”™ç‰¹é”™äº†ã€‚RWKV WebGPU Demo å°† AI çš„é”åŠ›å¸¦åˆ°äº†ä½ çš„æµè§ˆå™¨ä¸ã€‚æ— éœ€ä¸‹è½½ä»»ä½•åº”ç”¨ï¼Œä½ åªéœ€æ‰“å¼€æµè§ˆå™¨ï¼Œå°±èƒ½ä½“验 RWKV 的强大功能。
💬 对è¯åŠŸèƒ½ï¼šéšæ—¶éšåœ°çš„ AI èŠå¤©ä¼™ä¼´
在 Demo çš„èŠå¤©ç•Œé¢ï¼Œä½ å¯ä»¥é€‰æ‹©ä¸€ä¸ª RWKV-7-World 模型(0.1B 或 0.4B. ¼‰ï¼Œç‚¹å‡»åŠ 载按钮åŽï¼Œæ¨¡åž‹å°†åœ¨æµè§ˆå™¨ä¸ç¦»çº¿è¿è¡Œã€‚ä½ ç”šè‡³å¯ä»¥ç›´æŽ¥æ‹–动本地模型文件到界é¢ä¸ï¼Œçœç•¥ä¸‹è½½è¿‡ç¨‹ã€‚✅
🎲 解 15 谜题:ç»å…¸ç›Šæ™ºæ¸¸æˆçš„新玩法
15 谜题,åˆç§°æ•°å—推盘游æˆï¼Œæ˜¯ä¸€ä¸ªç»å…¸çš„滑å—益智游æˆã€‚在 Demo çš„ 15 puzzle ç•Œé¢ï¼Œä½ å¯ä»¥è®¾ç½®ä¸€å±€å…¨æ–°çš„谜题,点击开始按钮åŽï¼ŒRWKV-puzzle15 模型会自动解开谜题,并展示推ç†è¿‡ç¨‹ã€‚
🎵 作曲功能:AI 的音ä¹åˆ›ä½œä¹‹æ—…
在 Demo 的音ä¹ç•Œé¢ï¼Œä½ å¯ä»¥é©±åŠ¨ RWKV ABC 模型进行作曲。åªéœ€é€‰æ‹©ä¸€ä¸ª ABC æ ¼å¼çš„ prompt,点击生æˆéŸ³ä¹æŒ‰é’®ï¼ŒRWKV å°±ä¼šä¸ºä½ åˆ›ä½œä¸€æ®µæ—‹å¾‹ã€‚
🔠State å¯è§†åŒ–:探索éšè—状æ€çš„奥秘
ä½œä¸ºä¸€ç§ RNN 模型,RWKV çš„éšè—状æ€æ¼”åŒ–æ˜¯å…¶æ ¸å¿ƒæœºåˆ¶ä¹‹ä¸€ã€‚åœ¨ State Replay ç•Œé¢ï¼Œä½ å¯ä»¥ç›´è§‚地查看模型的éšè—状æ€å¦‚何éšè¾“å…¥å˜åŒ–è€Œæ¼”åŒ–ã€‚ä¾‹å¦‚ï¼Œå½“è¾“å…¥â€œä½ å¥½â€æ—¶ï¼ŒRWKV-7-World-0.1B 模型的 12 层状æ€ä¼šä»¥é¢œè‰²æ–¹æ ¼çš„å½¢å¼å±•ç¤ºï¼š
è¿™ç§å¯è§†åŒ–工具ä¸ä»…帮助我们ç†è§£æ¨¡åž‹çš„内部机制,还为模型优化æ供了é‡è¦å‚考。
🚀 未æ¥çš„æ— é™å¯èƒ½
RWKV-7 çš„å‘å¸ƒå’Œç›¸å…³é¡¹ç›®çš„æŽ¨å‡ºï¼Œæ ‡å¿—ç€è¿™ä¸€æž¶æž„在多è¯è¨€å¤„ç†ã€ç–略游æˆã€ç›Šæ™ºè§£è°œå’ŒéŸ³ä¹åˆ›ä½œç‰é¢†åŸŸçš„巨大潜力。更é‡è¦çš„是,这一切都得益于始智 AI wisemodel 社区的开放和创新精神。
å¦‚æžœä½ ä¹Ÿå¯¹ RWKV 的未æ¥æ„Ÿå…´è¶£ï¼Œä¸å¦¨åŠ 入社区的开æºå…±åˆ›å¿—愿者计划,与全çƒå¼€å‘者一起探索 AI çš„æ— é™å¯èƒ½ã€‚
📚 å‚考文献