时间: 2023.3.27-2023.4.2
本周大事记
1. 微软提出TaskMatrix.AI
微软提出的TaskMatrix.AI,想通过大模型和数百万个API来完成任务还是有意思的。
TaskMatrix.AI: Completing Tasks by Connecting Foundation Models with Millions of APIs
链接:arxiv.org
论文中提出的这个TaskMatrix.AI主要是想理解多模态的输入,然后生成代码,代码里面调用API来完成任务。 它有统一格式的API平台和任务库,方便开发人员定制模型,也方便大模型调用。
TaskMatrix.AI拥有终身学习能力,可以通过学习组合模型和API来完成新任务,而且这是可以解释的。
关键组件有四个:
多模态对话模型
API 平台
API Selector
API Executor
论文中还使用RLHF来提高多模态模型和API Selector的能力。
能够完成的任务:
视觉任务,比如 图像编辑,图像问答等
多模态长内容生成,比如 生成图文
自动化 比如:操控手机,浏览器
访问云服务 比如: 发现新API
控制物联网设备 比如:机器人,家用智能设备
我的想法,大模型或者多模态模型出现确实提高了以前对话系统的能力,以前智能音箱大战畅想的很多东西都可以拿出来继续做。
参考资源:
一个AI驱动百万个API!微软提出多任务处理模型TaskMatrix,机器人和物联网终于有救了
2. huggingGPT: 一种新的 AI 任务解决方案
HuggingGPT ,主要是利用 LLM(如 ChatGPT)与机器学习社区(如 HuggingFace)中的各种 AI 模型相连接,解决 AI 任务。
主要思路是使用 ChatGPT 在收到用户请求时进行任务规划,根据 HuggingFace 中提供的功能描述选择模型,用所选 AI 模型执行每个子任务,并根据执行结果对响应进行总结。
HuggingGPT: Solving AI Tasks with ChatGPT and its Friends in HuggingFace
论文: arxiv.org
最新技术:
GlyphDraw: Learning to Draw Chinese Characters in Image Synthesis Models Coherently
论文: arxiv.org
Self-Refine: Iterative Refinement with Self-Feedback
论文:arxiv.org
主页: selfrefine.info
300美元平替ChatGPT!斯坦福130亿参数「小羊驼」诞生,暴杀「草泥马」mp.weixin.qq.com
Language Models can Solve Computer Tasks
论文: arxiv.org
Llama-X开源!呼吁每一位NLPer参与推动LLaMA成为最先进的LLM
Forget-Me-Not: Learning to Forget in Text-to-Image Diffusion Models
论文: arxiv.org
AvatarCraft: Transforming Text into Neural Human Avatars with Parameterized Shape and Pose Control
论文: arxiv.org
Training Language Models with Language Feedback at Scale
论文: arxiv.org
GPTEVAL: NLG Evaluation using GPT-4 with Better Human Alignment
论文: arxiv.org
HOLODIFFUSION: Training a 3D Diffusion Model using 2D Images
论文: arxiv.org
StyleDiffusion: Prompt-Embedding Inversion for Text-Based Editing
ChatGPT要把数据标注行业干掉了?比人便宜20倍,而且还更准
open flamingo 发布
Instruct 3D-to-3D: Text Instruction Guided 3D-to-3D conversion
论文: arxiv.org
Your Diffusion Model is Secretly a Zero-Shot Classifier
论文: arxiv.org
如何评估大语言模型
GestureDiffuCLIP: Gesture Diffusion Model with CLIP Latents
abs: arxiv.org
课程:
ControlNet 微调活动来啦
GPT-4论文精读
商业:
AI 从业者们聊GPT:大模型的进化、格局和 AI Native 应用 www.xiaoyuzhoufm.com
专访张亚勤:热议的“中国版ChatGPT”,如何理解其意义?
The Age of AI:拾象大模型及OpenAI投资思考
“ChatGPT们”的淘金时代
AI技术会成为游戏行业的生产力工具吗?
叫停GPT-4后续AI大模型!马斯克、Bengio等人发出公开信,千人响应 mp.weixin.qq.com
案例:
Auto-GPT
AI论文速递
迅速走红,日本人做了款ChatGPT驱动的侦探游戏,玩家扮警察审AI mp.weixin.qq.com