之前的code dex proxy，谷歌的还有Dept Facebook poser，最近比较火的工作的。啊，看上去呢很多人就是大家对操作啊跟大模型结合有了新的地方和思考。从本质上经济上来讲，可能不一定有实质性软件。机器是一个非常复杂的一个工程的问题。难就难在它需要硬件系统和软件算法相互的一个耦合迭代的问题。这个东西互相等啊，这个左脚右脚它始终赶不上。就造成了2012年之前嘛，很长一段时间是一个硬件极其稀缺，没有时间给大家去迭代软件算法的这么一个过程。都是非常简单的一些算法。直到2012年一个a challenge，这些才逐渐的出来这种利空的方式。硬件结构的迭代让软件算法呃逐渐的收敛到model的control啊，哪里的MPC这样的一个过程。这个软件有一个比较好的一个思考框架。后续2002年开始了啊，起来以后我觉得这个硬件有大量的统计。在这个过程中我觉得最关键的两个工作是advances在MIT的那期工作。他在加入2017年的paper，就QDD准确区的那个关节。另一个也是pt学生写的哈这个刚才SMC的paper，后来那个MIT开源的也是这篇这软件算法有个迭代的开始，两篇不是现在看来最好，但是对整个历史发展来讲起到关键性很重要的一个。目前大家说人形机器人因为和大模型的这个结合，而选择性的去忽略了在最底层的这种fundamental问题上面。比如说grasping的contact上面，从来没有提过在模型本身就是这种大的模型里面很重要一个部分，觉得可能需要去引起更多的关注的一个点。第二件事我们会看到它模型本质上是在机器人带来一个什么样的一个本质的一个改变，就是对任务的这种表达。实际上任务的表达一直都没有一个清晰的定义。大语言模型进来之后，要么可以将自然语言这一个维度引入到任务表达。但是我们如果再回顾历史，其实前面的人已经做了很多用知识图谱或者用其他的方式来做任务的表达。今天的大语言模型其实是从更高的维度或者更大的一个数据的维度，把这些知识再次把它放在一起。那其实还是比较想看到这次会不会突破任务表达瓶颈。第一个就是多维感知的这个技术，其实有一个很大的问题是怎么样进行决策。大家写了很多很多的规则，从这个视觉感知也好，语音感知也好，都意味着信息。那这几个维度的信息之间很难把它融在一块。大模型能把环境的信息、历史的信息、上下文的信息、你的语音的信息，各种各样的信息都可以把它在一块儿来帮助你来统一做决策。这个是我觉得是个非常非常大的一个机机器人有了综合感知的能力。这里你能做任何一个感知的决策都不是单一维度的，都是多维度的一个感知。而这个多维度的感知，实际上机器来讲，我认为是比较重要的。你就让这个机器人具备了处理他从来没处理过的任务的这个能力。第二个我比较关注的是如何过学习的方式去做运动的规划。为什么我说一定要基于这个数据驱动或者学习的方式来做？其实我是希望能够真正去打通大脑的小脑的链接。因为能控制也是一个临时系统，整个系统都是东拼西凑组成的一个系统。那就需要找到一种能够把整个系统串联起来的一条主线。我认为的方式可能就是基于跟你的基基于数据驱动的这种可能是一个比较有价值的一个研究的方向。还有一个呢就是新兴传感器的使用。不管你经过大脑规划，还是通过小脑的这种无意识的规划，都是基于反传感器的反馈。如何去把这些传感器有效的利用起来，跟我们的运动决策任务的规划，动作的规划呢会有机的联系起来。做这个的dancing确是非常重要的。这个这个模型出现之后，能很好的把不同的mobility信号变成model AAAA的。就是这种moli moderate的的确也是一个问题。机器人硬件飞速发展，那么人是不一样的，生下来是这样的，几百年以后，几千年以前还是这样。机器人的变化是很快的，今天有这个sensor明天有那个sensor。那今天的这个data recording,等到那个新的参数出来的话,你原来那个data就不一定有用的,也是很有很有意思。
### 人形机器人攻略：解锁大模型融合的关键技术

在当今科技飞速发展的时代，人形机器人与大模型的结合成为了热门话题。掌握相关关键技术，能让你更好地理解和应用这一领域。

多维感知技术是基础。视觉、语音等多维度信息融合困难，但大模型能统一决策，赋予机器人综合感知能力，使其能处理新任务。

运动规划方面，基于数据驱动或学习的方式至关重要。它能打通大脑与小脑链接，串联起拼凑的系统，是有价值的研究方向。

新兴传感器的使用也不容忽视。要将其与运动决策、动作规划有机联系，发挥其在机器人运行中的重要作用。

通过深入了解这些技术，你将在人形机器人与大模型结合的探索中走在前列，为相关应用和研究提供有力支持。
人形机器人,大模型,多维感知,运动规划,新兴传感器