WAIC 2024揭秘：当AI走出科幻小说，大模型青年如何改写未来规则？

2024年7月6日 - 世界人工智能大会（WAIC 2024）今日进入第三天，议程转向了AI技术在城市管理和公共服务中的实际应用及面临的挑战。本次大会聚集了来自全球各地的专家、学者及业界精英，共同探讨人工智能的未来方向及其对社会的影响。

作为受邀媒体之一，数据猿依然参与到了这盛会当中，感受各行各业顶尖的专家学者在会展上，展示他们最新的研究成果。

未知边界

2024年世界人工智能大会中“未知边界”大模型探索未来论坛，汇聚全球优秀青年学者，共同探讨大模型技术的前沿问题与未来趋势，特别是在多语言处理、图学习、智能教育、语言智能体、GUI代理等领域的应用。

论坛重点关注大模型的五个方向：大语言模型、多模态大模型、应用框架、创新应用、对齐评测和微调。

复旦大学副研究员桂韬提出了一种基于大语言模型的智能体综合框架，旨在解决智能体与人类能力和价值观的对齐问题。桂韬的研究关注点在于确保这些由大模型驱动的智能体能够与人类的价值观保持一致，避免出现与人类社会规范相悖的行为。

桂韬的演讲中，他深入探讨了智能体与人类对齐的策略，即如何让智能体不仅具备高效的任务执行能力，还能理解和遵循人类社会的道德和伦理标准。这涉及到智能体的学习方式、决策机制以及它们如何与人类互动。桂韬还分享了对智能体未来发展的深刻见解，指出随着大模型技术的进步，智能体将越来越接近人类的智能水平，但同时也会遇到更多的挑战，比如如何处理复杂的道德困境、如何在没有明确指令的情况下做出合理的判断等问题。

桂韬的演讲体现了当前大模型技术在智能体研发中的重要地位，同时也强调了对齐评测的重要性，即确保智能体的行为始终符合人类的价值观和社会规范。这不仅是技术上的挑战，也涉及哲学、心理学和伦理学等多个学科的交叉融合。桂韬的分享为智能体研究提供了新的思考方向，促使科研人员在追求智能体能力提升的同时，更加注重其行为的可控性和道德性，以实现真正意义上的人工智能与人类社会的和谐共存。

图：复旦大学副研究员桂韬

此前在Github上爆火的Sailor大模型的开发者团队——新加坡Sea AI Lab，他们也来到了WAIC上。团队成员之一的刘乾以“Sailor”项目为例，分享了在处理多语言数据时所面临的复杂性和多样性问题，以及如何通过有效的策略提高模型训练的效率和性能。

刘乾强调，多语言大模型训练是一个复杂的过程，需要应对不同语言间的语法结构差异、词汇量大小不一以及文化背景的多样性等挑战。为了克服这些困难，他提出了一系列策略，包括使用统一的编码方式、引入跨语言的预训练方法、利用大规模语料库进行训练以及采用迁移学习等技术手段。这些策略有助于提高模型对不同语言的适应性和泛化能力，使模型能够更好地理解和生成多种语言的内容。

通过分析“Sailor”项目中的最新进展，刘乾揭示了如何利用这些策略有效提升模型的训练效率和性能，从而为构建高质量的多语言大模型提供了宝贵的实践经验。他还提到了在多语言大模型训练过程中的一些成功经验和遇到的挑战，如如何平衡多语言数据集的规模和质量、如何解决低资源语言的训练瓶颈，以及如何确保模型在不同语言间的一致性和准确性等问题。

图：新加坡Sea AI Lab团队成员刘乾

香港大学助理教授黄超所演讲的主题是《探索大语言模型(LLMs)在图学习中的力量》。他的演讲主要关注于如何利用大语言模型（LLMs）来增强图学习的能力，特别强调了LLMs在处理图数据方面的独特优势及其在社交网络分析、推荐系统等领域的创新应用。

黄超首先介绍了大语言模型在图学习中的应用，说明了它们如何通过理解复杂的图结构来提升数据处理能力。大语言模型能捕捉到图中节点之间的复杂关系，这使得它们在处理诸如社交网络中的人际关系、产品推荐系统中的用户偏好预测等任务时表现出色。通过结合大语言模型的上下文理解和生成能力，图学习可以更有效地挖掘图数据中的隐含模式，进而改进决策制定和预测精度。

图：香港大学助理教授黄超

清华大学教育研究院助理研究员于济凡则表示，智能教育环境不应仅仅停留在简单应用智能工具的阶段，而是要迈向理解和运用智能能力的更高层次。这涉及到利用大模型的深度学习能力，为学生创造定制化的学习路径，从而适应每个学生的个人学习风格和需求。通过这种方式，大模型能够提供即时反馈，帮助学生更好地掌握知识，同时监测他们的认知发展，确保学习过程的有效性和针对性。

图：清华大学教育研究院助理研究员于济凡

在智能教育环境中，大语言模型可以扮演多种角色，如虚拟导师、学习资源推荐者和学习进度追踪者。它们能够根据学生的学习历史和表现调整教学内容，甚至预测学生可能遇到的学习难点，提前提供辅助。这种高度个性化的学习方式有助于激发学生的学习兴趣，提高学习效率，同时也减轻教师的工作负担。

在这之后，俄亥俄州立大学的博士生谷雨在报告中详细阐述了一套全新的评估体系，旨在解决多模态大模型为语言智能体带来的复杂问题。他深入分析了当前多模态语言智能体的现状，并对未来发展路线提出了独到见解。多模态语言智能体能够理解、处理和生成文字、语音、图像等多种信息形式，这对传统单一模态模型提出了新的要求。谷雨的框架考虑了多模态数据的融合、跨模态推理和智能体与人类用户的交互，以期提升智能体在复杂情境下的理解和响应能力。

谷雨的演讲强调了多模态数据处理的难度，以及在训练和评估阶段如何克服这些障碍。他指出，现有的评估方法可能不足以衡量多模态智能体的全面性能，因此需要创新的评估策略。谷雨的评估框架旨在全面考量智能体在多模态环境下的表现，包括语义理解、情感识别、情境感知等多方面能力，这对于推动多模态智能体的实用性至关重要。

图：俄亥俄州立大学博士生谷雨

通过谷雨的演讲，听众得以深入了解多模态语言智能体在理论与实践层面的最新进展，以及如何通过优化评估方法，进一步提升智能体在现实世界应用中的表现。这一研究方向不仅对学术界有重要意义，也将对人机交互、客户服务、智能家居等众多领域产生深远影响，预示着未来智能体将能够更自然、更智能地与人类沟通和协作。

行业先锋

AI的落地离不开专家学者的研究，但是同样的，企业对于AI的应用方式，也是重中之重。

联汇科技：第二代多模态智能体

在WAIC上，联汇科技正式发布第二代多模态智能体 OmAgent与Om 多模态智能体全新产品系列，为行业用户打造「超级智能体助手」。OmAgent深度融合大模型OmDet V2的全面感知与大模型OmChat V2的思考决策能力，其中OmDet V2通过EFH高性能融合头和一系列优化技术，实现了20倍以上的感知速度提升；OmChat V2则支持高达512K的上下文长度，能够处理复杂的视频、图文混合等输入，具有卓越的时序关系判断和多图关系理解能力。

Om 多模态智能体全新产品系列包括空间运营智能体、知识服务智能体，空间运营智能体通过物联设备全面感知物理环境，实现精细化空间管理；知识服务智能体则专注于数字资产管理，提升决策质量和操作效率，Om 多模态智能可以广泛应用众多行业场景。

金蝶：重新定义财务框架

金蝶在2024世界人工智能大会的“智能财务”论坛上分享了AI时代财务管理的变革与不变、金蝶自身的AI布局以及部分客户AI应用的成功案例。

财务管理框架被重新定义，从陀螺型转向沙漏型，意味着记录体系的投入减少，而作战体系和支撑体系的投入增加，这将帮助企业在核心业务上创造更多价值。AI技术的应用使得财务预测从依赖经验转向精准预测，借助大数据和深度学习，财务预测变得更准确且能迅速适应市场变化。财务管理信息从专享转为普惠，AI助手让信息获取变得简便。专家服务从个人精英变为AI天团，即一个由AI组成的团队，可提供跨领域综合服务。外部报告重点从财务指标转向发展能力评价，AI有助于生成ESG报告并评估企业发展能力。

企业从传统财务系统升级到“AI+财务”智能平台，AI助手可随时辅助决策，提升效率。财务人员需从AI观望者转为拥抱者，金蝶将AI优先作为战略，赋能产品创新。

Bilibili：做中国最大的AIGC社区

B站作为中国AI领域影响力最大的社区，在2024世界人工智能大会（WAIC 2024）上全面展示了其在AI内容生态、AIGC创作和AI技术研发方面的成就。B站拥有广泛的AI内容覆盖，涉及模型测评、训练、音频视频、科普、行业动态和算法讨论，吸引了大量年轻用户，特别是00后，他们构成了AI内容消费的主力军，平均每日播放量同比增长超过80%。

B站不仅是AI知识获取的平台，也是AIGC（AI Generated Content）创作的热土。UP主们利用AI技术进行创新创作，如语音克隆、图像生成和虚拟人创建，推动了AIGC生态的快速发展。B站通过举办创意活动和比赛，如AI影像和音乐大赛，激发了用户参与AIGC创作的热情。

格创东智：大模型时代的工业操作系统

图：格创东智市场总监杨丽

格创东智作为中国工业AI的领先企业，其市场总监杨丽在大会上分享了工业AI和新质生产力的见解，并与业界同仁探讨了AI在制造业中的应用前景。格创东智专注于利用AI、大数据和物联网技术，重新定义工业操作系统，通过AI驱动的工业智能解决方案，推动制造业向智能化转型，提高生产效率和产品质量。

格创东智的一站式数据智能解决方案，包括了良率监控、异常定位、预测预警等九大AI应用功能，能全面覆盖制造业的各个环节，从研发到售后服务，通过数据大模型实现智能化生产，从而达到成本和良率的最优平衡。在具体案例中，如TCL华星通过格创东智的工业智能平台，实现了自动化、数据化和智能化升级，被评为国家首批“数字领航”企业之一。另一家半导体晶圆厂也通过格创东智提供的AI服务，有效降低了人力和损失成本。

思想碰撞

人工智能的发展，本质上是一场跨越企业、开发者与学者三界的思想盛宴。在这个交织着创新与探索的舞台上，企业以其敏锐的市场洞察力和雄厚的资源投入，引领着技术的商业化进程，将抽象的概念转化为触手可及的产品和服务。开发者，则是这一过程中的核心驱动力，他们凭借精湛的技术能力和对用户需求的深刻理解，不断优化算法、完善功能，使AI系统更加智能、更加人性化。学者们则站在理论研究的最前沿，通过严谨的实验和深刻的分析，揭示AI的内在机理，提出新的算法模型，为技术进步奠定坚实的科学基础。三者之间，通过频繁的交流与合作，实现了知识的共享、灵感的碰撞，共同绘制出人工智能领域一幅幅绚丽多彩的图景。每一次跨界对话，都可能孕育出颠覆性的创新；每一场深度合作，都有可能开启全新的研究方向。正是这种多元化的互动与融合，推动着AI技术以前所未有的速度向前发展，不断拓展人类认知与能力的边界。