紫东太初

9个月前更新 7 0 0

中科院自动化所与武汉人工智能研究院联合打造的多模态大模型

所在地:
中国
语言:
zh
收录时间:
2025-08-25
紫东太初紫东太初

中国科学院自动化研究所 × 武汉人工智能研究院 | 全球首个千亿级图文音三模态大模型

站点定位

紫东太初(taichu-web.ia.ac.cn)是中科院自动化所与武汉人工智能研究院联合打造的「图文音三模态大模型」官方体验门户,基于千亿参数「紫东太初 3.0」架构,面向科研、工业与公众提供多轮对话、128K 长文本、AI 绘画、音乐生成、3D 场景理解、雷达信号分析等全栈多模态能力,并支持知识库检索增强与私有化部署,致力于成为数字物联时代的通用智能基座。

核心能力

  • 语言模型
    • 128K 超长上下文,中文推理 ≈ GPT-4o 95%,中文写作 > GPT-4o 3%。
  • 视觉-语言
    • 中文视觉对话 > GPT-4o 2%,OCR 类任务 > GPT-4o 3%,视觉定位超越专有模型。
  • 图文音三模态
    • 零样本语音情感识别 SOTA,图文音混合理解 > Gemini-1.5-pro 6%。
  • 3D 与信号
    • 点云级 3D 场景理解;雷达信号识别与参数反演。
  • 工具调用与规划
    • 多步任务拆解、跨模态工具协同,复杂任务规划 > GPT-4o 5%。
  • 检索增强
    • 专属知识库 + 联网搜索,回答可追溯,幻觉率下降 40%。

主要功能分区

  1. 立即对话
    • 免注册体验:多轮问答、长文本创作、逻辑推理。
    • 登录解锁:文件上传、知识库绑定、历史会话云端同步。
  2. 多模态创作
    • AI 绘画:20+ 艺术风格,支持细节词精准控制,可导出 4K PNG/SVG。
    • 音乐生成:文本指令 → 30 秒级旋律片段,支持情绪、流派、节奏描述。
    • 视频脚本:一键将图文生成为分镜脚本,支持镜头、时长、旁白。
  3. 知识库中心
    • 拖拽上传 PDF/Word/PPT/Excel/TXT,自动切片向量化。
    • 问答结果定位到段落,支持溯源页码与原文高亮。
  4. 3D & 信号实验
    • 3D 场景:上传 .ply / .xyz 点云 → 物体检测、关系推理、路径规划。
    • 信号分析:支持 SAR、AIS、ADS-B 数据上传 → 型号识别、参数估计、轨迹还原。
  5. 科研工具
    • 论文速读:批量解析 arXiv/知网链接 → 生成创新点、方法、实验对比表。
    • 代码沙箱:在线 Python / MATLAB 环境,图表渲染,支持 pip 安装第三方库。
  6. API & 私有化
    • RESTful / WebSocket / gRPC 三协议,支持 Function Calling。
    • 私有化镜像:单卡 3090 即可推理 lite 版;千卡集群支持千亿模型全精度。
    • 国产芯片适配:昇腾、海光、寒武纪、沐曦验证通过。

场景解决方案

行业 场景示例 落地效果
科研教育 论文综述、实验数据分析、课程教案生成 效率提升 3–5 倍
工业制造 3D 质检、设备故障语音报警、雷达信号诊断 误报率降低 60%
媒体设计 AI 插画、短视频配乐、跨模态广告素材 制作周期从周缩短到小时
智慧城市 视频事件检测、三维导航问答、IoT 信号监控 城市事件识别率提升 25%
军事国防 遥感图文解译、雷达目标识别、指挥决策辅助 情报处理速度提升 10 倍

技术与合规

  • 模型规模:1.8 T 总参数 / 220 B 激活参数,MoE 架构。
  • 训练数据:2.3 TB 图文音三模态,覆盖 40+ 行业、60+ 语种。
  • 推理性能:FP16 精度首 token 延迟 < 200 ms;INT4 量化显存占用 < 24 GB。
  • 安全合规:通过《生成式 AI 服务管理暂行办法》备案(京网信算备 11010802042913 号),支持国密 SM4 加密、等保三级、分级权限、审计日志。
  • 开源计划:7 月开源 7B/14B 图文音三模态权重及训练脚本(GitHub 预热仓库已上线)。

访问与入口

版权与运营

  • 运营主体:中国科学院自动化研究所 & 武汉人工智能研究院
  • ICP备案:京ICP备05046689号-10
  • 公安备案:京公网安备11010802042913号

数据统计

相关导航

暂无评论

none
暂无评论...