跳转至

HARDWARE–SOFTWARE CO-DESIGN · AI SYSTEMS

从 Tensor 到 Transistor

一套面向软硬件协同的 AI 系统知识库：从模型算子与数据流出发，经由编译器、ISA 与架构仿真，最终落到芯片微架构和推理性能。

从 A100 开始 查看软硬件栈
ModelAttention · MoE · Operator
CompilerGraph · IR · Schedule
ArchitectureISA · Dataflow · Memory
SiliconSM · Tensor Core · NoC

知识地图

flowchart LR
    M[模型架构<br/>Tensor / Operator] --> O[推理加速算法<br/>精度 / 稀疏 / 融合]
    O --> C[AI 编译器<br/>图优化 / IR / 调度]
    C --> I[数据流与 ISA<br/>映射 / 指令 / 存储]
    I --> H[芯片架构与微架构<br/>计算 / 访存 / 互连]
    H --> S[架构仿真器<br/>性能 / 功耗 / 设计空间]
    S -. 反馈设计 .-> C
    S -. 校准模型 .-> H

  • 主流芯片架构与微架构

    用 A100 建立 GPU 的层次视角，再扩展到 CPU、GPU 与专用 AI 加速器的计算、存储和互连设计。

    A100 架构图解

  • 架构仿真器

    区分功能、时序、Trace 与解析模型，理解 gem5、Accel-Sim、Timeloop、MAESTRO 各自回答什么问题。

    仿真器全景

  • 数据流、ISA 与 AI 编译器

    串起计算图、IR、算子调度、代码生成与硬件指令，理解“模型如何真正跑到芯片上”。

    软硬件全栈

  • 主流模型架构

    从张量形状和算子比例理解 Transformer、CNN、MoE 与多模态，而不是只记模型名称。

    模型架构全景

  • 量化等推理加速算法

    覆盖 PTQ/QAT、权重与激活量化、稀疏、蒸馏、算子融合和 IO-aware 算法，并强调硬件可兑现性。

    量化基础

当前维护边界

当前优先完成以上五条主线。vLLM 等推理平台、分布式训练与集群工程暂不展开；等软硬件协同主线稳定后，再作为下一阶段接入，避免知识结构过早发散。

每个主题的统一分析框架

  1. 工作负载：输入形状、数据类型、算子与依赖是什么？
  2. 映射：循环如何分块、并行，数据驻留在哪里？
  3. 硬件：计算、容量、带宽、延迟与互连哪一个先触顶？
  4. 软件：编译器、运行时和 kernel 如何暴露或隐藏硬件能力？
  5. 证据：用仿真、profile、微基准和端到端指标如何交叉验证？

这套知识库不追求堆叠名词，而是持续回答一件事：一个模型算子为什么在某类芯片上快或慢，软件栈又能做什么改变。