[Dev] Add elementwise ops and doc · Pull Request !14 · MetaX-MACA/mcTileLang

# PR Summary: Elementwise Operations Enhancement

fix #IDBW2A

## 概述

本 PR 主要包含两部分内容：
1. mcTileLang 与 tilelang 的 elementwise 实现对比分析
2. 新增 6 个常用激活函数算子实现

## 一、mcTileLang vs tilelang 对比分析

### 核心差异

通过对比 `example_elementwise_add.py` 的两个版本，发现主要差异在于**内存拷贝策略**：

#### mcTileLang 实现
- **直接拷贝模式**：Local Memory → Global Memory
- 代码简洁，适用于通用场景
- 在 MACA 等非 Hopper 架构上性能更优

#### tilelang 实现
- **两级拷贝模式**：Local Memory → Shared Memory → Global Memory
- 在 Hopper (SM90+) 架构上利用 stmatrix + TMA store 硬件特性
- 需要额外的 shared memory 开销

## 二、新增激活函数算子

### 新增算子列表

本 PR 新增了 6 个常用激活函数的 elementwise 实现：

| 算子 | 文件 | 公式 |
|------|------|------|
| ReLU | `example_elementwise_relu.py` | `max(0, x)` |
| Sigmoid | `example_elementwise_sigmoid.py` | `1 / (1 + exp(-x))` |
| Tanh | `example_elementwise_tanh.py` | `tanh(x)` |
| SiLU (Swish) | `example_elementwise_silu.py` | `x * sigmoid(x)` | 
| LeakyReLU | `example_elementwise_leaky_relu.py` | `max(0, x) + α * min(0, x)` |
| GELU | `example_elementwise_gelu.py` | `0.5x(1 + tanh(√(2/π)(x + 0.044715x³)))` |

类型	指派人员	状态
审查	ryianyang	进行中 (0/1人)
测试	ryianyang	进行中 (0/1人)

MetaX-MACA/mcTileLang .gitee-modal { width: 500px !important; }

搜索帮助

MetaX-MACA/mcTileLang