需要专门的图像处理硬件

通用DSP，例如Texas Instruments 的C66x设备或 Analog Devices 的Blackfin处理器，是能够处理图像数据的两个示例设备。然而，重要的是要认识到成像系统对处理硬件有特殊要求，ISP 通常会比通用设备更有效地完成工作。

也许重要的考虑是数据的数量。如果我们以 44.1 kHz 和 16 位分辨率对音频进行采样，则实时 DSP 应用程序每秒将处理 88,200 字节的音频数据。以每秒一帧的速度连续拍摄的 24 兆像素 DSLR 相机在完全不同的领域中运行；即使我们假设每个像素一个字节，我们也在谈论每秒超过 2400 万字节。一些图像处理算法非常复杂，当涉及如此多的数据时，专用硬件模块比由负担过重的中央处理器 (CPU) 执行的定制代码例程更可取。

此外，此示例还演示了为什么 ISP 可能需要以并行处理功能或作为芯片上的多核系统来实现。这是当所有这些图像数据流入时，相机的计算电子设备必须能够支持其他功能——例如焦点跟踪或自动曝光。 

什么是图像信号处理器？

这个问题并不像我想的那么简单。首先，让我们考虑一下德州仪器 (TI) 的“成像信号处理器” LM98519 。在下面的图 1 中，我们可以看到该设备的黑色图表。

图 1.方框图取自 LM98519 数据表。图片由Texas Instruments提供[点击图片放大]

在此示例产品中，此 ISP 只是用于基于电荷耦合器件 (CCD)的成像器的数据转换器。基本上，它在白电平和黑电平反馈系统的帮助下对两个多路复用 CCD 输出波形进行采样和数字化。但是，我发现术语成像信号处理器 也用于指代为互补金属氧化物半导体 (CMOS)传感器设计的英特尔硬件和用于高动态范围视频处理的 IP 核。 

这里，在图 2 中，是标识为“图像信号处理器”（因此不完全是图像信号处理器）的另一部分的框图。

图 2.该图取自 Arm 的 Mali-C55 ISP 的数据表。图片由Arm提供[点击图片放大]

尽管术语几乎相同，但这部分显然属于不同的类别并且具有更广泛的功能。这个Arm ISP对图像数据执行各种复杂的数学运算：

    缺陷修正
    降噪
    去马赛克以从拜耳过滤像素中提取 RGB 值
    颜色空间转换等

Texas Instruments 的 DaVinci 处理器，如图 3 所示）甚至比 Arm ISP 的集成度更高：

图 3. DMVA3/DMVA4 数据表中的框图。图片由Texas Instruments提供 [点击图片放大]

在这里，您可以看到用于图像处理操作的硬件与微处理器和大量可供选择的数字外围设备相结合。TI 将此设备称为“数字媒体处理器”，尽管它可以被描述为图像信号处理器。实际上，TI 使用术语图像信号处理器 来表示达芬奇“成像子系统”中的一个部分。