一、图像特征提取

 工具与库

 软件工具: Python + OpenCV/PIL + PyTorch/TensorFlow

 预训练模型: ResNet50、ViT、CLIP

 推荐库: `torchvision`, `opencvpython`, `Pillow`

 

 操作步骤

1. 安装依赖库

   ```bash

   pip install opencvpython Pillow torch torchvision

   ```

 

2. 加载图像并预处理

   ```python

   import cv2

   import torch

   from torchvision import transforms

 

    定义预处理流程（与预训练模型匹配）

   preprocess = transforms.Compose([

       transforms.Resize(256),

       transforms.CenterCrop(224),

       transforms.ToTensor(),

       transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225])

   ])

 

    加载图像

   image = cv2.imread("image.jpg")   使用OpenCV读取

   image = cv2.cvtColor(image, cv2.COLOR_BGR2RGB)   转换为RGB格式

 

    转换为Tensor并归一化

   image_tensor = preprocess(image)

   image_tensor = image_tensor.unsqueeze(0)   添加批次维度 [1, 3, 224, 224]

   ```

 

3. 提取特征

   ```python

   from torchvision.models import resnet50, ResNet50_Weights

 

    加载预训练模型

   model = resnet50(weights=ResNet50_Weights.IMAGENET1K_V2)

   model.eval()   切换到推理模式

 

    提取特征（移除分类头）

   with torch.no_grad():

       features = model(image_tensor)   输出维度 [1, 2048]

 

    保存特征

   import numpy as np

   np.save("image_features.npy", features.numpy())

   ```

 

 

 

 二、视频特征提取

 工具与库

 软件工具: FFmpeg + PyTorch

 预训练模型: 3DCNN (I3D)、TimeSformer

 推荐库: `decord`（高效视频加载）, `pytorchvideo`

 

 操作步骤

1. 安装依赖库

   ```bash

   pip install decord pytorchvideo

   ```

 

2. 视频分帧与采样

   ```python

   from decord import VideoReader

   import numpy as np

 

    读取视频并采样关键帧

   vr = VideoReader("video.mp4")

   total_frames = len(vr)

   frame_indices = np.linspace(0, total_frames1, num=16, dtype=int)   均匀采样16帧

   frames = vr.get_batch(frame_indices).asnumpy()   获取帧数据 [16, H, W, 3]

   ```

 

3. 提取时空特征

   ```python

   import torch

   from pytorchvideo.models.hub import slow_r50

 

    加载预训练3DCNN模型

   model = slow_r50(pretrained=True)

   model.eval()

 

    预处理帧数据（调整尺寸、归一化）

   frames = torch.from_numpy(frames).permute(0, 3, 1, 2)   [16, 3, H, W]

   frames = torch.nn.functional.interpolate(frames, size=(224, 224))   缩放

   frames = frames / 255.0   归一化到[0,1]

 

    提取特征

   with torch.no_grad():

       features = model(frames.unsqueeze(0))   输入维度 [1, 3, 16, 224, 224]

       features = features.mean(dim=[2,3,4])   全局平均池化 [1, 2048]

 

   np.save("video_features.npy", features.numpy())

   ```

 

 

 

 三、音频特征提取

 工具与库

 软件工具: Python + Librosa + PyTorch

 特征类型: MFCC、Mel频谱、预训练模型（VGGish、Wav2Vec）

 推荐库: `librosa`, `torchaudio`

 

 操作步骤

1. 安装依赖库

   ```bash

   pip install librosa torchaudio

   ```

 

2. 提取MFCC特征

   ```python

   import librosa

 

    加载音频文件

   audio, sr = librosa.load("audio.wav", sr=16000)   采样率16kHz

 

    提取MFCC特征

   mfcc = librosa.feature.mfcc(

       y=audio, sr=sr, n_mfcc=40, n_fft=2048, hop_length=512

   )   输出形状 [40, 时间帧数]

 

    保存为Numpy数组

   np.save("audio_mfcc.npy", mfcc)

   ```

 

3. 使用预训练模型提取高级特征（以VGGish为例）

   ```python

   import torch

   import torchaudio

   from torchvggish import vggish, VGGish

 

    加载预训练VGGish模型

   model = VGGish()

   model.eval()

 

    加载音频并重采样至16kHz

   waveform, sr = torchaudio.load("audio.wav")

   if sr != 16000:

       waveform = torchaudio.functional.resample(waveform, sr, 16000)

 

    提取特征

   with torch.no_grad():

       features = model(waveform)   输出形状 [1, 128]

 

   np.save("audio_vggish.npy", features.numpy())

   ```

 

 

 

 四、特征整合与预测

 多模态特征合并

```python

 加载各模态特征

image_feat = np.load("image_features.npy")

video_feat = np.load("video_features.npy")

audio_feat = np.load("audio_vggish.npy")

 

 拼接特征（假设已对齐）

multimodal_feat = np.concatenate([

    image_feat.flatten(),

    video_feat.flatten(),

    audio_feat.flatten()

], axis=0)   例如 [2048+2048+128=4224维]

 

 输入分类器（示例：使用Scikitlearn）

from sklearn.svm import SVC

clf = SVC()

clf.fit(train_features, train_labels)

pred = clf.predict([multimodal_feat])

```

 

 

 

 五、可视化与调试工具

 常用软件

1. TensorBoard: 可视化特征分布、模型训练曲线

   ```python

   from torch.utils.tensorboard import SummaryWriter

   writer = SummaryWriter()

   writer.add_embedding(features, metadata=labels)

   ```

 

2. Librosa显示频谱图

   ```python

   import librosa.display

   import matplotlib.pyplot as plt

 

   plt.figure()

   librosa.display.specshow(mfcc, x_axis='time')

   plt.colorbar()

   plt.savefig("mfcc_plot.png")

   ```

 

3. OpenCV显示视频关键帧

   ```python

   for frame in frames:

       cv2.imshow("Frame", frame)

       cv2.waitKey(30)   按帧播放

   ```

 

 

 

 六、优化与注意事项

1. 计算加速  

    使用GPU: 将数据和模型加载到GPU（`model.to('cuda')`）。

    批量处理: 对视频/音频分块并行提取特征。

 

2. 处理变长数据  

    音频/视频长度不一致时，使用填充（Padding）或滑动窗口分段处理。

 

3. 内存管理  

    视频特征提取时，优先使用`decord`替代OpenCV（内存占用减少50%）。

    对大文件使用HDF5存储特征而非Numpy数组。