Các dấu hiệu để phát hiện manh mối âm thanh trong Deepfake

Việc phát hiện âm thanh deepfake hoàn toàn là một thách thức khác. Nếu không có tín hiệu trực quan của video và cơ hội xác định sự không nhất quán về mặt nghe nhìn, việc phát hiện deepfake phụ thuộc rất nhiều vào phân tích âm thanh (các phương pháp khác như xác minh siêu dữ liệu cũng có thể hữu ích trong một số trường hợp).

Một nghiên cứu do Đại học College London công bố vào năm 2023 cho thấy con người có thể phát hiện lời nói deepfake trong 73% thời gian (tiếng Anh và tiếng Quan Thoại). Giống như các video deepfake, con người thường phát hiện bằng trực giác các kiểu giọng nói không tự nhiên trong lời nói do AI tạo ra, ngay cả khi họ không thể nói rõ điều gì không ổn.

Các dấu hiệu phổ biến bao gồm:

Nói nhỏ

Thiếu biểu hiện tự nhiên

Tiếng ồn nền hoặc hiện tượng nhiễu

Giọng nói hoặc lời nói không nhất quán

Giọng thiếu sự “tròn trịa”

Sự truyền tải trong giọng nói quá "kịch)

Thiếu những dấu hiệu tự nhiên (không nói vấp, hắng giọng, v.v...)

Một lần nữa, các thuật toán cũng có thể phân tích giọng nói để tìm những dấu hiệu deepfake tương tự, nhưng những phương pháp mới đang giúp các công cụ trở nên hiệu quả hơn. Nghiên cứu của USENIX đã xác định các mẫu trong quá trình tái tạo giọng nói bằng AI không mô phỏng được giọng nói tự nhiên. Báo cáo tóm tắt rằng công cụ tạo giọng nói AI tạo ra âm thanh phù hợp với các dải giọng hẹp mà không có chuyển động tự nhiên của giọng nói con người.

Nghiên cứu trước đây của Viện Horst Görtz đã phân tích âm thanh thật và âm thanh deepfake bằng tiếng Anh và tiếng Nhật, cho thấy sự khác biệt tinh tế ở tần số cao hơn của lời nói thật và âm thanh deepfake.

Cả âm thanh và sự không nhất quán ở tần số cao đều có thể được cảm nhận bởi người nghe và các mô hình phát hiện AI. Trong trường hợp có sự khác biệt về tần số cao, về mặt lý thuyết, các mô hình AI có thể ngày càng trở nên chính xác hơn - mặc dù điều tương tự cũng có thể xảy ra đối với những tác phẩm deepfake AI.