내가 직접 해보는 블라인드 테스트 (ABX)

 어제 갑자기 손실 압축 음원을 무손실 음원과 구분할 수 있는지의 여부가 화제가 되어서, 블라인드 테스트 웹사이트가 없어도 자신이 직접 손실 압축한 음원으로 ABX 테스트를 쉽게 진행하고 그 결과도 얻을 수 있는 방법을 올립니다.
  
 1. foobar2000을 다운로드 및 설치한다. ( https://www.foobar2000.org/download ) 
  
 2. foobar2000의 ABX comparator component를 다운로드 후 설치한다. ( https://www.foobar2000.org/components/view/foo_abx )  
 2-1. 위 링크에서 component를 다운받는다. 
 2-2. foobar2000을 실행 후 File-Preference 옵션을 선택한 후 Component 항목을 선택한다. 
 2-3. Component 창 중 아래의 Install 단추를 누른 후 다운받은 ABX Comparator component 파일을 선택해 설치한다.  

 
 2-4. Component 설치 후 foobar2000을 다시 시작하면 설치가 완료되며, ABX comparator를 사용할 수 있다. 
   
 
 3. 테스트에 사용할 음원 2개를 foobar2000의 playlist에 추가한 후 두 파일을 선택한 상태에서 우클릭을 한다. Utilities-ABX tracks를 선택한다.  
 

  
 
 4. Training mode를 선택하면 ABX 선택을 한 번 할 때마다 자신의 선택이 맞았는지의 여부와, 찍었을 때 현재의 상황 이상으로 많이 맞추는 결과가 나올 확률인 p-value도 알려준다. 해당 mode를 선택하지 않으면 checksum 값까지 같이 기록되는 log가 남는 진지한(?) 테스트 mode가 시작된다. 테스트를 시작하기 전 ABX 선택을 몇 번 실행할 지 선택하고, 테스트를 시작하면 끝날 때까지 자신의 선택이 맞았는지 확인할 수 없다.  
  
 Training mode로 ABX 테스트를 진행 중인 모습
 

 
 
 테스트 mode를 실행한 후 저장할 수 있는 log의 예시
  

foo_abx 2.0.6d report
foobar2000 v1.6.6
2021-05-24 22:44:35

File A: castanets.flac
SHA1: 9af27a000c7fa21863dba0574bf08c55ec81683e
File B: castanets.m4a
SHA1: e5f6407b4592a69f2058ea18647cb505ec738ede

Used DSPs:
Equalizer, IIR Filter, IIR Filter, IIR Filter, Meier Crossfeed, Scale, Resampler (SoX), Advanced Limiter

Output:
WASAPI (push) : 헤드폰(Meizu HiFi DAC Headphone Amplifier PRO), 32-bit
Crossfading: NO

22:44:35 : Test started.
22:44:39 : 01/01
22:44:40 : 02/02
22:44:40 : 02/03
22:44:41 : 03/04
22:44:42 : 03/05
22:44:42 : 03/06
22:44:44 : 03/07
22:44:45 : 04/08
22:44:46 : 05/09
22:44:48 : 06/10
22:44:48 : Test finished.

 ----------
Total: 6/10
p-value: 0.377 (37.7%)

 -- signature --
adbc63becc31a422af66bfc66ddda48c89f5ee70

 
 남이 올린 log가 조작된 것은 아닌지 의심이 든다면 https://www.foobar2000.org/abx/signaturecheck
 에서 log 전체와 밑의 signature까지 복사 붙여넣기를 해 확인할 수 있다. 
  
 
추가적인 정보
1) p-value는 0.05 (5%) 이하면 보통 통계적으로 유의미한 결과를 보인다고 해석하나, 가끔가다 진짜로 운이 좋아서 찍었는데 5%의 확률을 뚫는 경우 역시 존재한다. 반복적으로 ABX 테스트를 실행했을 때 p-value가 계속 낮게 나온다면 그만큼 본인이 찍었을 확률이 0%에 가깝다는 것이다. 
  
2) 샘플을 전체적으로 다 듣고 비교하는 것보다는 차이가 있는 것 같은 몇 초 정도의 특정 부분만 딱 정해서 반복해 듣는 것을 추천한다.  
  
3) 피곤하거나 초반에는 들렸던 차이가 갈수록 사라지는 것 같다면 잠깐 쉬고 다시 테스트를 진행한다. 블라인드 테스트에서 피로로 인한 영향을 최소화하는 것은 정확한 결과를 얻기 위해서도 반드시 필요하다.
  
4) 손실 압축 음원 테스트의 경우, 고비트레이트 음원을 테스트하기 전 같은 인코더의 저비트레이트 음원을 먼저 들어서 왜곡이 어떤지 확인을 하면 구분에 도움이 될 수 있다. 
  
5) 손실 압축 음원 테스트의 경우, foobar2000 ABX Comparator 중 Use Replaygain/Simple track gain 옵션은 테스트를 정확하게 하고 싶다면 사용하면 안 된다. 손실 압축 인코더는 gain 값을 (사실상) 변화시키지 않아야 하며, 이 역시 성능에 영향을 준다. 해당 옵션을 선택하면 각각의 트랙에 서로 다른 양의 gain을 가해 음량을 조절하기 때문에 제대로 된 ABX 테스트가 이루어지 않는 경우가 발생할 수 있다.
  
 6) 블라인드 테스트는 ABX만 있는 것이 아니다. 여러 사람이 원본과 손실 압축한 음원을 블라인드 상태에서 점수를 매겨 측정하는 ABC/Hr 이나 MUSHRA와 같은 방식 역시 존재한다. ( ABC/Hr 방식으로 손실 압축 인코더 사이의 성능을 평가한 예시: https://listening-test.coresv.net/results.htm )