따알깍PROMPT DICT 앱으로 열기

영상 제작 · 모션그래픽 · 사운드 반응 · 비주얼라이저 · 분석

오디오 분석 · 매핑 기법 Audio analysis & mapping

위 효과들을 정확하게 만드는 뒷단 기술. 프롬프트에 이 용어들을 넣으면 오푸스가 "대충 BPM 추측"이 아니라 실제 신호 처리로 구현합니다.

카드 60개 · 카드마다 설명과 바로 복사해 쓸 수 있는 프롬프트 전문 · 앱에서 라이브 데모로 보기

카드 목록 60개
  1. 저·중·고 대역 분리
  2. 어택·릴리즈 스무딩
  3. 온셋 검출
  4. 비트 그리드 · 다운비트
  5. BPM과 박자 카운터
  6. 스펙트럴 센트로이드
  7. 스펙트럴 플럭스
  8. 사이드체인 덕킹
  9. 로그 주파수 축
  10. RMS와 피크 · 데시벨
  11. 임계값 게이트
  12. 스테레오 패닝 → 위치
  13. 크로마 (음계) 휠
  14. 라우드니스 (LUFS)
  15. 스템 분리 매핑
  16. MIDI 노트 구동
  17. ADSR 엔벨로프
  18. FFT 크기 선택
  19. smoothingTimeConstant
  20. A-가중치
  21. 박자 위상 (0→1)
  22. 퀀타이즈
  23. 오프라인 사전 분석 JSON
  24. MFCC 음색 특징
  25. 자기상관 템포 추정
  26. 큐 시트 (구간 경계)
  27. RMS vs 피크 매핑
  28. 시간 영역 vs 주파수 영역
  29. Meyda 오디오 특징
  30. 슈퍼플럭스 온셋 (비브라토 오검출 억제)
  31. 적응형 피크 피킹 (이동 평균 + δ · 대기 프레임)
  32. 온셋 함수 비교 (에너지 · HFC · 복소 도메인)
  33. 동적 계획법 비트 트래킹 (Ellis · tightness)
  34. 템포그램 · 로컬 템포 곡선 (가속하는 라이브 연주)
  35. 템포 옥타브 오류 (87 vs 174) · 연출 펄스 고르기
  36. 다운비트 · 박자표 추정 (못갖춘마디 · 4/4→3/4)
  37. 실시간 박 예측 (위상 고정 루프)
  38. 분석 창 시각 기준 (시작 · 중앙 · 끝) 지연 보정
  39. 영상 프레임당 집계 (hop = sr/fps · max vs mean)
  40. 하모닉 · 퍼커시브 분리 (미디언 필터 HPSS)
  41. 트랜지언트 · 서스테인 분리 (빠른 − 느린 엔벨로프)
  42. YIN 피치 추적 (누적 정규화 차분 · 임계 0.1)
  43. 비브라토 검출 (속도 Hz · 깊이 cents)
  44. 조성 검출 (Krumhansl–Schmuckler 프로파일 상관)
  45. 코드 인식 (크로마 템플릿 + 비터비 스무딩)
  46. 상수 Q 변환 (CQT) vs STFT 저음 해상도
  47. 스펙트럴 롤오프 · 대역폭 (필터 스윕 추적)
  48. 자동 정규화 (롤링 퍼센타일 p5–p95)
  49. 제어 신호 매핑 곡선 (진폭 · 지각 · 소프트 니)
  50. 크로스오버 필터 대역 분리 (Linkwitz–Riley 4차)
  51. 풀믹스 드럼 판별 (대역 온셋 · 불응기 · 동시 억제)
  52. 자기 유사도 행렬 · 후렴 찾기 (Foote 노벨티)
  53. 빌드업 · 드롭 검출 (온셋 밀도 · 센트로이드 상승 · 저역 낙차)
  54. 보컬 활동 검출 (평탄도 + 행오버 → 가사 레이어)
  55. AE 오디오 → 키프레임 변환 + 표현식 정리
  56. 스펙트럼 화이트닝 (빈별 적응 정규화)
  57. 박 동기 특징 집계 (librosa.util.sync)
  58. 스윙 비율 · 마이크로타이밍 검출
  59. 스테레오 폭 · 위상 상관 (M/S 분석)
  60. NMF 스펙트로그램 분해 (템플릿 × 활성화)

저·중·고 대역 분리

Band splitting

  • Web Audio
  • librosa
  • Meyda

스펙트럼을 3대역으로 나눠 각각 다른 요소에 연결합니다.

프롬프트

AnalyserNode 주파수 데이터를 LOW(20–250Hz), MID(250Hz–4kHz), HIGH(4–16kHz) 세 대역으로 평균 내서 각각 0–1로 정규화하고, 저음은 스케일, 중음은 색, 고음은 파티클 생성률에 연결해줘.

라이브 데모 열기 — 저·중·고 대역 분리

어택·릴리즈 스무딩

Attack/release envelope

  • Web Audio
  • librosa
  • Meyda

날것의 신호를 그대로 쓰면 떨립니다. 올라갈 땐 빠르게, 내려갈 땐 천천히.

프롬프트

오디오 값은 엔벨로프 팔로워로 다듬어줘: 상승 시 계수 0.9(즉시), 하강 시 0.06(약 0.25초 릴리즈). 모든 시각 매핑은 이 스무딩된 값을 사용.

라이브 데모 열기 — 어택·릴리즈 스무딩

온셋 검출

Onset detection

  • Web Audio
  • librosa
  • Meyda

소리가 "시작되는" 순간을 찾아 이벤트로 씁니다.

프롬프트

librosa.onset.onset_detect(units="time")로 온셋 시각을 뽑아 JSON 배열로 저장하고, 각 온셋에 파티클 버스트·플래시 같은 일회성 이벤트를 연결해줘.

라이브 데모 열기 — 온셋 검출

비트 그리드 · 다운비트

Beat grid & downbeats

  • Web Audio
  • librosa
  • Meyda

박자와 마디 첫 박을 알면 연출을 구조적으로 배치할 수 있습니다.

프롬프트

librosa.beat.beat_track으로 비트 시각을 얻고 4박마다 다운비트로 표시해. 다운비트에는 장면 전환, 일반 박에는 펄스, 8분음표에는 작은 반짝임을 배치해줘.

라이브 데모 열기 — 비트 그리드 · 다운비트

BPM과 박자 카운터

BPM & beat counter

  • Web Audio
  • librosa
  • Meyda

BPM 하나만 정확하면 박자 위상을 계산할 수 있습니다.

프롬프트

곡의 BPM(librosa.beat.tempo)을 구하고 첫 비트 오프셋을 맞춘 뒤 beat = (t − offset) × BPM/60 공식으로 박자 번호와 위상을 계산해 모든 애니메이션의 기준 시계로 써줘.

라이브 데모 열기 — BPM과 박자 카운터

스펙트럴 센트로이드

Spectral centroid

  • Web Audio
  • librosa
  • Meyda

소리의 "밝기". 고음이 많을수록 값이 높습니다.

프롬프트

spectral centroid(주파수 가중 평균)를 계산해 0–1로 정규화하고 색조(hue)·색온도에 매핑해줘. 밝은 소리는 차갑게, 어두운 소리는 따뜻하게.

라이브 데모 열기 — 스펙트럴 센트로이드

스펙트럴 플럭스

Spectral flux

  • Web Audio
  • librosa
  • Meyda

직전 프레임 대비 스펙트럼 변화량. 새로운 소리가 들어오는 순간을 잡습니다.

프롬프트

프레임마다 스펙트럼의 양의 변화량 합(spectral flux)을 구해 임계값을 넘는 순간을 이벤트로 쓰고, 값 자체는 글리치 강도에 연결해줘.

라이브 데모 열기 — 스펙트럴 플럭스

사이드체인 덕킹

Sidechain ducking

  • Web Audio
  • librosa
  • Meyda

킥이 칠 때 다른 요소가 잠시 물러나는 EDM 펌핑 감각.

프롬프트

킥 엔벨로프로 배경 요소의 크기·밝기를 1 − kick×0.8로 눌러 사이드체인 펌핑처럼 보이게 해줘.

라이브 데모 열기 — 사이드체인 덕킹

로그 주파수 축

Log frequency scale

  • Web Audio
  • librosa
  • Meyda

FFT 빈은 선형이라 그대로 그리면 저음이 왼쪽 몇 칸에 몰립니다.

프롬프트

FFT 빈을 로그 스케일(예: 20Hz–16kHz를 64밴드로 로그 분할)로 재배치해서 저음부터 고음까지 막대가 고르게 반응하게 해줘.

라이브 데모 열기 — 로그 주파수 축

RMS와 피크 · 데시벨

RMS, peak, dB

  • Web Audio
  • librosa
  • Meyda

체감 음량(RMS)과 순간 최대(피크)를 구분합니다.

프롬프트

getFloatTimeDomainData로 RMS와 피크를 계산하고 20·log10으로 dB 변환해. 피크 홀드는 1.5초 유지 후 하강.

라이브 데모 열기 — RMS와 피크 · 데시벨

임계값 게이트

Threshold gate

  • Web Audio
  • librosa
  • Meyda

일정 크기를 넘을 때만 반응해 잡음 떨림을 막습니다.

프롬프트

값이 0.45를 넘을 때만 트리거하는 게이트를 두고, 히스테리시스(켜짐 0.45 / 꺼짐 0.38)로 경계에서 깜빡임을 막아줘.

라이브 데모 열기 — 임계값 게이트

스테레오 패닝 → 위치

Stereo pan to position

  • Web Audio
  • librosa
  • Meyda

소리가 왼쪽/오른쪽 어디서 나는지를 화면 위치로.

프롬프트

ChannelSplitter로 좌우 RMS를 따로 구해 (R−L)/(R+L)로 패닝 값을 만들고, 오브젝트의 x 위치에 매핑해줘.

라이브 데모 열기 — 스테레오 패닝 → 위치

크로마 (음계) 휠

Chroma wheel

  • Web Audio
  • librosa
  • Meyda

지금 울리는 음(C~B)을 12색 휠로.

프롬프트

librosa.feature.chroma_stft로 12음 크로마를 추출해 C~B를 색상환 12색에 배정하고, 우세한 음의 색으로 장면 팔레트를 바꿔줘.

라이브 데모 열기 — 크로마 (음계) 휠

라우드니스 (LUFS)

Loudness (LUFS)

  • Web Audio
  • librosa
  • Meyda

사람이 느끼는 크기 기준. 플랫폼 송출 기준(-14 LUFS)과 연동.

프롬프트

pyloudnorm으로 모멘터리·숏텀·통합 LUFS를 측정해 영상 강도 곡선으로 쓰고, 최종 음원은 -14 LUFS로 노멀라이즈해줘.

라이브 데모 열기 — 라우드니스 (LUFS)

스템 분리 매핑

Stem separation mapping

  • Web Audio
  • librosa
  • Meyda

드럼·베이스·보컬·기타를 분리하면 악기별 연출이 가능합니다.

프롬프트

Demucs로 음원을 drums/bass/vocals/other 4개 스템으로 분리하고, 스템별 RMS를 각각 다른 시각 요소(드럼=플래시, 베이스=스케일, 보컬=가사 밝기, 기타=파티클)에 연결해줘.

라이브 데모 열기 — 스템 분리 매핑

MIDI 노트 구동

MIDI-driven visuals

  • Web Audio
  • librosa
  • Meyda

오디오 분석 대신 MIDI 노트로 정확하게 구동.

프롬프트

MIDI 파일(@tonejs/midi로 파싱)의 노트 on/off 시각과 음높이를 읽어, 음높이는 y 위치, 벨로시티는 밝기, 길이는 막대 길이로 피아노롤을 그리고 재생선과 겹치는 노트를 빛나게 해줘.

라이브 데모 열기 — MIDI 노트 구동

ADSR 엔벨로프

ADSR envelope

  • Web Audio
  • librosa
  • Meyda

Attack·Decay·Sustain·Release로 반응 곡선을 디자인.

프롬프트

각 트리거에 ADSR(어택 0.05s, 디케이 0.15s, 서스테인 0.6, 릴리즈 0.3s) 엔벨로프를 적용해 시각 요소의 크기·밝기 곡선으로 써줘.

라이브 데모 열기 — ADSR 엔벨로프

FFT 크기 선택

FFT size trade-off

  • Web Audio
  • librosa
  • Meyda

작으면 빠르지만 거칠고, 크면 정밀하지만 느립니다.

프롬프트

비트 반응용 요소는 fftSize 512(빠른 반응), 스펙트럼 표시용은 fftSize 4096(정밀)으로 AnalyserNode를 두 개 따로 써줘.

라이브 데모 열기 — FFT 크기 선택

smoothingTimeConstant

Analyser smoothing

  • Web Audio
  • librosa
  • Meyda

AnalyserNode 내장 스무딩 값에 따라 반응성이 달라집니다.

프롬프트

AnalyserNode.smoothingTimeConstant를 막대형 EQ는 0.8, 비트 트리거는 0.3으로 설정하고 차이를 주석으로 설명해줘.

라이브 데모 열기 — smoothingTimeConstant

A-가중치

A-weighting

  • Web Audio
  • librosa
  • Meyda

사람 귀가 덜 민감한 극저음·극고음을 낮춰 체감과 맞춥니다.

프롬프트

주파수 막대에 A-weighting 곡선을 곱해 사람 귀 감도에 맞춘 높이로 표시해줘 (극저음·극고음 감쇠).

라이브 데모 열기 — A-가중치

박자 위상 (0→1)

Beat phase

  • Web Audio
  • librosa
  • Meyda

박자 안 진행도를 0→1로 쓰면 루프 애니메이션이 박자에 고정됩니다.

프롬프트

beatPhase = beat % 1, barPhase = (beat % 4)/4를 계산해 모든 반복 애니메이션의 진행도로 사용해. 박자가 바뀌어도 어긋나지 않게.

라이브 데모 열기 — 박자 위상 (0→1)

퀀타이즈

Quantize to grid

  • Web Audio
  • librosa
  • Meyda

이벤트 시각을 가장 가까운 박자 격자에 붙입니다.

프롬프트

검출된 온셋이나 손으로 찍은 큐 시각을 8분음표 격자에 퀀타이즈해서 연출 타이밍을 정렬해줘. 허용 오차 ±40ms.

라이브 데모 열기 — 퀀타이즈

오프라인 사전 분석 JSON

Offline analysis JSON

  • Web Audio
  • librosa
  • Meyda

영상 렌더는 실시간 분석 대신 미리 뽑은 데이터로 프레임을 정확히 맞춥니다.

프롬프트

렌더 전에 Python(librosa)으로 30fps 프레임마다 {t, beat, kick, snare, rms, low, mid, high}를 계산해 JSON으로 저장하고, 애니메이션은 프레임 번호로 이 JSON을 읽어 결정론적으로 그려줘.

라이브 데모 열기 — 오프라인 사전 분석 JSON

MFCC 음색 특징

MFCC timbre

  • Web Audio
  • librosa
  • Meyda

음색의 지문. 같은 음량이라도 악기·목소리에 따라 다른 값.

프롬프트

librosa.feature.mfcc로 13계수를 뽑아 장면 질감(노이즈 양, 형태 변형)에 매핑해 음색이 바뀌면 화면 성격도 바뀌게 해줘.

라이브 데모 열기 — MFCC 음색 특징

자기상관 템포 추정

Autocorrelation tempo

  • Web Audio
  • librosa
  • Meyda

신호가 얼마 간격으로 반복되는지로 BPM을 찾습니다.

프롬프트

온셋 강도 곡선의 자기상관에서 첫 피크 지연(lag)을 찾아 BPM을 추정하고, librosa 결과와 비교해 더 안정적인 값을 써줘.

라이브 데모 열기 — 자기상관 템포 추정

큐 시트 (구간 경계)

Cue sheet

  • Web Audio
  • librosa
  • Meyda

인트로·벌스·후렴 시작 시각을 표로 만들어 연출 계획의 뼈대로.

프롬프트

librosa.segment(또는 msaf)로 구간 경계를 추정하고 [시각, 구간명, 연출] 큐 시트 표를 먼저 만들어 보여준 뒤, 그 표대로 장면을 배치해줘.

라이브 데모 열기 — 큐 시트 (구간 경계)

RMS vs 피크 매핑

RMS vs peak mapping

  • Web Audio
  • librosa
  • Meyda

느린 변화는 RMS로, 순간 타격은 피크로.

프롬프트

큰 요소의 크기·밝기 같은 느린 변화는 RMS에, 플래시·셰이크 같은 순간 반응은 피크(또는 온셋)에 연결해줘.

라이브 데모 열기 — RMS vs 피크 매핑

시간 영역 vs 주파수 영역

Waveform vs spectrum

  • Web Audio
  • librosa
  • Meyda

파형(getTimeDomainData)과 스펙트럼(getFrequencyData)은 쓰임이 다릅니다.

프롬프트

오실로스코프·라인 파형은 getFloatTimeDomainData, 막대·방사형 EQ는 getByteFrequencyData를 쓰고, 두 데이터를 한 화면 위아래로 함께 보여줘.

라이브 데모 열기 — 시간 영역 vs 주파수 영역

Meyda 오디오 특징

Meyda audio features

  • Web Audio
  • librosa
  • Meyda

브라우저에서 rms·zcr·centroid·flatness 등을 한 번에.

프롬프트

Meyda 라이브러리로 rms, zcr, spectralCentroid, spectralFlatness, energy, loudness를 실시간 추출하고 각각 다른 시각 파라미터에 연결해줘.

라이브 데모 열기 — Meyda 오디오 특징

슈퍼플럭스 온셋 (비브라토 오검출 억제)

SuperFlux onset detection: lag-2 frame + 3-bin frequency max filter to ignore vibrato

  • librosa
  • madmom
  • Python
  • Canvas

바이올린·보컬처럼 비브라토가 걸린 긴 음에서는 음높이가 흔들릴 때마다 에너지가 옆 주파수 빈으로 옮겨 가서, 일반 스펙트럴 플럭스가 초당 열 번 넘게 가짜 온셋을 냅니다. 슈퍼플럭스(Böck & Widmer, 2013)는 바로 앞 프레임 대신 2프레임 전 스펙트럼을 주파수 방향 최대값 필터(3빈)로 넓힌 다음 빼기 때문에, 흔들림은 지워지고 새 음이 시작되는 순간만 남습니다.

프롬프트

보컬·현악 스템의 온셋은 슈퍼플럭스로 뽑아줘: librosa.onset.onset_strength(y=y, sr=22050, hop_length=220(100 fps), lag=2, max_size=3, n_mels=138, fmin=27.5, fmax=16000)로 엔벨로프를 만들고 librosa.onset.onset_detect(onset_envelope=env, sr=22050, hop_length=220, units="time", wait=5)로 시각을 얻어. 같은 구간을 일반 플럭스(lag=1, max_size=1)와 나란히 그려 비브라토(약 6 Hz, ±50–100 cents) 구간에서 오검출이 몇 개 줄었는지 숫자로 보여 주고, 남은 온셋에만 가사 단어 팝(scale 0.92→1.0, 6프레임 easeOutBack)을 연결해줘.

라이브 데모 열기 — 슈퍼플럭스 온셋 (비브라토 오검출 억제)

적응형 피크 피킹 (이동 평균 + δ · 대기 프레임)

Adaptive peak picking on an onset envelope: local max window, moving-average threshold + delta, wait

  • librosa
  • NumPy
  • Python
  • Canvas

온셋 강도 곡선에 고정 임계값 하나를 걸면, 조용한 벌스의 약한 타격은 놓치고 시끄러운 후렴에서는 깔린 소리 자체가 선을 넘어 헛발을 칩니다. librosa.util.peak_pick은 "앞뒤 ±3프레임 안에서 가장 크고, 주변 평균보다 δ만큼 큰" 점만 고르고 한 번 고르면 일정 프레임을 쉬기 때문에, 곡 안에서 음량이 바뀌어도 같은 기준으로 타격을 집어냅니다.

프롬프트

librosa.onset.onset_strength로 만든 엔벨로프에 고정 임계값 대신 librosa.util.peak_pick(env, pre_max=3, post_max=3, pre_avg=3, post_avg=5, delta=0.1, wait=5)를 적용해줘(30 fps 기준, 프레임 단위). 결과를 고정 임계값 0.5와 같은 그래프에 겹쳐 그려 벌스(약 −20 dB 구간)의 놓친 타격과 후렴의 오검출 수를 비교하고, 적응형으로 고른 프레임에만 플래시(밝기 1.0→0, 8프레임 지수 감쇠)를 걸어줘. delta는 엔벨로프를 0–1로 정규화한 뒤의 값이야.

라이브 데모 열기 — 적응형 피크 피킹 (이동 평균 + δ · 대기 프레임)

온셋 함수 비교 (에너지 · HFC · 복소 도메인)

Onset detection functions compared: energy vs high-frequency content vs complex-domain

  • aubio
  • Essentia
  • librosa
  • Canvas

온셋 검출의 첫 단계인 검출 함수(ODF)는 하나가 아닙니다. 에너지 증가는 킥처럼 큰 저음 타격에, 높은 빈에 가중치를 주는 HFC는 하이햇·림샷 같은 짧은 고음 타격에 강하고, 위상까지 보는 복소 도메인은 음량 변화 없이 음만 바뀌는 레가토 현·패드의 음 전환까지 잡습니다. 소리 종류에 맞는 함수를 골라야 비주얼이 엉뚱한 곳에서 튀지 않습니다.

프롬프트

aubio(onset method "energy", "hfc", "complex", buf_size 1024, hop_size 256, sr 44100)로 같은 스템에 세 가지 온셋 함수를 돌려 0–1로 정규화한 곡선을 위아래 세 줄로 그리고, 각 함수의 피크(임계값 0.4, 최소 간격 50 ms)를 킥·하이햇·레가토 음 전환 정답 표시와 비교해줘. 드럼 스템은 HFC, 베이스·킥은 energy, 현·패드 스템은 complex를 쓰도록 스템별 매핑 표를 만들고, 각 함수의 온셋은 다른 시각 이벤트(킥=스케일 펀치, 햇=반짝임, 레가토=색 전환 0.4초)로 연결해줘.

라이브 데모 열기 — 온셋 함수 비교 (에너지 · HFC · 복소 도메인)

동적 계획법 비트 트래킹 (Ellis · tightness)

Dynamic-programming beat tracking (Ellis 2007): onset score + log-interval penalty, backtrace

  • librosa
  • Python
  • NumPy
  • Canvas

센 온셋만 골라 박으로 쓰면 당김음 악센트에 끌려가고 브레이크에서 박이 끊깁니다. librosa.beat.beat_track의 바탕인 Ellis의 동적 계획법은 "온셋이 센 곳"과 "앞 박과의 간격이 목표 템포에 가까운 것"을 함께 점수로 쌓고(C(t)=O(t)+max[C(τ)−α·log²((t−τ)/τp)]), 마지막에서 거꾸로 따라가 고른 간격의 박 열을 만듭니다. tightness α가 클수록 템포를 고집합니다.

프롬프트

librosa.beat.beat_track(y=y, sr=22050, hop_length=512, start_bpm=120, tightness=100, trim=True, units="time")으로 박을 뽑고, 같은 구간에서 "온셋 피크 > 0.45만 고른 박"과 간격 표준편차(ms)를 비교해줘. 당김음 악센트가 많은 곡은 tightness 100→400으로, 루바토가 있는 라이브 녹음은 50으로 낮춰 결과를 비교하고, 최종 박마다 화면 펄스(scale 1.0→1.06→1.0, 어택 2프레임·릴리즈 8프레임)를 걸어줘. 브레이크에서 온셋이 없어도 박이 이어지는지 확인해.

라이브 데모 열기 — 동적 계획법 비트 트래킹 (Ellis · tightness)

템포그램 · 로컬 템포 곡선 (가속하는 라이브 연주)

Tempogram and local tempo curve for a drifting live performance vs one global BPM

  • librosa
  • Python
  • After Effects
  • Canvas

클릭 없이 녹음한 밴드·라이브 곡은 BPM이 한 숫자가 아닙니다. 온셋 엔벨로프의 국소 자기상관을 시간마다 계산한 템포그램(시간 × BPM 열지도)에서 가장 밝은 능선을 따라가면 그 순간의 템포 곡선이 나오고, 전체 평균 BPM 하나로 깐 박 격자는 몇 마디 만에 실제 박에서 수십 ms씩 밀려납니다.

프롬프트

librosa.feature.tempogram(onset_envelope=env, sr=22050, hop_length=512, win_length=384)으로 템포그램을 만들고 각 프레임의 최대 BPM(60–200 범위, 2배·½배 배음 능선은 이전 값과 가까운 쪽 선택)을 1.5초 중앙값 필터로 다듬어 로컬 템포 곡선을 만들어줘. librosa.beat.beat_track(bpm=로컬 템포 배열이 아니라면 start_bpm=중앙값)과 함께 "전역 BPM 고정 격자"와 "로컬 템포를 적분한 박 위상"을 비교해 마지막 마디의 오차(ms)를 표시하고, 비주얼 루프 속도는 로컬 템포/60 Hz로 따라가게 해줘.

라이브 데모 열기 — 템포그램 · 로컬 템포 곡선 (가속하는 라이브 연주)

템포 옥타브 오류 (87 vs 174) · 연출 펄스 고르기

Tempo octave errors: half / double BPM candidates, log-normal tempo prior, choosing the visual pulse

  • librosa
  • Python
  • Canvas

템포 추정은 87 BPM 곡을 174로, 140 곡을 70으로 읽는 옥타브 오류가 흔합니다. 자기상관에는 박의 배수 간격마다 봉우리가 서고, librosa는 start_bpm을 중심으로 한 로그 정규 사전분포(표준편차 1옥타브)를 곱해 하나를 고르기 때문에 사전분포의 중심만 바꿔도 답이 뒤집힙니다. 엔진이 무엇을 고르든 화면이 따라 뛸 펄스 단위(몸 박 · 하이햇 박)는 연출자가 정해야 합니다.

프롬프트

드럼앤베이스·트랩처럼 하프타임 느낌이 있는 곡은 librosa.feature.tempo(onset_envelope=env, sr=22050, start_bpm=120, std_bpm=1.0, aggregate=None)로 후보를 보고, start_bpm을 90과 150으로 바꿔 각각 고른 값을 표로 비교해줘. 결과가 2배·½배로 갈리면 "몸 박(킥·스네어 반복 주기)"을 큰 요소의 스케일 펄스에, 그 2배 박은 작은 반짝임에만 쓰고, 174 BPM 같은 빠른 값을 화면 전체 플래시(초당 2.9회)에 직접 연결하지 마.

라이브 데모 열기 — 템포 옥타브 오류 (87 vs 174) · 연출 펄스 고르기

다운비트 · 박자표 추정 (못갖춘마디 · 4/4→3/4)

Downbeat and meter tracking with a bar-position HMM vs "every 4th beat"

  • madmom
  • librosa
  • Python
  • Canvas

"첫 박부터 4박마다 다운비트"로 정하면 곡이 못갖춘마디(한 박 먼저 시작하는 픽업)로 열리거나 브리지가 3/4로 바뀌는 순간부터 장면 전환이 모두 마디 중간에 떨어집니다. madmom의 DBNDownBeatTrackingProcessor처럼 박마다 "마디 안 몇 번째 박인가"를 숨은 상태로 두고, 저음·화성 변화가 큰 박을 1박으로 보는 HMM을 비터비로 풀면 픽업과 박자표 변화까지 따라갑니다.

프롬프트

madmom.features.downbeats.RNNDownBeatProcessor()로 활성도를 구하고 DBNDownBeatTrackingProcessor(beats_per_bar=[3, 4], fps=100)로 (시각, 마디 내 박 번호) 배열을 얻어줘. "beat_track 결과의 0번 박부터 4박마다" 방식과 나란히 표시해 어긋난 다운비트 개수를 세고, 다운비트에는 장면 컷·카메라 위치 변경, 마디 3박(3/4) 또는 4박(4/4)의 마지막 박에는 0.5박 앞선 예비 동작(anticipation 6프레임)을 걸어줘. 박자표가 바뀌는 마디는 큐 시트에 따로 표시해.

라이브 데모 열기 — 다운비트 · 박자표 추정 (못갖춘마디 · 4/4→3/4)

실시간 박 예측 (위상 고정 루프)

Real-time beat prediction with a phase-locked loop: phase and period correction vs raw triggers

  • Web Audio
  • BTrack
  • TouchDesigner
  • Canvas

라이브 공연·VJ처럼 미래를 볼 수 없는 실시간 분석에서는 온셋이 검출된 뒤에 반응하면 항상 검출 지연(수십 ms)만큼 늦고, 고정 메트로놈은 연주자가 조금만 당겨도 밀립니다. 위상 고정 루프는 "다음 박 예정 시각"을 먼저 잡아 두고, 실제 온셋이 들어오면 그 오차의 일부(위상 α, 주기 β)만 고쳐서 예측 시각에 비주얼을 미리 터뜨립니다.

프롬프트

실시간 비주얼은 온셋이 들어온 순간이 아니라 예측 박에 맞춰 터뜨려줘: next = last + period로 예정 시각을 잡고, ±100 ms 안에 들어온 온셋(검출 지연 46 ms를 빼서 보정)과의 오차 e로 next += 0.3·e, period += 0.08·e만 고쳐. 온셋이 없으면(고스트 노트·브레이크) 예측대로 계속 가고, 비주얼 예약은 AudioContext.currentTime 기준 next − outputLatency − 1프레임(16.7 ms)에 걸어줘. 원시 트리거 · 고정 120 BPM · PLL 세 방식의 박당 오차(ms)를 그래프로 비교해.

라이브 데모 열기 — 실시간 박 예측 (위상 고정 루프)

분석 창 시각 기준 (시작 · 중앙 · 끝) 지연 보정

Analysis-frame timestamps: window start vs centre vs end and the n_fft/2 offset

  • librosa
  • Web Audio
  • Python
  • Canvas

2048샘플(44.1 kHz에서 46 ms) 창으로 뽑은 특징값에 "어느 시각"을 붙이느냐에 따라 모든 비주얼이 앞당겨지거나 밀립니다. 창 시작 시각을 붙이면(center=False) 소리보다 최대 23 ms 먼저 반응하고, 실시간 AnalyserNode처럼 가장 최근 창을 쓰면 끝 시각 기준이라 23 ms 늦습니다. 창 중앙을 기준으로(librosa 기본 center=True) 맞추거나 n_fft/2만큼 보정해야 60 fps에서 1.4프레임 어긋남이 사라집니다.

프롬프트

오프라인 분석은 librosa.stft·onset_strength를 center=True(기본)로 두고 시각은 librosa.frames_to_time(frames, sr=44100, hop_length=512)로 변환해줘. center=False로 직접 프레이밍했다면 모든 시각에 n_fft/2/sr(2048 기준 +23.2 ms)를 더하고, 실시간 AnalyserNode(fftSize 2048)는 결과가 23 ms 늦으므로 오디오 출력을 DelayNode로 0.023 s 지연시키거나 비주얼을 그만큼 앞당겨 예약해줘. 24·30·60 fps에서 이 오프셋이 몇 프레임인지 표로 함께 보여줘.

라이브 데모 열기 — 분석 창 시각 기준 (시작 · 중앙 · 끝) 지연 보정

영상 프레임당 집계 (hop = sr/fps · max vs mean)

Per-video-frame feature aggregation: hop = sr / fps, max vs mean vs point sampling

  • librosa
  • Python
  • After Effects
  • Canvas

오디오 분석값을 영상에 쓰려면 결국 프레임마다 숫자 하나가 필요합니다. 24 fps 한 프레임(41.7 ms) 안에 10 ms짜리 스네어가 들어 있으면 평균은 그 타격을 0.3으로 뭉개고, 프레임 시작 샘플만 읽으면 아예 놓치며, 서브프레임 최대값을 써야 0.95로 잡힙니다. hop을 sr/fps로 맞추되 44.1 kHz/24 fps처럼 나누어떨어지지 않으면 반올림 오차가 누적되므로 프레임 k의 중심을 round(k·sr/fps)로 계산해야 합니다.

프롬프트

렌더용 분석 JSON은 프레임 단위로 만들어줘: 48 kHz 소스는 hop_length = 48000/24 = 2000 샘플로 정확히 맞추고, 44.1 kHz처럼 나누어떨어지지 않으면 프레임 k의 구간을 [round(k·sr/fps), round((k+1)·sr/fps))로 잘라 누적 드리프트(1837 고정 hop이면 3분 뒤 약 −49 ms)를 없애. 각 프레임 안에서 hop 256 서브프레임 RMS를 구해 지속형 값(크기·밝기)은 평균, 타격형 값(플래시·셰이크)은 최대값으로 저장하고, {frame, rms_mean, rms_max, onset} 구조로 내보내줘.

라이브 데모 열기 — 영상 프레임당 집계 (hop = sr/fps · max vs mean)

하모닉 · 퍼커시브 분리 (미디언 필터 HPSS)

Harmonic–percussive source separation by median filtering (horizontal vs vertical structure)

  • librosa
  • Python
  • NumPy
  • Canvas

스펙트로그램에서 지속되는 음(패드·보컬·베이스)은 가로줄, 타악기는 세로줄로 보입니다. 시간축으로 미디언 필터를 걸면 세로줄이 지워져 하모닉 성분만, 주파수축으로 걸면 가로줄이 지워져 퍼커시브 성분만 남고, 둘의 비율로 소프트 마스크를 만들면 스템 분리 모델 없이도 "타격"과 "화성"을 따로 분석할 수 있습니다. 드럼 반응이 패드 소리에 흔들리지 않게 됩니다.

프롬프트

librosa.decompose.hpss(S, kernel_size=(31, 31), power=2.0, margin=(1.0, 3.0))로 하모닉/퍼커시브 스펙트로그램을 나눠줘(margin 3.0으로 퍼커시브를 더 엄격하게). 퍼커시브 쪽에서만 onset_strength를 계산해 플래시·카메라 셰이크(최대 4px, 감쇠 0.15초)에 연결하고, 하모닉 쪽에서만 chroma_cqt를 계산해 배경 색조를 바꿔(전환 0.5초 easeInOut). 원본·H·P 세 스펙트로그램을 나란히 보여 주는 디버그 뷰도 만들어줘.

라이브 데모 열기 — 하모닉 · 퍼커시브 분리 (미디언 필터 HPSS)

트랜지언트 · 서스테인 분리 (빠른 − 느린 엔벨로프)

Transient vs sustain split with two envelope followers (fast minus slow)

  • Web Audio
  • TouchDesigner
  • Python
  • Canvas

트랜지언트 디자이너(SPL)와 같은 원리로, 어택 1 ms짜리 빠른 엔벨로프와 어택 30 ms·릴리즈 250 ms짜리 느린 엔벨로프를 동시에 따라가면 둘의 차이는 "때리는 순간"만, 느린 쪽은 "울림의 몸통"만 담습니다. 기타 스트럼·피아노처럼 타격과 울림이 한 소리에 섞인 악기도 불꽃(순간)과 글로우(지속)를 따로 움직일 수 있어, RMS 하나로 둘 다 몰 때 생기는 깜빡임이 사라집니다.

프롬프트

스템 신호에 엔벨로프 팔로워 두 개를 붙여줘: fast = 어택 1 ms · 릴리즈 20 ms, slow = 어택 30 ms · 릴리즈 250 ms(계수 a = 1 − e^(−1/(τ·sr))). transient = max(0, fast − slow) × 1.6은 스파크 개수(0–28개)와 길이(8–48px)에, sustain = slow는 글로우 반경(10–40px)과 밝기에 연결해. 비교용으로 RMS 하나를 두 속성에 다 연결한 버전을 옆에 두고, 스트럼 5번(세기 1.0 / 0.9 / 0.45 / 0.8 / 0.7)이 들어간 4초 샘플로 차이를 보여줘.

라이브 데모 열기 — 트랜지언트 · 서스테인 분리 (빠른 − 느린 엔벨로프)

YIN 피치 추적 (누적 정규화 차분 · 임계 0.1)

YIN pitch tracking: difference function, cumulative mean normalised difference, absolute threshold, pYIN voicing

  • librosa
  • aubio
  • CREPE
  • Canvas

보컬 멜로디로 오브젝트 높이를 움직이려면 기본 주파수(f0)가 필요합니다. 자기상관 최대값을 그대로 쓰면 배음이 강한 목소리에서 한 옥타브 아래(2τ)를 고르는 오류가 잦은데, YIN은 차분 함수 d(τ)를 누적 평균으로 나눈 CMNDF에서 처음으로 0.1 아래로 내려가는 골을 골라 이 문제를 줄이고, 포물선 보간으로 샘플 사이 주기까지 구합니다. 골이 임계값에 못 미치면 무성음(숨·자음)으로 보고 비주얼을 쉬게 합니다.

프롬프트

보컬 스템의 f0를 librosa.pyin(y, sr=22050, fmin=librosa.note_to_hz("C2"), fmax=librosa.note_to_hz("C6"), frame_length=2048, hop_length=256)으로 추적하고 voiced_flag가 False거나 voiced_prob < 0.5인 프레임은 NaN으로 비워줘. f0는 MIDI 번호(69 + 12·log2(f/440))로 바꿔 화면 y 위치에 매핑하고(C3–C5 → 화면 아래 80%–위 20%), 5프레임 중앙값 필터로 튐을 없애. 무성 구간은 오브젝트를 0.2초에 걸쳐 투명도 0.25로 내려줘. 디버그 뷰에 CMNDF 곡선과 임계 0.1, 고른 τ를 함께 그려.

라이브 데모 열기 — YIN 피치 추적 (누적 정규화 차분 · 임계 0.1)

비브라토 검출 (속도 Hz · 깊이 cents)

Vibrato analysis from a pitch track: detrend, rate by zero crossings, extent in cents, hysteresis note labels

  • librosa
  • Python
  • Canvas

긴 음의 피치 곡선을 0.5초 이동 평균으로 빼면 음정의 큰 흐름(스쿠프·드리프트)과 떨림이 분리되고, 떨림의 영점 교차 간격에서 속도(보통 5–7 Hz)를, 최댓값과 최솟값 차의 절반에서 깊이(±cents)를 얻습니다. 이 두 숫자로 글자의 물결 진폭·주기를 움직이면 가수의 떨림이 그대로 화면에 실리고, 음 이름 표시는 ±50 cents에서 반올림하면 비브라토마다 깜빡이므로 히스테리시스가 필요합니다.

프롬프트

pYIN으로 얻은 f0를 cents(1200·log2(f/f_ref))로 바꾸고, 유성 구간마다 0.5초 이동 평균을 빼서 떨림 성분만 남겨줘. 최근 1초 창에서 영점 교차 수 ÷ 2로 속도(Hz), (max − min)/2로 깊이(cents)를 계산해 속도 4.5–8 Hz · 깊이 15 cents 이상일 때만 "비브라토"로 판정하고, 깊이 ±60 cents → 글자 물결 진폭 4px, 속도 → 물결 주파수로 연결해줘. 음 이름 라벨은 현재 음에서 ±70 cents를 80 ms 이상 벗어날 때만 바꾸는 히스테리시스로 깜빡임을 막아.

라이브 데모 열기 — 비브라토 검출 (속도 Hz · 깊이 cents)

조성 검출 (Krumhansl–Schmuckler 프로파일 상관)

Key detection: chroma correlated with 24 rotated Krumhansl–Kessler key profiles, Camelot code

  • librosa
  • Essentia
  • Python
  • Canvas

곡 전체 크로마(12음 에너지)를 장조·단조 키 프로파일(Krumhansl–Kessler)을 12번씩 돌린 24개와 피어슨 상관으로 비교하면 가장 높은 것이 조성입니다. 같은 음을 쓰는 상대조(A단조 ↔ C장조)는 점수가 바짝 붙으므로 1·2위의 차이를 함께 봐야 하고, 결과를 카멜롯 코드(8A·8B)로 바꾸면 곡마다 일관된 팔레트 규칙을 만들 수 있습니다.

프롬프트

librosa.feature.chroma_cqt(y=y_harmonic, sr=22050, hop_length=512)를 곡 전체 평균하고(HPSS 하모닉 성분만 사용), Krumhansl–Kessler 장조 [6.35, 2.23, 3.48, 2.33, 4.38, 4.09, 2.52, 5.19, 2.39, 3.66, 2.29, 2.88]·단조 [6.33, 2.68, 3.52, 5.38, 2.60, 3.53, 2.54, 4.75, 3.98, 2.69, 3.34, 3.17] 프로파일을 12번 회전시킨 24개와 피어슨 상관을 계산해 최고 조성과 2위, 점수 차를 출력해줘. 조성은 카멜롯 코드로 바꿔 숫자 × 30°를 기본 색상(hue), 단조(A)는 채도 55%·명도 38%, 장조(B)는 채도 70%·명도 55%로 팔레트를 만들어. 점수 차가 0.05 미만이면 "상대조 모호"로 표시해.

라이브 데모 열기 — 조성 검출 (Krumhansl–Schmuckler 프로파일 상관)

코드 인식 (크로마 템플릿 + 비터비 스무딩)

Chord recognition: chroma vs triad templates, frame-wise argmax vs HMM Viterbi smoothing, harmonic-rhythm cut points

  • librosa
  • Python
  • Canvas

프레임마다 크로마를 24개 3화음 템플릿과 코사인 유사도로 비교해 가장 높은 코드를 고르면, 멜로디의 경과음 하나에도 라벨이 C→Em→C로 튀어 그 위에 건 색·컷이 깜빡입니다. "코드는 보통 그대로 머문다"는 전이 확률(자기 전이 0.9)을 둔 HMM을 비터비로 풀면 바뀌는 지점만 남고, 그 경계가 곧 화성 리듬, 즉 박이 없는 발라드·앰비언트에서도 컷을 놓을 자리입니다.

프롬프트

librosa.feature.chroma_cqt를 박 단위로 동기화한 뒤 C–B 장·단 3화음 24개 템플릿(루트 1, 3도 1, 5도 1, 정규화)과 코사인 유사도를 구하고, 자기 전이 확률 0.9 · 나머지 0.1/23의 전이 행렬로 librosa.sequence.viterbi(prob, transition)를 돌려 코드 라벨을 안정화해줘. 원시 argmax와 비터비 결과의 코드 변경 횟수를 비교 표시하고, 비터비 코드가 바뀌는 시각만 장면 컷·팔레트 전환(루트 음 × 30° hue, 0.3초 크로스페이드) 후보로 큐 시트에 넣어.

라이브 데모 열기 — 코드 인식 (크로마 템플릿 + 비터비 스무딩)

상수 Q 변환 (CQT) vs STFT 저음 해상도

Constant-Q transform vs STFT: semitone-spaced bins resolve a bass line that 21.5 Hz FFT bins merge

  • librosa
  • nnAudio
  • Python
  • Canvas

FFT 빈은 주파수가 고르게(44.1 kHz·2048에서 21.5 Hz 간격) 나뉘어, 한 반음이 2–3 Hz밖에 안 되는 저음역에서는 E1(41.2 Hz)·F1·G1이 같은 빈에 들어갑니다. 빈을 로그 축으로 다시 늘어놓아도 없는 해상도는 생기지 않습니다. CQT는 빈마다 창 길이를 주파수에 반비례하게 바꿔(Q = f/Δf 일정) 옥타브마다 같은 개수의 빈을 두므로, 베이스 라인을 건반에 정확히 켤 수 있는 대신 저음 창이 0.4초로 길어지는 시간 번짐을 감수합니다.

프롬프트

베이스·피아노 노트를 건반 비주얼에 켤 때는 STFT 대신 librosa.cqt(y, sr=22050, hop_length=512, fmin=librosa.note_to_hz("E1"), n_bins=84, bins_per_octave=12)를 써서 반음 단위 빈을 만들고 librosa.amplitude_to_db로 변환해줘. 빈 b가 MIDI 28+b에 대응하도록 88건반 중 E1부터 매핑하고, 저음역은 창이 길어(E1에서 약 0.41초) 반응이 늦으므로 타격 반응은 따로 STFT(n_fft 1024) 온셋에서 가져와. STFT 2048로 같은 베이스 라인(E1 → F1 → G1 → A1)을 켰을 때와 비교 화면을 만들어줘.

라이브 데모 열기 — 상수 Q 변환 (CQT) vs STFT 저음 해상도

스펙트럴 롤오프 · 대역폭 (필터 스윕 추적)

Spectral roll-off (85 % energy) and bandwidth tracking a build-up filter sweep

  • librosa
  • Meyda
  • Python
  • Canvas

롤오프는 "전체 에너지의 85%가 이 주파수 아래에 있다"는 경계 주파수로, 무게중심인 센트로이드보다 고역 끝이 열리고 닫히는 것에 민감합니다. 빌드업에서 로우패스 필터가 400 Hz → 16 kHz로 열리는 스윕, 하이햇이 닫혔다 열리는 순간, 크래시 심벌의 공기감이 롤오프 곡선에 그대로 그려지므로 빛의 조리개·지평선 높이처럼 "열림"을 표현하는 요소에 연결하기 좋습니다.

프롬프트

librosa.feature.spectral_rolloff(y=y, sr=22050, n_fft=2048, hop_length=512, roll_percent=0.85)와 spectral_bandwidth(p=2)를 프레임마다 구해 log2(Hz)로 바꾼 뒤 곡 안의 5–95 퍼센타일로 0–1 정규화해줘. 정규화한 롤오프는 화면 위쪽 빛 띠의 높이(화면 높이 10% → 70%)와 블룸 강도에, 대역폭은 빛 띠의 부드러움(가우시안 폭 4 → 24px)에 연결하고, 센트로이드 곡선을 같은 그래프에 겹쳐 필터 스윕 구간에서 두 값이 어떻게 다르게 움직이는지 보여줘.

라이브 데모 열기 — 스펙트럴 롤오프 · 대역폭 (필터 스윕 추적)

자동 정규화 (롤링 퍼센타일 p5–p95)

Running normalisation: global max vs fast AGC vs rolling 5th–95th percentile with a global blend

  • NumPy
  • Web Audio
  • TouchDesigner
  • Canvas

곡 전체 최댓값으로 나누면 조용한 인트로에서는 비주얼이 거의 움직이지 않고, 빠른 자동 게인(AGC)으로 늘 1에 맞추면 인트로와 드롭이 똑같이 펌핑해 곡의 기승전결이 사라집니다. 최근 몇 초의 5·95 퍼센타일로 범위를 잡아 정규화하고 전역 값을 30% 섞으면, 조용한 구간에서도 움직임이 살아 있으면서 드롭은 여전히 가장 크게 보입니다.

프롬프트

오디오 RMS(또는 숏텀 LUFS)를 비주얼에 넣기 전에 롤링 정규화를 해줘: 최근 8초(실시간이면 링 버퍼 480프레임 @60 fps)의 5·95 퍼센타일 p5, p95로 local = clamp((x − p5)/(p95 − p5 + 1e−6), 0, 1)을 만들고, 최종값 = 0.7·local + 0.3·(x / 곡 전체 최댓값)으로 섞어. 실시간이라 곡 전체 최댓값을 모르면 감쇠가 아주 느린 피크(반감기 30초)로 대신해. 전역 최댓값 정규화 · 빠른 AGC(반감기 0.3초) · 롤링 퍼센타일 세 버전을 같은 곡에 나란히 보여줘.

라이브 데모 열기 — 자동 정규화 (롤링 퍼센타일 p5–p95)

제어 신호 매핑 곡선 (진폭 · 지각 · 소프트 니)

Control-signal transfer curves: linear amplitude vs perceptual power law vs dB soft-knee compression

  • Web Audio
  • After Effects
  • TouchDesigner
  • Canvas

0–1 진폭을 그대로 크기에 넣으면 −20 dB(진폭 0.1)짜리 벌스가 거의 안 보이고 큰 소리만 튑니다. 사람의 음량 감각은 대략 진폭의 0.6제곱(Stevens 지수 0.3 × 2)이고, dB로 바꾼 뒤 임계값 −18 dB · 비율 4:1 · 니 6 dB 소프트 니 컴프레서 곡선을 통과시키면 작은 소리는 살리고 큰 소리는 눌러 화면이 "들리는 만큼" 움직입니다. 같은 입력을 세 곡선으로 매핑해 비교합니다.

프롬프트

오디오 레벨을 비주얼 값으로 바꾸는 전달 함수를 명시적으로 만들어줘: ① 진폭 선형(비교용), ② 지각 근사 v = amp^0.6, ③ dB = 20·log10(amp)을 임계 −18 dB · 비율 4:1 · 니 폭 6 dB 소프트 니 곡선(니 안에서는 dB + (1/R − 1)(dB − T + K/2)²/(2K))에 통과시킨 뒤 (out + 60)/60으로 0–1화. 세 값을 원 세 개의 반지름(4–24px)에 연결하고 입력 dB와 각 출력값을 HUD에 표시해. 밝기에 쓸 때는 결과에 감마 2.2 보정(v^(1/2.2))을 추가해줘.

라이브 데모 열기 — 제어 신호 매핑 곡선 (진폭 · 지각 · 소프트 니)

크로스오버 필터 대역 분리 (Linkwitz–Riley 4차)

Band splitting with Linkwitz–Riley 24 dB/oct crossovers vs FFT bin averaging (flat sum, low latency)

  • Web Audio
  • BiquadFilterNode
  • JUCE
  • Canvas

FFT 빈을 평균해 저·중·고를 나누면 2048 창 하나(46 ms)를 기다려야 값이 바뀌고, 저역에는 빈이 몇 개 없어 경계가 계단처럼 끊깁니다. 시간 영역에서 Linkwitz–Riley 4차(2차 버터워스 두 번, 24 dB/oct) 크로스오버를 150 Hz·2.5 kHz에 두면 세 대역의 합이 평탄(0 dB)하게 원음으로 돌아가고, 샘플마다 엔벨로프를 따라가 킥에 3 ms 안에 반응합니다.

프롬프트

Web Audio로 대역을 시간 영역에서 나눠줘: 저역 = lowpass(150 Hz, Q 0.7071) 두 개 직렬, 중역 = highpass(150 Hz) ×2 → lowpass(2500 Hz) ×2, 고역 = highpass(2500 Hz, Q 0.7071) 두 개 직렬(Linkwitz–Riley 24 dB/oct). 각 대역 뒤에 AudioWorklet 엔벨로프 팔로워(어택 2 ms · 릴리즈 120 ms)를 두고 값을 requestAnimationFrame에서 읽어 저역=스케일, 중역=색, 고역=파티클 생성률에 연결해. 비교용으로 AnalyserNode(fftSize 2048) 빈 평균 방식의 반응 지연을 같은 킥에서 측정해 표시해줘.

라이브 데모 열기 — 크로스오버 필터 대역 분리 (Linkwitz–Riley 4차)

풀믹스 드럼 판별 (대역 온셋 · 불응기 · 동시 억제)

Kick / snare / hi-hat detection from a full mix: band-limited onsets, refractory periods, snare-hat cross-suppression

  • librosa
  • Essentia
  • Python
  • Canvas

스템이 없는 완성곡에서 킥·스네어·하이햇을 따로 잡으려면 대역마다 온셋을 보되 규칙이 필요합니다. 킥은 40–120 Hz에 120 ms 불응기, 스네어는 몸통(150–250 Hz)과 스네어 줄 노이즈(2–5 kHz)가 동시에 올라야 인정하고, 스네어의 고역 노이즈가 7–12 kHz 하이햇 대역에 번지는 순간은 하이햇을 억제해야 스네어마다 반짝임이 잘못 터지지 않습니다.

프롬프트

librosa.onset.onset_strength_multi(y, sr=22050, hop_length=220, channels=[0, 4, 8, 20, 40, 128](멜 128 기준 대역 경계))로 대역별 온셋을 구하고 규칙을 넣어줘: 킥 = 40–120 Hz 피크 > 이동 중앙값×1.5 + 0.15, 불응기 120 ms / 스네어 = 150–250 Hz와 2–5 kHz가 ±20 ms 안에 동시에 0.4 초과, 불응기 100 ms / 하이햇 = 7–12 kHz 피크 > 0.35, 불응기 50 ms, 단 스네어 검출 ±30 ms 안이면 버림. 정답 패턴과 겹쳐 그려 대역별 적중·오검출을 표시하고 킥=스케일, 스네어=플래시, 햇=반짝임에 연결해.

라이브 데모 열기 — 풀믹스 드럼 판별 (대역 온셋 · 불응기 · 동시 억제)

자기 유사도 행렬 · 후렴 찾기 (Foote 노벨티)

Self-similarity matrix of beat-synchronous features, Foote checkerboard novelty and repeated-section (chorus) detection

  • librosa
  • MSAF
  • Python
  • Canvas

박마다 크로마·MFCC 벡터를 만들고 모든 박 쌍의 코사인 유사도를 정사각형으로 그리면, 같은 구간이 다시 나올 때 대각선과 나란한 줄무늬가 생기고 구간 경계에서는 바둑판 모서리가 생깁니다. 대각선을 따라 체커보드 커널을 밀어 얻은 노벨티 곡선의 봉우리가 경계이고, 가장 많이 반복되는 블록이 후렴입니다. 큐 시트를 자동으로 만들 때 "어디서 바뀌는지"와 "어디가 같은지"를 함께 줍니다.

프롬프트

librosa.feature.chroma_cqt와 mfcc(n_mfcc=13)를 beat_track 박에 librosa.util.sync(aggregate=np.median)로 묶어 쌓고, librosa.segment.recurrence_matrix(F, mode="affinity", sym=True) 또는 코사인 유사도로 자기 유사도 행렬을 만들어줘. 가우시안 테이퍼 체커보드 커널(한 변 16박)을 대각선을 따라 컨볼루션한 노벨티 곡선의 피크(임계 0.4, 최소 간격 8박)를 구간 경계로 잡고, 구간 평균 벡터의 코사인 > 0.85면 같은 라벨(A/B/C…)로 묶어 가장 많이 반복된 라벨을 "후렴"으로 표시해. 결과를 [시작 박, 끝 박, 라벨] 큐 시트로 출력해.

라이브 데모 열기 — 자기 유사도 행렬 · 후렴 찾기 (Foote 노벨티)

빌드업 · 드롭 검출 (온셋 밀도 · 센트로이드 상승 · 저역 낙차)

Build-up and drop detection: rising onset density and centroid, low-band removal, energy jump after a pre-drop gap

  • librosa
  • Python
  • Canvas

EDM·K-pop의 드롭 직전은 공식이 있습니다. 스네어 롤이 4분 → 8분 → 16분으로 빨라져 온셋 밀도가 오르고, 라이저와 필터 스윕으로 센트로이드가 치솟고, 킥과 베이스가 빠져 저역 에너지가 바닥나고, 반 마디 정적 뒤에 저역이 한꺼번에 돌아옵니다. 이 세 특징의 2초 기울기로 빌드업 점수를 만들고 "점수가 높았던 직후의 저역 급등"을 드롭으로 잡으면 긴장 게이지와 드롭 폭발을 자동으로 배치할 수 있습니다.

프롬프트

곡에서 빌드업과 드롭을 자동으로 찾아줘: 온셋 밀도(2초 창 안 onset_detect 개수/초), spectral_centroid, 저역(20–150 Hz) RMS를 0.1초 간격으로 계산하고 각각의 2초 기울기로 build = 0.5·clip(밀도 기울기/6) + 0.5·clip(센트로이드 기울기/0.06) + 0.4·(0.6 − 저역)를 만들어. build가 0.5를 넘은 뒤 4초 안에 저역이 0.5초 사이 0.6 이상 급등하는 첫 지점을 드롭으로 표시하고, 빌드업 구간에는 긴장 게이지(채움 = build, 화면 흔들림 0 → 3px), 드롭 프레임에는 화이트 플래시 3프레임 + 줌 펀치 1.12×를 걸어줘.

라이브 데모 열기 — 빌드업 · 드롭 검출 (온셋 밀도 · 센트로이드 상승 · 저역 낙차)

보컬 활동 검출 (평탄도 + 행오버 → 가사 레이어)

Vocal activity detection on a separated vocal stem: energy + flatness, hangover and minimum segment length

  • Demucs
  • librosa
  • Python
  • Canvas

분리한 보컬 스템에 음량 게이트만 걸면 숨소리·악기 번짐(bleed)에도 가사가 켜지고, 단어 사이 0.1초 틈마다 꺼져 깜빡입니다. 유성음은 배음이 있어 스펙트럴 평탄도가 낮고 숨·잡음은 높다는 점을 더해 "에너지 > 0.15 이고 평탄도 < 0.3"으로 판정하고, 꺼질 때는 0.2초 행오버로 버티며 0.15초보다 짧은 조각은 버려야 가사 레이어와 카메라 포커스가 노래하는 구간에만 안정적으로 붙습니다.

프롬프트

Demucs(htdemucs)로 뽑은 vocals 스템에서 10 ms 간격으로 RMS와 librosa.feature.spectral_flatness를 계산하고, voiced = rms > 0.15·(곡 최대 RMS) 이고 flatness < 0.3인 프레임만 참으로 둔 뒤 행오버 200 ms(꺼짐 지연)와 최소 구간 150 ms 필터를 적용해 [시작, 끝] 구간 목록을 만들어줘. 이 구간 안에서만 가사 레이어 투명도를 1(페이드 인 0.12 s, 아웃 0.25 s)로 올리고 카메라 포커스를 인물로 옮겨. 단순 RMS 게이트(켜짐 0.2/꺼짐 0.15) 결과와 나란히 깜빡임 횟수를 비교해줘.

라이브 데모 열기 — 보컬 활동 검출 (평탄도 + 행오버 → 가사 레이어)

AE 오디오 → 키프레임 변환 + 표현식 정리

After Effects Convert Audio to Keyframes: raw Both Channels slider, smooth() and linear() remap expression

  • After Effects
  • Expressions
  • Canvas

애프터 이펙트의 Convert Audio to Keyframes는 "Audio Amplitude" 널에 Left·Right·Both Channels 슬라이더를 만들고 컴프 프레임마다 키프레임을 박지만, 값은 0–30 정도의 날것이라 그대로 스케일에 연결하면 프레임마다 덜컹거립니다. 표현식에서 smooth()로 앞뒤 프레임을 평균하고 linear()로 바닥 소음(4)과 상한(22)을 잘라 100–135%로 다시 매핑해야 쓸 만한 펄스가 되고, 오디오 레이어를 옮기거나 타임 리맵하면 키가 따라가지 않는다는 점도 챙겨야 합니다.

프롬프트

애프터 이펙트에서 스템별 오디오 레이어마다(킥·보컬 분리 후) Animation > Keyframe Assistant > Convert Audio to Keyframes를 실행하고, 대상 레이어 Scale에 표현식을 넣어줘: amp = thisComp.layer("Audio Amplitude").effect("Both Channels")("Slider"); s = linear(amp.smooth(0.1, 5), 4, 22, 100, 135); [s, s]. 컴프 프레임레이트는 최종 납품과 같게(23.976이면 23.976) 먼저 맞추고, 오디오 레이어를 옮기면 변환을 다시 실행해. 키프레임 그래프(원시 슬라이더)와 표현식 결과 그래프를 함께 보여 주는 설명 화면을 만들어줘.

라이브 데모 열기 — AE 오디오 → 키프레임 변환 + 표현식 정리

스펙트럼 화이트닝 (빈별 적응 정규화)

Spectral whitening for visualisers: each band divided by its own decaying running peak, blended with the raw balance

  • Web Audio
  • Three.js
  • TouchDesigner
  • Canvas

음악 스펙트럼은 저음이 고음보다 수십 dB 크기 때문에 막대 이퀄라이저는 왼쪽만 춤추고 하이햇 대역은 늘 바닥에 붙어 있습니다. 각 대역을 자기 자신의 최근 최댓값(천천히 감쇠하는 피크)으로 나누면 대역마다 0–1을 다 쓰게 되어 하이햇의 작은 변화도 보이고, 원래 균형을 35% 섞어 두면 "저음이 큰 곡"이라는 성격도 지워지지 않습니다. 전체 음량 정규화와 달리 대역마다 따로 적응하는 것이 핵심입니다.

프롬프트

AnalyserNode(fftSize 2048) 주파수 데이터를 24개 로그 대역으로 묶은 뒤 대역마다 peak[i] = max(v[i], peak[i]·0.985)(60 fps 기준 반감기 약 0.8초, 바닥값 0.04)를 유지하고 white[i] = v[i] / max(peak[i], 0.04)로 정규화해줘. 화면에는 out = 0.65·white + 0.35·v를 막대 높이로 쓰고, 막대 위에 peak 위치를 얇은 선으로 표시해. 화이트닝 전·후를 좌우로 나란히 그려 고역 대역의 움직임 차이를 보여주고, 무음(전체 RMS < 0.01)일 때는 peak 갱신을 멈춰 잡음이 증폭되지 않게 해.

라이브 데모 열기 — 스펙트럼 화이트닝 (빈별 적응 정규화)

박 동기 특징 집계 (librosa.util.sync)

Beat-synchronous feature aggregation: per-beat median instead of per-frame jitter, eased between beats

  • librosa
  • Python
  • After Effects
  • Canvas

센트로이드·크로마 같은 특징을 프레임마다 그대로 색이나 형태에 걸면 하이햇 하나에도 값이 튀어 화면이 지글거립니다. 박 경계 사이 프레임들을 중앙값으로 묶어(librosa.util.sync) 박마다 숫자 하나로 만들면 변화가 음악의 박 단위로만 일어나고, 박과 박 사이는 easeInOut으로 이어 주면 리듬감과 안정감을 동시에 얻습니다. 이벤트 시각을 격자에 붙이는 퀀타이즈와 달리 "연속 특징값"을 박 단위로 요약하는 기법입니다.

프롬프트

librosa.beat.beat_track으로 박 프레임을 얻고, spectral_centroid·chroma_cqt를 librosa.util.sync(feature, beat_frames, aggregate=np.median)으로 박 단위로 요약해줘. 박 k의 값은 다음 박 직전 4프레임(@30 fps) 동안 easeInOutCubic으로 다음 값에 넘어가게 하고, 색조는 hue = 200 + 120·센트로이드(0–1 정규화)로 매핑해. 프레임별 원값으로 칠한 줄과 박 동기 값으로 칠한 줄을 위아래로 나란히 그려 초당 색 변화 횟수를 비교해줘.

라이브 데모 열기 — 박 동기 특징 집계 (librosa.util.sync)

스윙 비율 · 마이크로타이밍 검출

Swing ratio and micro-timing: off-beat onset phase histogram and a swing-aware visual grid

  • librosa
  • Python
  • Ableton Live
  • Canvas

셔플·힙합·재즈의 8분음표는 박의 정확히 절반이 아니라 58–67% 지점에 떨어집니다. 박 위상 기준으로 오프비트 온셋 위치를 모아 히스토그램의 중심을 찾으면 스윙 비율(예: 62% = 1.63:1)이 나오고, 비주얼 이벤트를 직선 8분 격자에 퀀타이즈하면 음보다 30 ms 이상 먼저 터져 "어긋난 느낌"이 됩니다. 측정한 스윙 격자에 맞춰야 그루브가 화면에도 실립니다.

프롬프트

박 시각(beat_track)과 온셋 시각(onset_detect, backtrack=True)을 얻은 뒤 각 온셋의 박 위상 φ = (t − beat_k)/(beat_k+1 − beat_k)를 구하고, 0.35 < φ < 0.8 범위의 오프비트 위상 중앙값을 스윙 비율로 잡아줘(0.5 = 스트레이트, 0.667 = 셋잇단 스윙). 8분음표 비주얼 이벤트(반짝임·텍스트 스텝)는 직선 격자 대신 [0, swing] 위상 격자에 퀀타이즈하고, 마디마다 스윙 값을 다시 측정해 곡 안 변화도 따라가게 해. 직선 격자와 스윙 격자의 오차(ms)를 비교 표시해줘.

라이브 데모 열기 — 스윙 비율 · 마이크로타이밍 검출

스테레오 폭 · 위상 상관 (M/S 분석)

Stereo width and phase correlation: mid/side RMS ratio, correlation coefficient and goniometer-driven visuals

  • Web Audio
  • ChannelSplitterNode
  • iZotope Insight
  • Canvas

좌우 채널을 M = (L+R)/2, S = (L−R)/2로 바꾸면 S/M 비율이 소리의 "넓이"가 되고, 상관계수 r = ΣLR/√(ΣL²ΣR²)은 +1(모노)·0(넓음)·−1(역상)을 알려 줍니다. 벌스는 모노로 좁다가 후렴에서 신스가 넓게 펼쳐지는 순간을 파티클 퍼짐 폭에 연결하면 믹스의 공간감이 그대로 화면이 되고, r이 0 아래로 내려가면 모노 폴드다운에서 소리가 사라지는 위상 문제를 경고할 수 있습니다. 좌우 위치(패닝)가 아니라 퍼짐(폭)을 재는 분석입니다.

프롬프트

ChannelSplitterNode로 L/R을 나눠 AnalyserNode 두 개에서 getFloatTimeDomainData(2048)를 읽고, 프레임마다 M = (L+R)/2, S = (L−R)/2의 RMS 비 width = rms(S)/(rms(M)+1e−6)와 상관계수 r = ΣLR/√(ΣL²·ΣR²)를 계산해 300 ms로 스무딩해줘. width(0–1.5)는 파티클 가로 퍼짐(화면 폭 10% → 90%)에, r < 0이면 파티클을 빨간색으로 바꾸고 "모노 폴드다운 상쇄 위험" 경고를 띄워. 고니오미터(L−R 가로, L+R 세로, 45° 회전)도 디버그로 함께 그려.

라이브 데모 열기 — 스테레오 폭 · 위상 상관 (M/S 분석)

NMF 스펙트로그램 분해 (템플릿 × 활성화)

Non-negative matrix factorisation of a spectrogram: spectral templates W and activation curves H driving layers

  • librosa
  • scikit-learn
  • Python
  • Canvas

스템 분리 모델이 없거나 루프 하나에 여러 소리가 겹친 경우, 비음수 행렬 분해(NMF)는 스펙트로그램 V를 "소리의 모양" 템플릿 W와 "언제 얼마나 울렸나" 활성화 H의 곱(V ≈ W·H)으로 나눕니다. 곱셈 갱신을 반복할수록 오차가 줄며 킥·스네어·햇 같은 성분이 저절로 갈라지고, 각 활성화 곡선을 서로 다른 시각 레이어에 연결할 수 있습니다. 성분 순서는 정해지지 않으므로 템플릿의 주파수 무게중심으로 이름을 붙입니다.

프롬프트

S = np.abs(librosa.stft(y, n_fft=2048, hop_length=512))에 W, H = librosa.decompose.decompose(S, n_components=3, sort=True)(내부 sklearn NMF, beta_loss="frobenius", max_iter=200)를 적용해 성분 3개를 얻어줘. sort=True로 템플릿을 주파수 순으로 정렬해 저역=킥, 중역=스네어, 고역=햇으로 이름 붙이고, H의 각 행을 행별 최댓값으로 정규화해 킥=스케일 펀치, 스네어=플래시, 햇=입자 생성률에 연결해. 반복 횟수에 따른 재구성 오차 ‖V − WH‖ 곡선과 W 템플릿, H 활성화를 함께 보여 주는 디버그 화면도 만들어줘.

라이브 데모 열기 — NMF 스펙트로그램 분해 (템플릿 × 활성화)