MIT 教授 Paris Smaragdis 加入 MIT 推動機器聽覺研究

背景

人類除了視覺，也依賴聽覺感知世界。MIT 教授 Paris Smaragdis 的研究目標是讓機器具備超越人類的聽覺能力，透過機器學習（Machine Learning，讓電腦從資料中自動學習規律的技術）來分離音源、增強環境音，並協助音樂創作。Smaragdis 認為，傳統訊號處理技術有其限制，必須教導電腦如何「聆聽」，而非僅告訴它們如何處理聲音訊號。 MIT News（AI）

發生什麼事

Paris Smaragdis 於 2025 年正式加入 MIT，擔任人文、藝術與社會科學學院音樂與劇場藝術系，以及工程學院電機工程與電腦科學系和 MIT Schwarzman 計算學院的聯合任命教授。他的研究團隊目前聚焦於兩大領域：開發讓電腦成為音樂人更實用工具的系统，以及提供科學家與藝術家處理、分析與操作音訊的基礎工具。 MIT News（AI）

重點內容

Smaragdis 的學術生涯始於對合成器與電腦音樂的興趣。他在 Berklee 音樂學院主修貝斯，並與導師 Richard Boulanger 合作開發電腦音樂創作工具。隨後，他進入 MIT Media Lab，在 Barry Vercoe 教授指導下完成碩士、博士學位及博士後研究，期間參與了軟體合成器的開發。在 MIT Media Lab 期間，他選擇以機器學習而非傳統訊號處理作為研究切入點，認為這能解決傳統方法無法處理的問題，例如區分貓叫聲與小提琴聲。 MIT News（AI）

在加入 MIT 前，Smaragdis 曾在 Mitsubishi Electric Research Labs 開發能掃描影片音軌以理解畫面的 AI 系統，該技術被應用於個人錄影系統、交通監控與手機。之後他在 Adobe 建立音訊研究團隊，開發讓非專業人士也能操作音訊的工具。2021 年，他利用神經網路技術協助清理披頭四（The Beatles）紀錄片《Get Back》的歷史錄音，並因此獲得 2022 年艾美獎（Emmy Award）非虛構或實境節目音效剪輯獎。 原文

目前，Smaragdis 的團隊正在探索不依賴固定參考框架（如取樣率、訊框大小或上下文視窗）的先進訊號處理演算法。這種方法需要重新思考基礎架構，但有望帶來更靈活且強大的系統。此外，團隊也研究如何整合大型語言模型（Large Language Model，能處理與生成自然語言的 AI 模型）等最新技術，並開發能理解音樂並向音樂人提供建設性回饋的系統，旨在增強音樂人的工具箱而非取代他們。 原文

對使用者的意義

Smaragdis 的研究應用範圍廣泛。在工業領域，具備超人類聽覺的機器可透過聆聽輪胎摩擦聲與金屬撞擊聲快速定位交通事故，或監測工業鑽頭在鑽探地熱井時是否即將斷裂。在音樂領域，開發者與音樂人可利用其團隊開發的工具進行音源分離、音訊增強與創作輔助。這些技術旨在讓電腦成為更有效的輔助工具，幫助使用者理解、操作與創造聲音。 MIT News（AI）