《電子技術(shù)應(yīng)用》
您所在的位置:首頁(yè) > 其他 > 業(yè)界動(dòng)態(tài) > 基于音樂(lè)特征識(shí)別的音樂(lè)噴泉計(jì)算機(jī)輔助設(shè)計(jì)系統(tǒng)

基于音樂(lè)特征識(shí)別的音樂(lè)噴泉計(jì)算機(jī)輔助設(shè)計(jì)系統(tǒng)

2008-09-24
作者:劉 丹1, 張乃堯1, 朱漢城

  摘? 要: 介紹一種基于音樂(lè)特征識(shí)別的音樂(lè)噴泉計(jì)算機(jī)輔助設(shè)計(jì)系統(tǒng)" title="設(shè)計(jì)系統(tǒng)">設(shè)計(jì)系統(tǒng)。由于能夠自動(dòng)識(shí)別音樂(lè)的曲式、情感等特征,該系統(tǒng)能夠根據(jù)不同曲目的特點(diǎn)設(shè)計(jì)出體現(xiàn)音樂(lè)內(nèi)涵的音樂(lè)噴泉表演程序;同時(shí),通過(guò)綜合運(yùn)用電腦動(dòng)畫(huà)、自動(dòng)控制等技術(shù),大大提高了音樂(lè)噴泉表演程序的開(kāi)發(fā)效率。為了對(duì)該系統(tǒng)的設(shè)計(jì)方案進(jìn)行檢驗(yàn),開(kāi)發(fā)了一個(gè)小型室內(nèi)音樂(lè)噴泉的實(shí)驗(yàn)裝置。實(shí)驗(yàn)證明,該系統(tǒng)的運(yùn)行結(jié)果十分令人滿(mǎn)意。

  關(guān)鍵詞: 音樂(lè)噴泉? 計(jì)算機(jī)輔助設(shè)計(jì)系統(tǒng)? 音樂(lè)特征識(shí)別? 模糊專(zhuān)家系統(tǒng)

?

  音樂(lè)噴泉作為將聽(tīng)覺(jué)藝術(shù)與視覺(jué)藝術(shù)相結(jié)合的藝術(shù)形式,已經(jīng)得到了廣泛的關(guān)注。目前,國(guó)內(nèi)外雖然已建有很多音樂(lè)噴泉,但大多數(shù)音樂(lè)噴泉都存在著兩方面不足:首先,音樂(lè)噴泉表演程序的設(shè)計(jì)需要音樂(lè)、舞美、電腦、自控、噴泉等專(zhuān)業(yè)專(zhuān)家的合作;其次,為了了解音樂(lè)噴泉表演程序的噴射效果,只有在硬件上進(jìn)行仿真實(shí)驗(yàn)。因此,對(duì)于一般的音樂(lè)噴泉系統(tǒng),其表演程序的設(shè)計(jì)非常費(fèi)時(shí)費(fèi)力,也正是由于這個(gè)原因,既便是美國(guó)Lasvegas這樣著名的噴泉也只能表演幾首曲目。

基于上述問(wèn)題,筆者設(shè)計(jì)開(kāi)發(fā)了一個(gè)音樂(lè)噴泉的計(jì)算機(jī)輔助設(shè)計(jì)系統(tǒng),簡(jiǎn)稱(chēng)CAD-MF。在該系統(tǒng)中,首先提取音樂(lè)的基本特征,然后在此基礎(chǔ)上分析音樂(lè)的曲式特征并將整首樂(lè)曲分成若干樂(lè)段,并分析出每一段音樂(lè)所表達(dá)的基本感情色彩;第二步,根據(jù)音樂(lè)的曲式和情感特征,為每個(gè)樂(lè)段匹配相應(yīng)的音樂(lè)噴泉基本表演程序,從而生成最初的音樂(lè)噴泉表演程序。該表演程序可以用三維動(dòng)畫(huà)進(jìn)行仿真,并可以通過(guò)友好的人機(jī)界面進(jìn)行修改,直至滿(mǎn)意。最終的表演程序經(jīng)過(guò)自動(dòng)編譯,可以控制音樂(lè)噴泉按照設(shè)計(jì)的動(dòng)作進(jìn)行噴射,實(shí)現(xiàn)音樂(lè)與噴泉的同步。

1 音樂(lè)噴泉實(shí)驗(yàn)裝置

  該音樂(lè)噴泉實(shí)驗(yàn)裝置的草圖如圖1所示。該噴泉由13個(gè)噴頭、4組彩燈組成。其中,噴頭1~6為第一組,可以沿圓圈的切向和徑向進(jìn)行自由擺動(dòng);7~9為第二組,10~12為第三組,可以左右隨意搖擺;13為第三組,不能轉(zhuǎn)動(dòng)。此外,這13個(gè)噴頭的噴射高度還可以有3個(gè)級(jí)別的變化。同時(shí),該裝置中還配有4組(1~4)彩燈,由于每一組由3個(gè)不同顏色的燈泡組成,因此可以營(yíng)造出多彩的光照效果。

?

2 系統(tǒng)概述

  該系統(tǒng)由七個(gè)部分組成,如圖2。

?

?

  (1)音樂(lè)特征的識(shí)別

  在本系統(tǒng)中,選擇MIDI(Musical Instrument Digital Interface)文件作為輸入的音源。MIDI是音樂(lè)信號(hào)在電子樂(lè)器之間傳輸?shù)臉?biāo)準(zhǔn),包括硬件接口標(biāo)準(zhǔn)以及電子音樂(lè)信號(hào)在不同硬件之間的異步串行傳輸協(xié)議[1]。MIDI格式的音樂(lè)文件記錄了音樂(lè)的全部樂(lè)譜和演奏的全過(guò)程,很多基本的音樂(lè)特征都可以從中直接獲得。在此基礎(chǔ)上,又可以進(jìn)一步提取旋律、和聲、節(jié)奏等復(fù)雜特征。根據(jù)音樂(lè)基本特征和復(fù)雜特征在內(nèi)的音樂(lè)信息,最終能夠按照樂(lè)曲的結(jié)構(gòu)將其分為若干樂(lè)段,并且利用模糊分類(lèi)器" title="分類(lèi)器">分類(lèi)器識(shí)別出每一個(gè)樂(lè)段所帶有的感情色彩。

  (2)音樂(lè)特征與噴射動(dòng)作的匹配

  這一部分主要是通過(guò)模糊專(zhuān)家系統(tǒng)將音樂(lè)特征與噴射動(dòng)作進(jìn)行兩個(gè)層次的匹配——段匹配和音符匹配。段匹配是指根據(jù)感情色彩為各個(gè)樂(lè)段找到合適的基本表演程序,即用于表現(xiàn)某一特定情感的典型動(dòng)作序列。音符匹配則是為特定的音符安排特定的噴射動(dòng)作。這兩個(gè)層次的匹配過(guò)程也就是音樂(lè)噴泉表演程序的最終設(shè)計(jì)過(guò)程,它記錄了音樂(lè)噴泉隨著音樂(lè)舞動(dòng)的全部狀態(tài)。

  (3)動(dòng)畫(huà)仿真

????當(dāng)表演程序被設(shè)計(jì)出來(lái)后,如果直接在噴泉裝置上進(jìn)行仿真,將是一個(gè)非常費(fèi)時(shí)費(fèi)力的過(guò)程。因此,設(shè)計(jì)了動(dòng)畫(huà)仿真子系統(tǒng)。動(dòng)畫(huà)的參數(shù)全部按照實(shí)際的噴泉實(shí)驗(yàn)裝置來(lái)設(shè)計(jì),通過(guò)動(dòng)畫(huà)可以實(shí)現(xiàn)對(duì)實(shí)際噴射效果的仿真。為了做出與實(shí)際噴射相似的噴射效果,采用粒子系統(tǒng)[2]

  (4)手動(dòng)修改

????在觀看動(dòng)畫(huà)仿真結(jié)果后,用戶(hù)可能需要對(duì)原表演程序進(jìn)行修改。為了使用戶(hù)能夠在不需要了解內(nèi)部代碼的情況下對(duì)表演程序進(jìn)行任意的修改,筆者開(kāi)發(fā)了一個(gè)很有好的人機(jī)界面。該界面不僅可以實(shí)現(xiàn)單點(diǎn)修改、多點(diǎn)修改,還可以為整段音樂(lè)選擇另一套表演動(dòng)作。

  (5)打印噴泉表演程序總譜

????該總譜既包括了所有音符,又包括了與音樂(lè)對(duì)應(yīng)的所有噴射動(dòng)作,可以對(duì)整個(gè)表演程序一目了然。

  (6)編譯成控制程序

????用一臺(tái)Pentium III 866 MHz 的PC機(jī)作為控制器,它能夠自動(dòng)地把表演程序編譯成功放輸出的控制程序,從而控制音樂(lè)噴泉硬件裝置的噴射,實(shí)現(xiàn)音樂(lè)與噴泉的同步。

  (7)同步播放

????為了保證噴射與音樂(lè)的同步,筆者開(kāi)發(fā)了同步播放程序,主要用于防止噴射相對(duì)于控制的延時(shí)。

  音樂(lè)特征識(shí)別和匹配是該系統(tǒng)的核心。下面,將對(duì)這兩個(gè)子系統(tǒng)進(jìn)行重點(diǎn)介紹。

3 音樂(lè)特征的識(shí)別

  由于不同風(fēng)格的音樂(lè)有著各自不同的特點(diǎn),這里,選擇節(jié)奏相對(duì)穩(wěn)定、曲式相對(duì)固定的約翰·施特勞斯(Johann Strauss)的圓舞曲。

3.1 音樂(lè)基本特征的提取

  在該系統(tǒng)中,選擇MIDI文件作為輸入的音源。一個(gè)MIDI文件含有一個(gè)header chunk和若干個(gè)track chunks。速度、節(jié)拍等全局基本特征可以從header chunk中得到;而音高、音長(zhǎng)等音符信息則可以從track chunks中獲取[3]。由于MIDI文件中含有大量音樂(lè)信息,因此許多音樂(lè)的基本特征都可以從中直接獲取。這里,提取了九種基本特征:音色、調(diào)性、節(jié)拍、音高、音長(zhǎng)、音量、力度、速度和發(fā)聲時(shí)間。

3.2 音樂(lè)曲式特征的提取[4]

  施特勞斯的圓舞曲多由三部分組成:主體是3~5個(gè)小圓舞曲,前面有序奏,最后有尾聲。每首圓舞曲有兩個(gè)主要旋律,用單二部曲式(AB)或單三部曲式(ABA)構(gòu)成。考慮到這些旋律常常由兩個(gè)非常相似的樂(lè)句組成,采用一種搜索相似旋律的方法分析音樂(lè)的曲式結(jié)構(gòu);同時(shí),為了提高搜索效率" title="搜索效率">搜索效率和正確率,還兼顧了曲式結(jié)構(gòu)中的和聲與節(jié)奏特點(diǎn)。

  (1)根據(jù)節(jié)奏和調(diào)性進(jìn)行初步識(shí)別

  一首圓舞曲常常由幾百個(gè)小節(jié)組成,因此如果在全曲范圍內(nèi)對(duì)旋律進(jìn)行搜索將會(huì)非常費(fèi)時(shí)費(fèi)力。樂(lè)曲節(jié)奏和調(diào)性的改變常常意味著新段落的出現(xiàn),這里首先根據(jù)這兩方面的特征對(duì)全曲進(jìn)行初步劃分,為旋律搜索縮小范圍,從而提高搜索效率。

  (2)利用旋律搜索進(jìn)行重點(diǎn)識(shí)別

  為了進(jìn)一步提高相似旋律的搜索效率,根據(jù)古典音樂(lè)的特點(diǎn),作三點(diǎn)假設(shè)。第一假設(shè)一個(gè)完整的樂(lè)句由16小節(jié)構(gòu)成,這一假設(shè)在很多音樂(lè)結(jié)構(gòu)的研究中被采用,并在多數(shù)情況下被證明是正確的。第二假設(shè)一個(gè)樂(lè)句的前4小節(jié)是全句的重點(diǎn),這一假設(shè)能夠用很少的音符表征整個(gè)樂(lè)句,同時(shí)經(jīng)過(guò)檢驗(yàn)是完全正確的。第三假設(shè)在眾多的樂(lè)器中,小提琴、長(zhǎng)笛、單簧管演奏主旋律的可能性最大,這一假設(shè)被證明非常有效,它幫助從十幾種樂(lè)器中迅速地找到主旋律音色,作為旋律搜索的前提。在這三個(gè)假設(shè)的基礎(chǔ)上,還引入一種樹(shù)狀結(jié)構(gòu)“旋律樹(shù)”,用以記錄一段旋律的總體輪廓,從而實(shí)現(xiàn)對(duì)相似旋律的搜索,如圖3。該結(jié)構(gòu)由四層組成:

  ·第一層代表一段16小節(jié)的旋律;

????·第二層代表該旋律的前4小節(jié);

  ·第三層代表每個(gè)小節(jié)的三個(gè)正拍;

  ·第四層代表各個(gè)小節(jié)的正拍和半拍;

?

  在圖3中,節(jié)奏是3/4,在旋律樹(shù)中,僅僅需要記錄相對(duì)音高。與其他記錄旋律的方法相比[5, 6],該旋律樹(shù)有三個(gè)優(yōu)點(diǎn):首先,由于前4小節(jié)是整段旋律的重點(diǎn),旋律樹(shù)用很少的音符抓住了整段旋律的輪廓;第二,這種樹(shù)狀結(jié)構(gòu)不僅記錄了旋律的輪廓,而且記錄了旋律的結(jié)構(gòu);最后,這種分層結(jié)構(gòu)有利于提高搜索效率。由于上一層的音符比下一層重要,因此,如果在比較旋律樹(shù)時(shí)在上一層就出現(xiàn)了不同,則無(wú)需對(duì)下面的各層進(jìn)行比較就可以直接得出二者不同的結(jié)論。這種旋律樹(shù)可以用來(lái)提取和比較旋律,在實(shí)驗(yàn)中證明非常有效。

  (3)利用和聲特征進(jìn)行補(bǔ)充識(shí)別

  經(jīng)過(guò)以上兩個(gè)步驟,大多數(shù)曲式結(jié)構(gòu)可以被識(shí)別出來(lái),但仍會(huì)有一些例外。為了進(jìn)一步提高曲式識(shí)別的準(zhǔn)確性,又利用終止式[7,8](結(jié)束一個(gè)音樂(lè)結(jié)構(gòu)和結(jié)束一個(gè)樂(lè)思的和聲)對(duì)曲式結(jié)構(gòu)進(jìn)行了補(bǔ)充分析。由于和聲分析相對(duì)復(fù)雜,這里只考慮了與終止式密切相關(guān)的主和弦和屬和弦。

3.3 音樂(lè)情感特征的提取

  在曲式特征識(shí)別基礎(chǔ)上,整個(gè)樂(lè)曲被劃分成一個(gè)個(gè)小樂(lè)段。該部分則通過(guò)對(duì)每個(gè)樂(lè)段的音響、速度、旋律等特征進(jìn)行綜合分析,最終由一個(gè)模糊分類(lèi)器判斷出其情感特征[9]。為了對(duì)情感特征進(jìn)行合理的描述,根據(jù)在音樂(lè)心理學(xué)領(lǐng)域得到廣泛認(rèn)可的Hevner詞表[10],提出一種“情感環(huán)”的結(jié)構(gòu),如圖4。

?

4 模糊專(zhuān)家系統(tǒng)匹配

  這一部分主要通過(guò)模糊專(zhuān)家系統(tǒng)對(duì)音樂(lè)特征進(jìn)行段匹配和音符匹配兩個(gè)層次上的匹配。

4.1 段匹配

  段匹配在對(duì)音樂(lè)作品進(jìn)行結(jié)構(gòu)分析和情感分析基礎(chǔ)上,根據(jù)情感色彩為每一段旋律找到最適合的基本表演程序。

  (1)基本表演程序庫(kù)" title="程序庫(kù)">程序庫(kù)的建立

  基本表演程序庫(kù)中存放有大量的基本表演程序,即表演動(dòng)作序列。基本表演程序的結(jié)構(gòu)如圖5所示。從圖5中可以看出,每一個(gè)基本表演程序除了記載所有動(dòng)作的名稱(chēng)和動(dòng)作時(shí)間外,還有該基本表演程序所體現(xiàn)的感情色彩。值得注意的是,這里的動(dòng)作時(shí)間是指在標(biāo)準(zhǔn)速度(定義為1小節(jié)/1秒鐘)下的動(dòng)作時(shí)間。因此,當(dāng)樂(lè)曲速度變化時(shí),系統(tǒng)要自動(dòng)根據(jù)速度的改變調(diào)整運(yùn)動(dòng)時(shí)間,從而實(shí)現(xiàn)音樂(lè)與動(dòng)畫(huà)的同步。

?

?

  (2)表演程序控制器" title="程序控制器">程序控制器的建立

  段匹配的結(jié)果記錄在表演程序控制器PPC(Performance Program Controller)序列中,作為進(jìn)一步設(shè)計(jì)表演程序的基礎(chǔ),如圖6。表演程序控制器有六個(gè)參數(shù):第一個(gè)是控制器編號(hào),即樂(lè)段編號(hào);第二個(gè)是記錄該樂(lè)段旋律線的旋律樹(shù)的編號(hào);第三、四個(gè)分別是該樂(lè)段的起始和結(jié)束小節(jié);第五個(gè)是該樂(lè)段的感情分類(lèi);最后一個(gè)則是為該樂(lè)段匹配的基本表演程序的編號(hào)。

?

?

4.2 音符匹配

  音符匹配包括兩部分:首先根據(jù)樂(lè)曲速度決定基本表演程序中相鄰動(dòng)作的時(shí)間間隔;其次是為關(guān)鍵音符(如強(qiáng)音)設(shè)計(jì)一些特殊的動(dòng)作。在段匹配的基礎(chǔ)上,音符匹配使音樂(lè)動(dòng)畫(huà)的設(shè)計(jì)做到了點(diǎn)面結(jié)合。

  經(jīng)過(guò)段匹配和音符匹配,最初的音樂(lè)噴泉的表演程序就產(chǎn)生了,它記錄了音樂(lè)噴泉隨著音樂(lè)噴射的所有動(dòng)作。

5 實(shí)驗(yàn)結(jié)果

  筆者在Windows 2000平臺(tái)上用Visual C++開(kāi)發(fā)了該系統(tǒng)的原型,并選取了《藍(lán)色多瑙河》、《春之聲》、《皇帝圓舞曲》等施特勞斯的著名圓舞曲進(jìn)行了實(shí)驗(yàn)。結(jié)果非常令人滿(mǎn)意。當(dāng)基本表演程序庫(kù)中的基本表演程序很少時(shí),噴泉的姿態(tài)變化出現(xiàn)了大量的重復(fù),而當(dāng)基本表演程序進(jìn)行擴(kuò)充后,噴泉的動(dòng)作設(shè)計(jì)非常令人滿(mǎn)意。以《藍(lán)色多瑙河》為例,自動(dòng)設(shè)計(jì)用了5分鐘時(shí)間。序曲部分是在藍(lán)色燈光下的簡(jiǎn)單搖擺,與各小圓舞曲對(duì)應(yīng)的是或歡快、或抒情、或激昂的一段段噴射動(dòng)作,而尾聲則是所有水柱一齊噴射的場(chǎng)面。當(dāng)相似的旋律出現(xiàn)時(shí),噴射的動(dòng)作是完全一樣;如果是以不同的速度出現(xiàn),則噴射的速度也會(huì)相應(yīng)地改變,基本做到了視覺(jué)感受與聽(tīng)覺(jué)感受的一致。經(jīng)過(guò)很少的幾處修改,該表演程序在音樂(lè)噴泉試驗(yàn)裝置上與音樂(lè)進(jìn)行了同步表演,結(jié)果非常令人滿(mǎn)意(圖7、8)。筆者還嘗試了一些其他類(lèi)型的曲目,包括“Times to say good-bye” (流行音樂(lè)), “Swan lake”(古典音域), “春江花月夜”(民樂(lè))。與想象的相同,自動(dòng)設(shè)計(jì)出的表演程序并不令人滿(mǎn)意。但由于人機(jī)修改界面非常友好,用幾個(gè)小時(shí)就完成了一個(gè)樂(lè)曲的設(shè)計(jì)工作。這與傳統(tǒng)的制作方式相比,大大提高了效率。

?

?

?

參考文獻(xiàn)

1 Rothstein J. MIDI:a Comprehensive Introduction. Oxford:?Oxford University Press, 1992

2 Reeves W T. Particle system-a technique for modeling a?class of fuzzy objects. Computer graphics. 1983;17(3):359~370

3 Wang Q,Saiwaki N, Nishida S. An approach to automatic?motion synthesis for 3D spring model with music factors. In:Proceedings of IEEE International Conference on Systems,Man, and Cybernetics. Piscataway, 1999; 4: 224~229

4 D. Liu, N. Y. Zhang, H. C. Zhu. Form Recognition?for Johann Strauss's Waltz Centos Based on Music Fea? tures. In: Proceedings of the International Conference on Machine? Learning and Cybernetics 2002. Accepted)

5 劉 丹,張乃堯.模糊數(shù)學(xué)在音樂(lè)特征描述中的應(yīng)用. 2001年中國(guó)智能自動(dòng)化會(huì)議論文集. 昆明, 2001: 304~309

6 劉 丹,張乃堯,朱漢城.關(guān)于音樂(lè)信息智能分析處理方法的研究綜述. 計(jì)算機(jī)工程與應(yīng)用,(已收錄)

7 Kamien R. Music: an Appreciation. New York: McGraw-Hill, 1994

8 Tokumaru M, Yamashita K, Muranaka N, Imanishi S.?Membership functions in automatic harmonization system.?In: Proceedings of 28th IEEE Conf. on International Symposium on Multiple-Valued Logic. 1998: 350~355.

9 D. Liu, N. Y. Zhang, H. C. Zhu.? A fuzzy expert?system to recognize sentiment of music and it's application in music fountains. In: Proceedings of the International?Conference on Control and Automation. 2002: 1854~1857

10 R. E Radocy, J. D. Boyle. Psychological foundations? of musical behavior. Illinois: Charles C Thomas Publisher,?1988

本站內(nèi)容除特別聲明的原創(chuàng)文章之外,轉(zhuǎn)載內(nèi)容只為傳遞更多信息,并不代表本網(wǎng)站贊同其觀點(diǎn)。轉(zhuǎn)載的所有的文章、圖片、音/視頻文件等資料的版權(quán)歸版權(quán)所有權(quán)人所有。本站采用的非本站原創(chuàng)文章及圖片等內(nèi)容無(wú)法一一聯(lián)系確認(rèn)版權(quán)者。如涉及作品內(nèi)容、版權(quán)和其它問(wèn)題,請(qǐng)及時(shí)通過(guò)電子郵件或電話通知我們,以便迅速采取適當(dāng)措施,避免給雙方造成不必要的經(jīng)濟(jì)損失。聯(lián)系電話:010-82306118;郵箱:aet@chinaaet.com。
主站蜘蛛池模板: 99国产成人高清在线视频 | 一个人看的www片免费中文 | 天天摸天天射 | 午夜视频在线免费播放 | a级在线观看免费 | 人人添人人麦人人爽夜欢视频 | 久久成人免费网站 | 亚洲va欧美va国产va天堂影 | 波多野结衣被强在线视频 | 免费三级网址 | 巨尻在线播放 | 国产男女爽爽爽免费视频 | 九九色视频 | 久久精品视频一区 | 亚洲精品成人a在线观看 | 黄网站在线观看永久免费 | 天天拍天天干 | 丝袜美女在线播放 | 亚洲欧美丝袜综合精品第一页 | free性china中文| 欧美日韩一区二区在线视频播放 | 成人精品一区二区不卡视频 | 国产黄色免费在线观看 | 精品一区二区三区在线观看视频 | 91精品乱码一区二区三区 | 欧美视频一区二区三区精品 | 97久久人人爽人人爽人人 | 国产精品免费一区二区区 | 国产亚洲精品一品区99热 | 黄色短视频免费在线观看 | 99精品视频在线观看免费 | 国产操操| 最近最新免费中文字幕高清 | 国产在线97色永久免费视频 | 被窝国产理论一二三影院 | 伊人久久精品成人网 | 最近中文字幕国语免费高清6 | 亚州中文字幕 | h片网站在线观看 | 最近免费中文字幕高清大全 | 91国自产精品中文字幕亚洲 |