Ses Tanıma Modeli ile Sesli Komutlar

Ders 7’de ses veri setimizi topladık. Şimdi bu sesleri tanıyan bir model eğitip Raspberry Pi’ye “kulak” takıyoruz. Bu derste önce dürüst bir mühendislik kararı vereceğiz: Hangi aracı neden kullanıyoruz?

Dersin Amacı ve Kazanımlar

Bu dersin sonunda:

1. Teachable Machine ses modeli ile Edge Impulse yolunu Raspberry Pi açısından karşılaştırabileceksiniz.
2. Edge Impulse’ta MFCC tabanlı bir impulse tasarlayıp model eğitebileceksiniz.
3. Modelin başarısını test verisi ve karışıklık matrisiyle değerlendirebileceksiniz.
4. edge-impulse-linux araçlarını kurup modeli .eim dosyası olarak indirebileceksiniz.
5. Sesli komutları güven eşiği ve bekleme süresiyle algılayan bir program yazabileceksiniz.

Gerekli Malzemeler

Neden Teachable Machine Değil de Edge Impulse?

Görüntü modelimizi Teachable Machine ile eğittik ve Pi’de sorunsuz çalıştırdık. Teachable Machine’in ses projeleri de var ve TensorFlow Lite olarak dışa aktarılabiliyor. O hâlde neden aynı yoldan gitmiyoruz? Çünkü bu yolu araştırdığımızda Raspberry Pi için şu sorunlarla karşılaştık:

Kısacası, Teachable Machine ses modeli Pi’de çalıştırılabilir ama kırılgan bir yoldur; bir sınıf ortamında her öğrencide aynı sonucu verecek kadar güvenilir değildir. Teachable Machine’in ses projeleri tarayıcıda harika çalışır; ortaokul kursumuzda onları bu yüzden kullanıyoruz. Pi’deki sesli komutlar için ise Edge Impulse kullanacağız.

1. Adım: Impulse Tasarımı

Edge Impulse’ta modelin bütün iş akışına impulse denir: ham veriyi pencerelere bölmek, özellik çıkarmak ve sınıflandırmak.

1. Projenizde Create impulse sayfasını açın.
2. Time series data bloğunda pencere boyutunu (Window size) 1000 ms, frekansı 16000 Hz bırakın; kayıtlarımız zaten bir saniye.
3. İşleme bloğu olarak Audio (MFCC), öğrenme bloğu olarak Classification ekleyin ve Save Impulse düğmesine basın.

MFCC, Ders 6’da gördüğümüz spektrogramın insan kulağına göre düzenlenmiş bir hâlidir. Kulağımız düşük frekanslardaki farkları yüksek frekanslardakilerden daha iyi ayırt eder; MFCC de konuşmayı ayırt etmeye yarayan bilgileri öne çıkarır.

2. Adım: Özellik Çıkarma ve Eğitim

1. Soldaki menüden MFCC sayfasına gidin. Sağda seçtiğiniz kaydın MFCC görüntüsünü görürsünüz. Ayarları değiştirmeden Generate features sekmesine geçip düğmeye basın.
2. İşlem bitince Feature explorer grafiğinde her kayıt bir nokta olarak görünür. Aynı renkteki noktalar kümeler oluşturuyorsa veri setiniz iyi ayrışıyor demektir. Başka bir kümenin ortasında kalmış noktaları tıklayıp dinleyin; yanlış etiketlenmiş bir kayıt olabilir.
3. Classifier sayfasında Data augmentation seçeneğini açın. Bu seçenek eğitim sırasında kayıtlara gürültü ekleyerek ve küçük değişiklikler yaparak modelin gerçek ortama daha dayanıklı olmasını sağlar.
4. Start training düğmesine basın. Eğitim birkaç dakika sürer.

Eğitim bitince sayfanın altında doğruluk ve bir karışıklık matrisi (confusion matrix) görürsünüz. Matrisin satırları gerçek sınıfı, sütunları modelin tahminini gösterir. Köşegendeki sayılar doğru tahminlerdir. Örneğin “ac” satırında “bilinmeyen” sütununda büyük bir sayı varsa model “aç” komutunu sık sık kaçırıyordur. Son olarak Model testing sayfasında test verisinin hepsini sınıflandırın: Asıl başarı, modelin hiç görmediği bu kayıtlardaki başarıdır.

3. Adım: Raspberry Pi’ye Kurulum

Edge Impulse’un Linux araçları Node.js ile yazılmıştır. Aşağıdaki komutlar Edge Impulse’un Raspberry Pi 5 belgelerindeki komutlardır; Node.js sürümü değişirse güncel komutu oradan kontrol edin:

# 1) Edge Impulse komut satırı araçları (Node.js gerektirir)
sudo apt update
curl -sL https://deb.nodesource.com/setup_20.x | sudo bash -
sudo apt install -y gcc g++ make build-essential nodejs sox gstreamer1.0-tools \
    gstreamer1.0-plugins-good gstreamer1.0-plugins-base gstreamer1.0-plugins-base-apps
sudo npm install edge-impulse-linux -g --unsafe-perm

# 2) Python SDK'sı için ses kütüphaneleri (apt) ve paket (yzenv içinde pip)
sudo apt install -y portaudio19-dev python3-pyaudio python3-six
source ~/yzenv/bin/activate
pip install edge_impulse_linux

Python paketi edge_impulse_linux mikrofonu PyAudio ile açar. PyAudio’yu pip ile derlemek yerine apt ile hazır paket olarak kuruyoruz; sanal ortamımız --system-site-packages ile oluşturulduğu için onu görebilir.

Şimdi Pi’yi projeye bağlayıp modeli indirelim:

# Pi'yi projeye bağlayın (ilk seferde e-posta/parola ve proje sorulur)
edge-impulse-linux

# Modeli Pi'de canlı deneyin (Ctrl+C ile çıkılır)
edge-impulse-linux-runner

# Modeli dosya olarak indirin
edge-impulse-linux-runner --download model_ses.eim
chmod +x model_ses.eim

edge-impulse-linux komutu Pi’yi projenize bir “cihaz” olarak ekler. Bu sayede isterseniz Data acquisition sayfasından doğrudan Pi’nin mikrofonuyla yeni kayıt da toplayabilirsiniz. edge-impulse-linux-runner modeli projeden indirip Pi için derler ve mikrofonu dinlemeye başlar; terminalde her pencere için sınıfların olasılıklarını görürsünüz. --download seçeneği ise modeli dosya olarak kaydeder. .eim dosyası ses analizini ve modeli içeren, Pi’de doğrudan çalışan bir programdır.

4. Adım: Sesli Komut Programı

# dosya: sesli_komut.py  (Edge Impulse modeliyle "aç" / "kapat" komutlarını algılar)
import os
import time
from edge_impulse_linux.audio import AudioImpulseRunner

KLASOR = os.path.dirname(os.path.abspath(__file__))
MODEL = os.path.join(KLASOR, "model_ses.eim")
CIHAZ = None        # None: program mikrofon listesini gösterip numara sorar
ESIK = 0.80         # komut sayılması için gereken en düşük güven
BEKLEME = 1.5       # bir komuttan sonra kaç saniye yeni komut alınmasın
KOMUTLAR = ("ac", "kapat")

son_komut = 0.0
with AudioImpulseRunner(MODEL) as runner:
    try:
        bilgi = runner.init()
        print("Model:", bilgi["project"]["name"])
        print("Etiketler:", bilgi["model_parameters"]["labels"])
        print("Dinliyorum... (çıkmak için Ctrl+C)")
        for sonuc, ses in runner.classifier(device_id=CIHAZ):
            olasiliklar = sonuc["result"]["classification"]
            etiket = max(olasiliklar, key=olasiliklar.get)
            guven = olasiliklar[etiket]
            simdi = time.time()
            if etiket in KOMUTLAR and guven >= ESIK and simdi - son_komut > BEKLEME:
                son_komut = simdi
                print(f"KOMUT: {etiket} (%{guven * 100:.0f})")
    except KeyboardInterrupt:
        print("Durduruldu.")
    finally:
        runner.stop()

Örnek çıktı: (Raspberry Pi 5 ve USB mikrofonla örnek çıktı. “selected Audio device” satırını Edge Impulse kütüphanesi yazar; CIHAZ = None bırakılırsa bundan önce mikrofon listesi gösterilir ve numara sorulur.)

Model: geri-donusum-sesli-komut
Etiketler: ['ac', 'bilinmeyen', 'gurultu', 'kapat']
Dinliyorum... (çıkmak için Ctrl+C)
selected Audio device: 1
KOMUT: ac (%94)
KOMUT: kapat (%88)
^CDurduruldu.

Program, kütüphanenin classifier() fonksiyonundan sürekli sonuç alır. Kütüphane mikrofondan gelen sesi bir saniyelik pencerelere böler ve pencereyi her seferinde biraz kaydırarak modeli tekrar çalıştırır. Bu yüzden aynı “aç” kelimesi art arda iki üç pencerede yakalanabilir. BEKLEME değişkeni bunu önler: Bir komut algılandıktan sonra 1,5 saniye boyunca yeni komut kabul edilmez. max(olasiliklar, key=olasiliklar.get) ifadesi sözlükte değeri en büyük olan anahtarı, yani en olası etiketi bulur.

Sıra Sizde

1. Kolay: ESIK değerini 0.6 ve 0.95 yaparak programı deneyin. Hangisinde komutlar daha sık kaçırılıyor, hangisinde yanlış komut daha sık algılanıyor? Gözlemlerinizi yazın.
2. Orta: Programı, her algılanan komutu saatiyle birlikte komutlar.txt dosyasına kaydedecek şekilde değiştirin.
3. Zor: Bir komutun kabul edilmesi için art arda iki pencerede aynı komutun eşiği geçmesini şart koşun. Bu değişiklik yanlış algılamaları nasıl etkiledi?

Kendini Dene

1. Bu derste ses modeli için neden Teachable Machine yerine Edge Impulse kullandık? İki neden yazın.
2. Karışıklık matrisinde köşegendeki sayılar neyi gösterir?
3. Programdaki BEKLEME değişkeni olmasaydı ne olurdu?

Cevaplar