KarinAI :: STT & IOS Build

Whisper → Unity

목표 : STT ⇒ 마이크 음성인식을 통해 불러온 음성을 텍스트로 변환

---

STT

• 네이버 CLOVA api (너무 비싸)
• openai whisper api → 무료!

 

https://platform.openai.com/docs/api-reference/audio/create

[UnityでWhisper APIを使う方法]改め、ChatGPTが自分の能力を超えつつあると実感した瞬間 - Qiita

 

Microphone

[Unity3D] Naver CLOVA Speech Recognition API 사용하기

 

 

 

Wav utility

GitHub - deadlyfingers/UnityWav: WAV utility for saving and loading wav files in Unity

 

오류 발생

• 오류 원인으로 추정되는 곳 
  1. Microphone → AudioClip
  2. AudioClip → byte[]
  3. byte[] → whisper API
• 계속 오류가 나서 알아본 결과 3번이 문제.

Calling Whisper API using curl request keeps giving error

 

해결

//* 요청 *//
var headers = new Dictionary<string, string>{
	{"Authorization","Bearer " + API_KEY},
	{"Content-Type", "multipart/form-data"},
};

// 위를 아래로 바꾸면 해결됨.

//* 요청 *//
var headers = new Dictionary<string, string>{
	{"Authorization","Bearer " + API_KEY},
};

---

IOS Build

목표 : IOS 빌드

---

Unity Remote 5

[유니티 기초] 61_아이폰에서 Remote5 실행 하기 : 유니티 기초

 

컴퓨터 화면을 캡처해서 아이폰으로 송출하는 방식.

따라서 아이폰 장치는 입력에 영향을 미치지 못한다.

(일단 Microphone는 안됨)

 

Oculus Lipsync 충돌

해결법

error CS0619: ‘PBXProject.GetUnityTargetName()’ is obsolete:

 

해상도 설정

PNG - Normal 로 하면 너무 렉 걸려서 Delay.

 

테스트

 

---

현재까지의 플로우차트

flowchart LR n0(Input) n1(OpenAI API) n2(NaverDev API) n25(OpenAI API) n3(VoiceVox API) n4(Output) n1s1[Whisper] n25s1[ChatGPT] n2s1[Papago] n3s1[VoiceVox Engine] n0-->|Mic|n1 n3-->|IOS|n4 n1<-->|Whisper-1|n1s1 n25<-->|GPT3.5 turbo|n25s1 n2<-->|Translate|n2s1 n3<-->|TTS|n3s1 subgraph Unity Framework direction LR n1-->n2 n2-->n25 n25-->n3 end

 

---

스카이박스

프롬프트를 사용해서 AI로 스카이박스 만들기

X의 コバぽこ님(@Koba_Poko3)

Skybox AI