「トーク愛」の紹介

1.「トーク愛」の概要

「トーク愛」は、高齢者の自律した生活を支援すると同時に、遠隔地の独居高齢者を見守り者（家族など）も支援するスマホ／タブレット・アプリです。

1.1 「トーク愛」の特徴

1. 音波の分析

「トーク愛」は、人間の音声や楽器が発する音波を分析します。

音声会話機能
チューナ機能
音階機能

音声会話機能

「トーク愛」は、「音声認識」機能や「音声出力」機能を使って、「音声会話アプリ」を作成できます。
「音声会話アプリ」は、アイドル状態から「OK Happy」と言う「Wakeup Word」を発声する事で起動できます。

チューナ機能

楽器の基本周波数検出は、楽器の音を分析して「基本周波数」を検出します。

音階機能

2. 音楽の演奏

「トーク愛」は、「abcjs」機能を使って、楽譜を作成し「音楽の演奏」が可能です。

2.高齢者の自律した生活の支援

「トーク愛」は、「チューナー」機能や「音声認識」機能や「音声出力」機能を使って、高齢者の生活を支援します。
「予定表機能」を活用して、今日の予定などを音声で知る事ができる

「予定表機能」とは指定した時間に、ある音声会話アプリを起動する機能です。
スケジュールは、「毎日(dayly)」「毎週(weekly)」「毎月(monthly)」「指定年月日(other)」の指定ができます。
「デイサービス」のように、毎週、決まった時間にお迎えの車に乗る事に忘れないようにする時などに便利です。

音楽や動画の視聴などの色々な機能を音声で指示できるので、スマホやタブレットが話し相手になる

音声会話アプリにより、高齢者が苦手なスマホやタブレットの画面操作を音声で行う事ができます。
音声会話アプリは、「OK Happy」と言う「Wakeup Word」で起動する事ができます。
音声入力がタイムアウト（3回以上、入力がない場合）になった場合でも「Wakeup Word」で音声入力を再開させる事ができます。
勿論、画面操作でも同じことができるので、やりやすい方法でスマホやタブレットを操作できます。

独居高齢者の話し相手になる

「ChatBot with Gemini」は、Googleが提供する「大規模言語モデル(LLM)」です。
音声で「ChatBot with Gemini」への質問プロンプトを作成して、「ChatBot with Gemini」に色々な質問ができます。
質問に対する「ChatBot with Gemini」からの回答は、データベース(firestore)に保存されているので「音声チャット画面」で閲覧する事ができます

3.高齢者の見守り

「トーク愛」を活用して、高齢者の見守りを行う事ができます。

「予定表機能」を使用して、「デイサービス」のように、毎週、決まった時間にお迎えの車に乗る事に忘れないようにする事ができます。
「チャット機能」を使用して、家族や関係者とのコミュニケーションをとる事ができます。
「チャットボット機能」を使用して、「トーク愛」が独居高齢者の話し相手になる事ができます。
「お気に入り機能」を使用して、音楽や動画を楽しむ事ができます。

緊急連絡先の登録機能を活用する

遠隔地の独居高齢者の異常を検出した場合、その異常を見守り者（家族など）に通知できます。
緊急連絡先には、かかり医などの連絡先も含まれるので、異常を知った見守り者（家族など）の迅速な対応が可能です。
独居高齢者は、音声で自分の異常を見守り者（家族など）に「メール」「チャット画面」で通知する事ができます。
人感センサーなど（オプション）で、遠隔地の独居高齢者の異常を検出して、見守り者（家族など）に知らせる事もできます。

人感センサーなどで遠隔地の独居高齢者の生活を検出し見守り者（家族など）に知らせる

無線（BLE: Bluetooth Low Energy）で人感センサーや温度センサー等を接続できます。
色々な「異常検出アルゴリズム」で独居高齢者の異常を検出し、見守り者（家族など）に知らせます。

「音声チャット機能」で独居高齢者の発言（テキスト、写真）を見守り者（家族など）が共有する

遠隔地の独居高齢者と見守り者（家族など）を構成員とする「音声チャット機能」を利用する事ができます。
「音声チャット機能」とは、音声でチャット用テキストを入力できる機能です。
「音声チャット機能」は、テキストの他、写真や各種ファイルを入力できます。
高齢者が音声でチャット用テキストを入力する時、同時に写真を撮影してチャット画面に表示する事もできます。
遠隔地の独居高齢者の発話（テキスト化）と写真を見守り者（家族など）が見て、安否確認をする事ができます。、

1.2 「トーク愛」の機能概要

1.見守り機能

「見守り機能」では、以下の機能を提供しています。

見守りトーク機能
予定表機能
目覚まし機能
見守り情報

「見守りトーク機能」:

「見守りトーク機能」は、「音声チャット」機能や「各種センサー」を利用して、遠隔地の高齢者を見守り者（家族など）が見守る事ができます。
「見守りトーク機能」は、「大規模言語モデル(Gemini)」を利用した、チャットボット機能を持っています。
「見守りトーク機能」は、音声でチャットボットに質問する事ができます。

予定表機能:

カレンダー形式の「予定表」機能です。
カレンダー形式の「予定表」は、音声を使って簡単に入力できます。

目覚まし音楽機能:

設定した時間に音楽などを演奏する「目覚まし音楽演奏」機能です。

見守り情報:

「緊急連絡先」を利用して、複数のお友達や関係者と画面を共用できる「緊急連絡先」情報を有しています。
「バス・電車時刻表」を利用して、電車やバス等の「時刻表」を確認できるので、外出時に便利です。
「各種センサー情報」を利用して、遠隔地の高齢者を見守り者（家族など）が見守る事ができます。

2.お気に入り機能

音楽や動画を楽しむために、お気に入りの音楽や動画のURLをカテゴリー分けして記録します。
音声を使ってお気に入りの音楽や動画を楽しむ事ができます。
「お気に入り」を「共通」と「個人」の2種類に分けてサポートします。
「お気に入り機能」では、以下の機能を提供しています。

共通
個人
音声アプリ一覧

共通

「共通」用のお気に入りの音楽や動画のURLをカテゴリー分けして記録します。

個人

「個人」用のお気に入りの音楽や動画のURLをカテゴリー分けして記録します。

音声アプリ一覧

お気に入りの音楽や動画を楽しむ聞くための音声アプリ一覧を表示します。

3.楽器演奏機能

「楽器演奏機能」では、以下の機能を提供しています。

チューナー
作曲
音階

チューナー

楽器（ギターなど）の基本周波数を検出して、楽器のチューニングを行う事ができます。

作曲

「」

音階

4.お勉強機能

「トーク愛」は、「音声チャット」機能や「各種センサー」を利用して、遠隔地の高齢者を見守り者（家族など）が見守る事ができます。
「トーク愛」は、高齢者の「スケジュール」を設定できます。

以上

2.見守り機能

2.1 見守り機能の概要

1.見守りトーク機能

「LINE」のような複数のお友達や関係者と画面を共用できるチャット機能です。
見守りトーク機能は「部屋」単位で行われますが「部屋」は、以下の3種類を定義する事が出来ます。

direct
group
channel

direct

参加メンバーは「自分」と「相手（一人数）」です。
トーク部屋（direct）のアイコンは、「相手（一人数）」のアイコンになります。
参加メンバーの「相手（一人数）」に「トーク愛」を指定すると「Google Gemini」と「チャットボット」を行う事ができます。

group

参加メンバーは「自分」と「相手（二人以上の複数）」です。
トーク部屋（direct）のアイコンは、部屋を生成時に決めることができます。

channel

参加メンバーは「自分」と「相手（一人以上の複数）」ですが、「テーマ」を指定する点が異なります。
「テーマ」は、2階層（カテゴリとテーマ）に分類できます。
トーク部屋（channel）のアイコンは、部屋を生成時に決めることができます。
トーク部屋（channel）に属するメッセージは、「metadata」フィールドに「category」キーを「player」キーを持ちます。

2.予定機能

カレンダー形式の「予定表」機能をサポートします。

3.アラーム機能

指定された時間になるとアラームが鳴り、音楽などを演奏する機能です。

4.見守り情報

緊急連絡先

電車・バスのスケジュール表

普段、よく利用する電車・バスの時刻表を作成する機能です。

センサー情報

2.2 見守りトーク機能の実装

1.見守りトーク機能の「部屋」

見守りトーク機能の「部屋」は、firestoreの「rooms」コレクションの「部屋ドキュメント」で定義されます。
「部屋ドキュメント」の「type」フィールドで、以下の3種類の「部屋」が定義されます。

direct: 参加メンバーは「自分」と「相手（一人数）」です。
group: 参加メンバーは「自分」と「相手（一人以上の複数）」です。
channel: 参加メンバーは「自分」と「相手（一人以上の複数）」ですが、「テーマ」を指定する点が異なります。

「direct」と「group」の機能的な差はありませんが、「direct」の場合の部屋アイコンは、相手（一人数）のアイコンが使用されます。
トーク部屋（direct）

参加メンバーは「自分」と「相手（一人数）」です。
トーク部屋（direct）のアイコンは、「相手（一人数）」のアイコンになります。
参加メンバーの「相手（一人数）」に「トーク愛」を指定すると「チャットボット」を行う事ができます。

トーク部屋（group）

参加メンバーは「自分」と「相手（二人以上の複数）」です。
トーク部屋（direct）のアイコンは、部屋を生成時に決めることができます。

トーク部屋（channel）

参加メンバーは「自分」と「相手（一人以上の複数）」ですが、「テーマ」を指定する点が異なります。
「テーマ」は、2階層（カテゴリとテーマ）に分類できます。
トーク部屋（channel）のアイコンは、部屋を生成時に決めることができます。
トーク部屋（channel）に属するメッセージは、「metadata」フィールドに「category」キーを「player」キーを持ちます。

2.見守りトーク機能の「投稿データ」の実装

見守りトーク機能の「投稿データ」は、「部屋ドキュメント」の「messages」コレクションで定義されます。
「投稿データ」の「type」フィールドで、以下の3種類の「投稿データ」が定義されます。

text: テキスト型の投稿データ。
audio: 音楽ファイル型（.mp3等）の投稿データ。
video: 動画ファイル型（.mp4等）の投稿データ。
image: 写真ファイル型（.mpeg等）の投稿データ。
file: 一般ファイル型）の投稿データ。
system: 使用されていない。
custom: 使用されていない。
unsupported: 使用されていない。

投稿データ(text)をタップ時の処理:

「#{JSON形式}#」のテキストをタップすると、

投稿データ(audio)をタップ時の処理:

投稿データ(video)をタップ時の処理:

投稿データ(image)をタップ時の処理:

投稿データ(file)をタップ時の処理:

投稿データ(system)をタップ時の処理:

投稿データ(custom)をタップ時の処理:

投稿データ(unsupported)をタップ時の処理:

3.Firestoreのデータ構造

ドキュメント設計では、データのパスや安全性を担保するため、以下のような点に注意するといいでしょう。

ドキュメント内に公開情報・非公開情報を一緒に持たせない
ドキュメント間のリレーションにはリファレンス型を活用する
ドキュメント間の1対多のリレーションはサブコレクションを利用する

4.フロントの処理フロー

ルーム一覧取得

ルームコレクションを取得
未読管理コレクションの取得（未読バッジ処理）

ルーム作成

ルームドキュメントを作成
ルームドキュメントの参加メンバーへ通知

メッセージ一覧取得

メッセージコレクションを取得
未読管理ドキュメントを削除（既読処理）

メッセージ投稿

メッセージドキュメントを作成
ルームドキュメントの最新メッセージを更新
ルームドキュメントの参加メンバーへ通知

ルームへのメンバー招待

ルームドキュメントの招待ユーザーリストを更新
メッセージドキュメントを作成（システムメッセージ処理）

ルームへの招待の承諾

ルームドキュメントの招待ユーザーリストを更新
ルームドキュメントの参加ユーザーリストを更新
メッセージドキュメントを作成（システムメッセージ処理）

ルームへの招待の拒否

ルームドキュメントの招待ユーザーリストを更新

ルームからの通知のミュート

ルームドキュメントのミュートユーザーリストを更新

ルームからの退出

ルームドキュメントの参加ユーザーリストを更新
メッセージドキュメントを作成（システムメッセージ処理）

5.大規模言語モデル（LLM）の利用

大規模言語モデル（Large Language Model＝LLM）とは、大規模なデータセットによってトレーニングされた自然言語処理モデルのことです。
大規模言語モデルに大量の文章や会話を事前に学習させると、テキストデータを解析して、言語の文法や意味を理解できるようになります。
その結果、人間のように自然な言葉でテキスト生成や文章の分類、質問応答、機械翻訳、文章の要約などのタスクを実行できます。

6.音声で大規模言語モデル(LLM)である「ChatBot with GaLM 2」と会話して色々な質問ができる

「ChatBot with GaLM 2」は、Googleが提供する「大規模言語モデル(LLM)」です。
音声で「ChatBot with GaLM 2」への質問プロンプトを作成して、「ChatBot with GaLM 2」に色々な質問ができます。
質問に対する「ChatBot with GaLM 2」からの回答は、データベース(firestore)に保存されているので「音声チャット画面」で閲覧する事ができます

2.3 予定機能

1.予定機能とは

「トーク愛」は、カレンダー形式の「予定表」機能をサポートします。
「トーク愛」は、高齢者の「スケジュール」を音声を使って簡単に設定できます。

2.4 アラーム機能

1.アラーム機能とは

「目覚まし」機能は、指定された時間になるとアラームが鳴り、音楽などを演奏する機能です。
「アラーム」は、内蔵「音楽」と「振動」を指定できます。
指定された時間になり「アラーム」が鳴動すると「通知メッセージ」が表示されます。
「通知メッセージ」をタップすると「トーク愛」が起動されます。既に「トーク愛」が起動されている場合は、そのままの状態です。
「トーク愛」の最上位にある「アラーム」アイコンをタップすると、「アラーム」の鳴動が停止し、「通知メッセージ」が音声で読み上げられます。
「通知メッセージ」が音声で読み上げらた後、「目覚まし」機能の設定で指定されたコンテンツを表示・演奏します。

2.アラーム機能の設定

年月日

「目覚まし」を行う年月日を指定します。

時間

「目覚まし」を行う時間を指定します。

モード

normal: 指定した「年月日」と「時間」に「目覚まし」を行います。
dayly: 毎日、指定した「時間」に「目覚まし」を行います。
weekly: 毎週、指定した「年月日」の曜日の「時間」に「目覚まし」を行います。
monthly: 毎月、指定した「年月日」の曜日の「時間」に「目覚まし」を行います。

通知メッセージ

「目覚まし」機能を受け入れた時の発話メッセージを指定します。例：「おはようございます」

通知コンテンツ

ループの有無

振動の有無

曲名

音量

2.5 見守り情報機能

1.予定機能とは

3.4 「電車・バスのスケジュール表」機能

1.「電車・バスのスケジュール表」機能とは

「電車・バスのスケジュール表」機能は、普段、よく利用する電車・バスの時刻表を作成する機能です。

以上

3.お気に入り機能

音楽や動画を楽しむために、お気に入りの音楽や動画のURLをカテゴリー分けして記録します。

3.1 お気に入り機能の概要

1.お気に入り機能とは

「お気に入り」機能は、高齢者が音楽や動画を楽しむために、お気に入りの音楽や動画のURLをカテゴリー分けして記録します。
「お気に入り」機能は、お気に入りの音楽や動画を楽しむ事ができます。
「お気に入り」機能は、以下の2種類の「お気に入り」をサポートします。

共通
個人

「共通」の「お気に入り」は、誰もが見れるコンテンツです。
「個人」の「お気に入り」は、本人だけが見れるコンテンツです。

2.お気に入りのコンテンツの種類

音楽ファイル（mp3ファイルなど）
動画ファイル（mp4ファイルなど）
Youtube動画
印刷ファイル（PDFファイル）
Web画面
duo画面
llm画面
chat画面

3.2 お気に入り機能の実装

1.お気に入り機能の「カテゴリ（共通）」

お気に入り機能の「カテゴリ（共通）」は、firestoreの「categories」コレクションの「カテゴリ」ドキュメントで定義されます。

2.お気に入り機能の「カテゴリ（個人）」

お気に入り機能の「カテゴリ（個人）」は、firestoreの「users」コレクションの「ログイン・ユーザ」ドキュメントの中の「categories」コレクションの「カテゴリ」ドキュメントで定義されます。

以上

4.楽器演奏機能

4.1 楽器演奏機能の概要

1.楽器演奏機能とは

「楽器演奏」機能は、以下の3種類の「楽器演奏支援」機能を提供します。

「チューナー」機能
「作曲」機能
「音階」機能

4.1 音波の分析

1.音波の分析とは

「トーク愛」は、楽器が発する音波や人間の音声を分析します。
楽器が発する音波を分析する機能は、「チューナー」機能と呼ばれます。
人間の音声を分析してテキストに変換する機能は、「音声認識」機能と呼ばれます。
逆にテキストから人間の音声を出力する機能は、「音声出力」機能と呼ばれます。
「トーク愛」は、「チューナー」機能や「音声認識」機能や「音声出力」機能をを使って、高齢者の生活を支援します。

2.「チューナー」機能: 楽器の基本周波数検出

楽器の基本周波数検出は、楽器の音を分析して「基本周波数」を検出します。
楽器の「基本周波数」を検出する事を「楽器音のピッチ推定」とも言います。
「トーク愛」では、「YINアルゴリズム」と呼ばれる手法で「楽器音のピッチ推定」を行っています。
ギターの調音等の目的で市販されている「チューナ」は、楽器そのものの振動を測定しますが、「トーク愛」では、楽器が発する音波を測定分析します。
ギターのような楽器を使う場合、必ず「調音（チューニング）」が必要になりますが、「トーク愛」の「チューナー」機能を使うと調音が簡単にできます。

3.「音声認識」機能: 人間の音声を分析してテキストに変換する機能

「音声認識」機能は、人間の音声を分析して「テキスト」に変換します。
「音声認識」機能は、以下のような場面で音声入力機能が利用できます。特にタイピングが苦手な高齢者は、音声入力機能が便利です。
手動入力に手間がかかるとき

PCやスマホから手動で文字を入力するのが手間に感じられる時、「音声認識」機能を使うことで自動で文字起こしができます。
PCやスマホで文字を入力するためにはタイピングが必要ですが、「音声認識」機能を利用することでタイピングせずにテキスト化できるため、タイピングを苦手とされている方や、タイピングの量が多く手が痛くなってしまう方、手を怪我して使えない方には特におすすめです。
スマホで入力する際も画面が小さかったり、文字を入力するのが遅かったりと不満を感じている場合、音声認識ソフトでスピーディーに入力すると効率的に作業が進みます。

会議などの議事録を作成するとき

会議の議事録作成などで「音声認識」機能を活用すると、業務の負担を減らすことができます。

音声データや動画などから文字起こしするとき

会議の音声データや動画から文字起こしをする場合、「音声認識」機能を利用することで作業時間を短縮できます。

4.「音声出力」機能: テキストを人間の音声に変換する機能

「音声出力」機能は、テキストを人間の音声に変換する機能です。
「音声認識」機能と「音声出力」機能を組み合わせると、音声会話が可能になります。
「トーク愛」は、「音声会話」機能を使って、高齢者の生活を支援します。

4.2 「チューナ」機能

1.楽器（ギターの弦など）の基本周波数を検出します

「チューナー」機能とは、楽器（ギターの弦など）の基本周波数を検出する機能です。
「トーク愛」の画面には、ピアノの鍵盤が表示され、検出した楽器（ギターの弦など）の基本周波数の位置を赤いマークで示します。
「トーク愛」の画面には、検出した基本周波数が、数字でも表示されるので、1Hz以内の調音（チューニング）が可能です。
楽器（ギターの弦など）の基本周波数だけでなく、人間の声の基本周波数も検出できるので、カラオケなどの音程チェックにも使えます。

2.ピッチ検出アルゴリズム (PDA)

ピッチ検出アルゴリズム (PDA) は、準周期信号または振動信号 (通常は音声、音符、トーンのデジタル録音) のピッチまたは基本周波数を推定するように設計されたアルゴリズムです。
これは、時間領域、周波数領域、またはその両方で実行できます。
PDA はさまざまな状況 (音声学、音楽情報検索、音声コーディング、音楽演奏システムなど) で使用されており、アルゴリズムにさまざまな要求を課す可能性があります。
単一の理想的な PDA はまだ存在しないため、多くの異なるアルゴリズムがあり、そのほとんどは以下に示すクラスに大まかに分類されます。
PDA は通常、準周期信号の周期を推定し、その値を反転して周波数を見つけます。

3.「チューナ」機能の利用例

クラシック・ギターやフォーク・ギターの調音（チューニング）。
ウクレレの調音（チューニング）。
カラオケやクラシックなどの歌の練習時の音程チェック。
市販されている「チューナ」の調音機能のチェック。

4.3 「音声会話」機能

1.「音声会話」機能とは

「トーク愛」は、「音声認識」機能や「音声出力」機能を使って、各種の「音声会話アプリ」を作成できます。
「音声会話アプリ」は、アイドル状態から「OK Happy」と「Wakeup Word」を発声する事で起動できます。
各種の「音声会話アプリ」を起動する事で、音声の指示により、お気に入りの音楽を聴いたり、動画の視聴を楽しむ事ができます。
音声の指示により、演奏中の音楽や動画の演奏を中断・再開したり、終了させる事ができます。

2.音声で「大規模言語モデル(Gemini)」に質問する

「音声会話」機能を使うと、音声で「大規模言語モデル(Gemini)」に質問する事ができます。
キーボード入力が苦手な高齢者でも、音声で「大規模言語モデル(Gemini)」に質問するめのプロンプトを作成できます、

以上

5.お勉強機能

以上

6.保守情報

6.1 不具合情報

1.予定表と目覚まし機能

予定表機能

目覚まし機能

2.チャット画面

画面タイトルにアプリケーション名が表示されない。（2023/11/12 修正済）
一覧表の画面が小さい。（2023/11/12 修正済）
見守りチャット

チャット画面のタイトル部の「戻る←」が黒い。それ以外もオカシイ。（2024/1/26 修正済）
見守りチャットの使い方が、イマイチ、よく分からない。

音声チャットボット

音声チャットボットの使い方が、イマイチ、よく分からない。

音声チャットボットアプリ

何のために、これが必要なのか、よく分からない・

見守り情報

「チャット」の一種なのか？→全体のタイトルを「チャット」ではなく「見守り」に変えた方がいいかも。

3.お気に入り機能

4.チューナ機能

5.お勉強機能

showModalBottomSheetを使うと、入力フィールドが「カナ漢字変換」画面で隠れてしまう。

6.2 改良項目

1.予定表と目覚まし機能

ユーザ情報

ショボい。

バス・電車時刻表

個人用が必要である。

緊急連絡網

DB（firestore）の作成を改良したい。

センサー情報

まだ、使い物にならない。

2.チャット機能

見守りチャット

まだ、使い物にならない。

3.お気に入り機能

4.チューナ機能

5.お勉強機能

6.3 最新モジュール

「トーク愛（ver.0.44 2023/12/4）」をダウンロードする