Even G2 に直接接続するスマートフォンアプリをFlutterで作った ( 後編 )

// lib/src/client/even_g2_client.dart
// _sendTo は指定した側へメッセージを書き込む
// （実装には右アーム専用の別名もあるが、記事では _sendTo に揃えた）
Future<void> startMicrophone() async {
  if (!_pageCreated) {
    throw StateError('マイクはページ表示中のみ動作する。先に displayText を呼ぶこと');
  }
  // 立ち下がりを作るため、常に off を先に送る
  await _sendTo(_right, msg.audioControl(
      enable: false, magicRandom: _nextMagicRandom()));
  await Future<void>.delayed(const Duration(milliseconds: 500));
  await _sendTo(_right, msg.audioControl(
      enable: true, magicRandom: _nextMagicRandom()));
}

// lib/src/client/even_g2_client.dart
void _onAudioChunk(Uint8List chunk) {
  // _audioChunkBytes = 200、_lc3FrameBytes = 40。
  // MTU が小さく 200 B 未満で届く機種があるため、短いほうに合わせる
  final usable =
      chunk.length < _audioChunkBytes ? chunk.length : _audioChunkBytes;
  if (usable < _lc3FrameBytes) return;

  // 左右両方から同一チャンクが届くため、直前と一致するものは廃棄している
  final last = _lastAudioChunk;
  if (last != null && listEquals(last, chunk)) {
    _lastAudioChunk = null;
    return;
  }
  _lastAudioChunk = Uint8List.fromList(chunk);

  final pcm = BytesBuilder();
  for (var offset = 0;
       offset + _lc3FrameBytes <= usable;
       offset += _lc3FrameBytes) {
    pcm.add(_lc3!.decodeFrame(
        Uint8List.sublistView(chunk, offset, offset + _lc3FrameBytes)));
  }
  _pcmController.add(pcm.toBytes());  // 開発アプリ側は pcmStream で受け取る
}

// 開発アプリ側から見た流れ
await client.displayText('Listening...');  // 音声はページ表示中しか流れない
await engine.start(
  pcm16Stream: client.pcmStream,
  onResult: (text) {
    setState(() => _transcript = text);    // 手元の画面に出す
    if (_mirrorToGlasses) _mirror(text);   // グラスへ返すかはアプリが決める
  },
  onError: (e) => _showMessage('文字起こしエラー: $e'),
);
await client.startMicrophone();

// example/lib/asr_engine.dart（NativeAsrEngine の一部）
// 結果のイベントを先に購読する。後から購読すると初期の認識結果を落とす
_eventSub = _events.listen((dynamic e) {
  switch (e['type']) {
    case 'partial':
      _partial = e['text'] as String? ?? '';
      onResult('$_finalized$_partial');   // 途中経過は上書きして見せる
    case 'final':
      final text = e['text'] as String? ?? '';
      if (text.isNotEmpty) _finalized.write(text);
      _partial = '';
      onResult(_finalized.toString());
  }
});

// （ここでネイティブ側の認識を開始する。省略）

_pcmSub = pcm16Stream.listen(
  (bytes) => unawaited(_channel.invokeMethod<void>('feed', bytes)),
  onError: onError,
);

// lib/src/display/bmp.dart（encodeGray4Bmp の一部）
for (var i = 0; i < 16; i++) {
  final v = i * 17;                     // 0, 17, 34, ... 255 の 16 階調
  bmp[54 + i * 4] = v;                  // パレットは B, G, R, 0 の順
  bmp[54 + i * 4 + 1] = v;
  bmp[54 + i * 4 + 2] = v;
}

for (var row = 0; row < height; row++) {
  final srcOffset = (height - 1 - row) * width;         // 下の行から詰める
  final rowOffset = pixelDataOffset + row * rowStride;  // rowStride は 4 バイト境界
  for (var col = 0; col < width; col++) {
    final index4 = pixels[srcOffset + col] >> 4;        // 8 ビットを 4 ビットへ
    if (col.isEven) {
      bmp[rowOffset + (col >> 1)] = index4 << 4;        // 偶数列が上位ニブル
    } else {
      bmp[rowOffset + (col >> 1)] |= index4;
    }
  }
}

// lib/src/client/even_g2_client.dart（updateImage と _transferImage の一部）
Future<void> updateImage({
  required int containerId,
  required Uint8List gray8,
  required int width,
  required int height,
  bool dither = false,
  bool awaitAck = true,
}) {
  final bmp = encodeGray4Bmp(gray8, width, height, dither: dither);
  // 転送は直列化する。前の転送が終わってから次を始める
  final transfer = _imageChain.then((_) => awaitAck
      ? _transferImage(containerId: containerId, bmp: bmp)        // 応答を待つ
      : _transferImagePaced(containerId: containerId, bmp: bmp)); // 高速モード
  _imageChain = transfer.catchError((_) {});
  return transfer;
}

Future<void> _transferImage({required int containerId, required Uint8List bmp}) async {
  for (var attempt = 1; attempt <= _imageMaxAttempts; attempt++) {  // 既定 3 回
    // 隣接する ID は直前の失敗状態を引き継ぐことがあるため、常に 2 つ進める。
    // 失敗した転送を捨てて別の ID でやり直せるのも、この 2 つ進める形のおかげ
    _imageSessionId = (_imageSessionId + 2) & 0xFF;
    final sessionId = _imageSessionId;
    try {
      for (var offset = 0; offset < bmp.length; offset += _imageFragmentSize) {
        final end = offset + _imageFragmentSize < bmp.length
            ? offset + _imageFragmentSize
            : bmp.length;
        final index = offset ~/ _imageFragmentSize;
        final ackFuture = _waitForImageAck(sessionId, index);  // 送る前に張っておく
        await _sendTo(_right, msg.updateImageRawData(
          containerId: containerId,
          sessionId: sessionId,
          totalSize: bmp.length,
          fragmentIndex: index,
          rawData: Uint8List.sublistView(bmp, offset, end),
          magicRandom: _nextMagicRandom(),
        ));
        final ack = await ackFuture;                          // 応答を待ってから次へ
        if (ack.errorCode != 4) {
          throw StateError('画像フラグメント拒否 errorCode=${ack.errorCode}');
        }
      }
      return;  // 全フラグメント成功
    } on TimeoutException {
      if (attempt == _imageMaxAttempts) rethrow;
    } on StateError {
      if (attempt == _imageMaxAttempts) rethrow;
    }
  }
}

// 開発アプリ側から見た流れ
await client.updateImage(
  containerId: 3,
  gray8: pixels, width: 30, height: 30,
  awaitAck: false,   // 応答を待たない高速モード
);

// lib/src/client/even_g2_client.dart（showPage の一部）
if (!_pageCreated) {
  if (page.lists.isNotEmpty) {
    // 縮小サイズで作成
    await _sendTo(_right, msg.createStartupPage(
      texts,
      listContainers: [for (final l in page.lists) _shrinkForCreate(l)],
      imageContainers: page.images,
      magicRandom: _nextMagicRandom(),
      appId: appId,
    ));
    _pageCreated = true;
    // 直後に本来のサイズへ作り直す
    await _sendTo(_right, msg.rebuildPage(
      texts,
      listContainers: page.lists,
      imageContainers: page.images,
      magicRandom: _nextMagicRandom(),
    ));
    return;
  }
  // リストを含まないページは 1 回の作成で済む（省略）
}

// 作成時だけ幅と高さに上限を掛ける
msg.G2ListContainer _shrinkForCreate(msg.G2ListContainer l) =>
    msg.G2ListContainer(
      width: l.width > 280 ? 280 : l.width,
      height: l.height > 130 ? 130 : l.height,
      // x, y, containerId, items などは元の値をそのまま渡す
      x: l.x,
      y: l.y,
      containerId: l.containerId,
      items: l.items,
    );

// 開発アプリ側から見た流れ
final items = ['Apple', 'Banana', 'Cherry'];

await client.showPage(G2Page(lists: [
  G2ListContainer(
    x: 0, y: 0, width: 560, height: 280,
    containerId: 4,
    isEventCapture: true,  // タッチをこのリストに割り当てる（既定は false）
    items: items,
  ),
]));

client.events.listen((e) {
  final event = e.event;  // イベントは (side, event) の組で届く
  if (event is ListSelectEvent) {
    final label = items[event.selectedItemIndex];  // 名前は index から引く
  }
});

// 開発アプリ側から見た流れ
client.events.listen((e) {
  final event = e.event;
  // ページ喪失は 3 つの形で届く。6=abnormalExit、7=systemExit
  final pageLost = event is PageShutdown ||
      (event is DeviceEvent &&
          (event.eventType == 6 || event.eventType == 7)) ||
      (event is TextUpdateResult && event.errorCode == 9);
  if (pageLost) {
    // グラス側でページが終わった。パッケージは何も復元しない
    setState(() => _pageAlive = false);
  }
});

client.stateStream.listen((state) {
  if (state == G2ConnectionState.disconnected) {
    setState(() => _pageAlive = false);
  }
});

// 復帰の判断はアプリが持つ。自動で呼ぶか、ボタンに割り当てるかを選べる
Future<void> _resume() async {
  if (client.state == G2ConnectionState.disconnected) {
    await client.connect();
  }
  await client.showPage(_myPage);  // 接続が戻っても表示は戻らない。送り直す
}