Gemini Live中的引導式視覺功能由盲人和低視力群共同開發,提供對話式即時視覺輔助
分享您的鏡頭,即可接收動態語音描述和自然的語言提示,幫助您探索周圍環境
我們將在相容的安卓裝置上推出 Gemini Live 中的引導視覺功能——為盲人、低視力者或需要直覺視覺幫助的人士帶來語音引導的即時視覺翻譯。
當科技為所有人打開世界之門時,它的力量才最為強大。 「引導式視覺」功能將 Gemini 打造成了一個可互動的視覺夥伴。 「引導式視覺」的發展離不開與無障礙社群的緊密合作。本月初,我們曾對它以及其他旨在擴展 Android 系統數位和實體無障礙功能的工具進行過預覽。
為了訓練 Gemini Live 適應對話式的真實場景,我們與 Aira 合作,對資料進行視覺化解讀,總時長達數萬小時。 Aira 可信任測試員網路中的 1000 多名成員幫助我們在日常場景中對模型進行壓力測試和優化,同時 Aira 的專家作為領域專家與我們的團隊直接合作,幫助我們建立和評估安全防護措施。
現在,您只需在 Gemini Live 會話期間共享您的攝像頭,即可聽到對周圍環境的清晰描述,提出詳細的後續問題,並接收主動的語音提示,從而將注意力集中在您想要探索的任何事物上。
專為您的世界體驗而設計的即時視覺輔助
在 Gemini Live 中啟用引導式視覺功能並分享相機時,Gemini 會像對話夥伴一樣與您互動。如果您的相機角度過高、過近或略微偏離中心,Gemini 會提供自然的語音提示,幫助您調整畫面角度——例如,引導您緩慢向右平移、向下傾斜或後退幾步,以便獲取清晰的視覺信息,從而回答您的問題。
讓日常點滴變得簡單
無論是尋找物品、準備餐點或挑選衣服,引導式視覺都能為日常任務提供支持,尤其是在那些需要快速視覺驗證的任務中:
- 閱讀小字和複雜文字:閱讀食品包裝上的小營養標籤,解讀電器旋鈕和洗衣機程序,或在光線昏暗的餐廳閱讀印刷菜單。
- 尋找和定位物品:搜尋周圍的日常物品,例如在地板上找到掉落的耳機或在擁擠的調味櫃中找到黑胡椒。
- 描述物體並匹配細節:詢問顏色、圖案和形狀——例如,檢查條紋襯衫是否與褲子搭配,或識別特定夾克的顏色。
- 探索你的周圍環境:獲得對不熟悉的空間、房間佈局或擺放在桌子上的物品的描述性概述。
- 使用您偏好的語言進行自然對話: Guided Vision 支援多種語言的對話。它融合了來自印度、巴西、新加坡、印尼、日本等國家和地區的盲人和低視力人群的大量測試和回饋,力求使描述、重構提示和答案自然流暢、實用有效。
與許多輔助科技創新一樣,引導視覺也為老年人、識字程度低的人或任何試圖在光線昏暗的環境下閱讀小字的人提供實用的視覺幫助。
在Android上快速訪問
引導式視覺系統旨在以最小的阻力無縫融入日常生活:
- Gemini App:在 Gemini 行動應用程式中開啟個人資料設置,然後開啟「即時使用引導視覺」。之後,打開 Gemini Live 並點擊即可共享您的相機。
- 輔助使用快捷方式:在 Android 設定 > 輔助使用 > 視覺輔助 > 引導視覺中,配置一個輔助使用快捷方式,以便使用浮動輔助功能按鈕、雙指滑動手勢或同時按下兩個音量鍵來啟動引導視覺。
- TalkBack 整合:使用 Google TalkBack 的使用者可以透過三根手指輕擊調出 TalkBack 選單,並直接選擇引導式視覺。
與任何生成式人工智慧技術一樣,引導視覺是一種輔助工具,可能會出錯。它並非醫療器材、助行器或盲杖替代品,也不適用於導航、安全出行指導或障礙物偵測。使用者應繼續依賴現有的助行器和在實際環境中遵循的安全出行規範。
引導式視覺功能現已在運行 Android 9 以上版本的 Android 裝置上推出,適用於 Gemini Live 支援的地區和語言。請確保您的 Gemini 應用程式和 Android 系統軟體已更新至最新版本,以便開始使用。
(作者:Isha Sheth,Gemini Live 資深產品經理 / Scott Adams,Google 無障礙工程資深產品經理)
看QNAP活動文拿好禮|看TP-LINK WirFroce現場直擊拿好禮 |
ioioTIMES 中秋大放送 留言得好禮
現在就加入 ioioTIMES 臉書粉絲團 更多互動、更多好康攏抵加!!
我們有LINE TODAY頻道了,快來追踪我們吧!!--最新科技新聞 盡在你手


















