說到 AR 應用,你第一個想到的可能是前兩年讓人滿大街抓小精靈的 Pokémon Go 。
可如今 AR 應用卻沒有想象中火爆,其中一個原因在于市場上的 AR 應用比較單一,大都集中在游戲和娛樂領域。
從 Pokémon Go 到蘋果的 ARKit、支付寶 AR 紅包等,這些應用制造了不少曇花一現(xiàn)的 AR 網(wǎng)紅,但高頻實用的工具型 AR 功能卻很少見到。
實際上 AR 的應用場景還有極大的開發(fā)空間,有道最近推出了實景 AR 翻譯功能,在有道翻譯官 App 中就能免費使用,并支持中英日韓四種語言的離線翻譯,這是國內(nèi)首家真正的 AR 翻譯,此前其他廠商所推的 AR 翻譯其實就是拍照翻譯。

實景AR 翻譯與拍照翻譯最大的不同在于,無需拍照再識別圖片內(nèi)容,而是對攝像頭中的文字內(nèi)容實時翻譯,這里面涉及到動態(tài)追蹤、神經(jīng)網(wǎng)絡翻譯、OCR組段分析、AR渲染等復雜技術。
一般來說翻譯 App 最高頻的應用場景是國外旅游和海淘購物等,AR 翻譯能提高這些場景的翻譯效率嗎?
過去 Google 翻譯也推出了手機相機即時翻譯的功能,有道翻譯官的實景 AR 翻譯與之相比體驗怎么樣?AppSo 從一些常用的場景出發(fā),看看有道翻譯官里的實景 AR 翻譯到底好不好用。
外媒新聞翻譯
在國外旅行想要了解當?shù)氐膭討B(tài)消息,尤其是遭遇一些突發(fā)事件后,最好的的方式當然是直接閱讀外媒的新聞。
下面就分別用有道實景 AR 翻譯和 Google 拍照翻譯來測試 BBC 對 4 月 23 日發(fā)生在多倫多的一起嚴重的交通事故的報道。以下是報道原文:

翻譯結果如下:

?。ㄗ鬄橛械婪g官的實景 AR 翻譯,右為 Google 拍照實時翻譯 )
新聞翻譯是對翻譯 App 最好的試金石之一,因為經(jīng)常會出現(xiàn)結構復雜的長句,要翻譯好需兼顧詞意、句法、語境等多個方面。
從翻譯結果來看,有道實景 AR 翻譯比較令人滿意?;灸苤苯訌姆g結果了解這條新聞的主要信息 ,而且對于「standoff with 」(與……對峙)這樣的短語也能準確地翻譯。
相比之下 Google 對上下文的理解就差了很多,以中文閱讀的習慣讀起來比較吃力,很難直接通過翻譯結果理解原文的內(nèi)容,而且翻譯文字的排版也比較混亂。
海淘商品說明
無論是出國購物,還是在網(wǎng)上海淘,都很有必要了解清楚商品的相關信息,比如成分說明、注意事項和退換貨說明等。
AppSo 這次找來一瓶韓國護膚品,這里再次用有道實景 AR 翻譯和 Google 拍照翻譯對商品說明進行翻譯,內(nèi)容大意是這種護膚品如何通過一種深層清潔泡沫來清除毛孔中的污垢。
來看看最終的翻譯結果:

?。ㄗ鬄橛械婪g官的實景 AR 翻譯,右為 Google 拍照實時翻譯 )
有道翻譯官的實景AR 翻譯再次完勝 Google ,基本能準確流暢地翻譯這段比較長的說明,也更容易理解。而 Google 的實時翻譯結果有點不知所云,似乎只是把每個單詞譯成中文,沒有聯(lián)系上下文的語義。
為什么會出現(xiàn)這種情況呢?這也是有道的一個秘密武器,就是 OCR的組段分析技術,通過上百萬份語料訓練,讓機器能看懂人的說話方式、分段方式,直接結合上下文翻譯,不用一個字一個字的翻譯后粗暴地集合在一起。
車站路牌
行走在異國的城市,對陌生地名、路牌的翻譯也是十分高頻的需求。 AR 翻譯比起過去手動輸入來說方便了不少,下面來看看實際的體驗是怎樣的。
地鐵站
地標建筑
商鋪營業(yè)信息
從幾個場景的測試來看,攝像頭從對準文字到翻譯成目標語言的響應速度較快,做到實時翻譯。而且在把原文替換到目標語言的同時完整地保留了文字背景,比用 PS 還快。
菜名翻譯
雖然一些國家的餐廳已經(jīng)開始針對中國游客推出了中文菜單,但在國外就餐時還是會經(jīng)常碰到一頭霧水的情況,來看看有道翻譯官的實景 AR 翻譯對菜單的理解怎么樣。
可以看到,菜名的翻譯也比較到位。
總結
能將 AR 技術成熟應用到翻譯上的 App 目前在市場上鳳毛麟角,因為背后的技術難度較大,只有有道和 Google 兩家公司能實現(xiàn)這一技術。除了 AR 技術,還對離線神經(jīng)網(wǎng)絡翻譯(NMT)、運動跟蹤(Tracking)、圖像識別(OCR) 等人工智能技術有非常高的要求。
最后來總結一下有道實景AR翻譯的實測體驗:
有道翻譯官的實景AR 翻譯,能處理好比較復雜的長句翻譯,尤其在商品包裝、路標、菜單等海外常用的場景,翻譯準確度較高。 有道 AR 翻譯明顯比 Google 翻譯更懂中文,這得益于有道的 OCR的組段技術,能看懂分段,自然也能「說人話」,這個測試,在文章段落的時候,好的非常明顯。 翻譯速度能做到實時翻譯,對被攝物體的跟隨基本無肉眼可見的延遲。 AR 翻譯的視覺交互體驗不錯,平面文字與背景的融合效果較好,每次翻譯結果相當于自動 PS 一遍。 容易上手,支持中英日韓免費離線互譯,沒有網(wǎng)絡也沒關系,更省流量。
據(jù)有道介紹,有道翻譯官還會繼續(xù)提升實景 AR 翻譯的體驗,比如很快就會開放全屏的 AR 翻譯,并更新自動識別語言的功能。
現(xiàn)在普通人對翻譯的需求越來越大,有道翻譯官 App 中對于文本、語音、對話、拍照等翻譯等需求基本都能翻譯的很準了。如果對海外游、商務出差和海淘購物需求較高的朋友,這次有道翻譯官新推出的實景 AR 翻譯功能不妨一試。