查看原文
其他

每周应用|Rewind:你可以不用再@Evernote了

王杰夫 新皮层NewNewThing 2024-03-08

「这应用让AI触手可及」


撰文:王杰夫

编辑:吴洋洋

Key Points


Rewind可以捕捉你在Mac和iPhone上看到的所有内容,并使其可通过AI搜索——以ChatGPT聊天的方式。

  • 半个小时前想到有件事情要处理,电脑要是像浏览器一样也有历史记录就好了。

  • 上周一的早会内容挺重要,如果有要点速记就好了。

  • 英伟达这家公司最近有挺多消息,有没有办法把我看过所有关于这家公司的资料整合一下?

以上这些问题,我时不时就会遇到,想必大部分人跟我有一样的困扰,遗憾自己没有福尔摩斯的「记忆宫殿」那样的特殊能力。

如果有个助理,能够帮我记录所有信息,并且随问随答就好了。就像新皮层曾经介绍过的Memex——美国工程师万尼瓦尔·布什在1945年构想了一台通过微型相机与语音转文本机器来记录、存储、组织和浏览个人知识库的设备。

当然,一个离我们更近的例子就是Evernote,这个用绿色大象做图标的笔记软件号称要成为无处不在的「第二大脑」,它希望我们随手把想法或者文章丢到软件里。不过Evernote依然是静态的助手,它依然需要你主动去记录、存储、组织各种信息。

诞生于2020年的Rewind则想让你拥有一个自己会主动干活的AI助理,其官网写道:「Rewind可以捕捉你在Mac和iPhone上看到的所有内容,并使其可通过AI搜索」。


Rewind是如何做到的?

Rewind这个名字直译成中文就是倒带,图标也是老式随身听的倒带标志——两个连在一起箭头方向朝左的三角形。


Rewind图标

以Mac版本为例,当你下载并安装好这款软件后,它会申请3个权限,分别是录屏、录音和辅助功能,全部配置完毕后,这款软件就开始工作了。Rewind会持续不断在后台通过录屏、录音来记录你在电脑上的每一个操作。当你把Rewind呼叫到前台时,它会给你展现一个时间流,你可以滑动触摸板来「倒带」到需要回去的时刻。

Rewind的界面,很有苹果风格

整个界面背景就是Rewind对你当时电脑的截屏,它以两秒一帧的频率记录你的操作。下方区域是一条时间轴,由不同颜色的线条组成,每种颜色代表着你当时正在使用的软件。如果某段时间轴区域有斜纹背景,这是提示你这段时间录音功能已启动,你能点击查看当时录音转写后的文字内容。

界面最中间是一个搜索框,可以像使用百度搜索一样,输入需要查找的关键词,Rewind会把你在使用电脑时,看到的或者听到的内容里含有关键词的信息呈现在你的面前。实现的原理说来也不复杂,这是因为在后台,Rewind已经将你所有的截屏与录音,通过光学字符识别(OCR)与自动语音识别(ASR)两项技术转换成了文字内容。

搜索关键词后,Rewind会把含有关键词的截屏和录音呈现出来

不仅如此,Rewind在今年3月推出了更加智能的搜索功能。通过将搜索后台接入ChatGPT,Rewind现在可以更有逻辑性地回答你的提问。例如你可以问它,「我什么时候第一次知道Rewind这款软件的?」它就会把后台记录下来的,所有与Rewind相关的资料发给ChatGPT,ChatGPT在学习这些资料后,再组织语言回答你的问题。


对Rewind的担忧

在最初尝鲜的兴奋劲过去后,大部分人都会担忧隐私安全,毕竟这是一个时时刻刻都在记录你屏幕和声音的软件。Rewind也很清楚用户的担忧,因此它反复强调「本地」二字。

官方表示,所有的录屏与录音形成的数据内容都储存在本地,OCR与ASR这两个将数据内容转换成文字的功能也是在本地运行的,转换后的内容一样保存在本地。只有当用户通过搜索栏提问时,Rewind才会联网调用ChatGPT,将部分本地数据上传后返回结果。

Rewind需要你打开录屏、辅助功能和录音权限

同时Rewind还表示,随着技术发展,未来你的Mac也能运行GPT这样的大语言模型,届时所有信息的记录、存储、检索都可以在本地完成,无需再联网。

此外,Rewind还支持排除特定应用功能,例如你可以设置在使用微信时自动停用录屏功能。当然,你也可以随时手动关闭录屏或者录音功能。

另一担忧就是Rewind是否会占用过多的储存空间和算力。以我两周的使用情况看,我平均每天会使用M1 MacBook Air 5到8个小时,目前Rewind每周都会产生大约5GB的数据,官方估算的用户平均每月使用的空间在14到39GB,折算下来与我的使用感受大致相当。

性能方面,我在日常使用办公软件和浏览器时,几乎没有感受到卡顿,软件也从来没有崩溃过,优化上是令人满意的。而从能耗统计看,Rewind消耗的电量与Chrome在我的MacBook并列第一,鉴于Chrome本身就是耗电大户,再加上Rewind,长时间外出工作时最好还是带上充电线吧。


Idea+AI可以擦出怎样的火花?

Rewind由Dan Siroker于2020年3月成立,目前已经完成两轮共2790万美元融资,估值约3.5亿美元,其投资人与投资机构包括OpenAI CEO Sam Altman、a16z等等。

Siroker是硅谷创业圈的老人了。他最初在Google担任产品经理,2007年从老东家辞职后加入奥巴马的竞选团队,担任数据分析主管。2009年离开竞选团队后,Siroker利用做数据分析的经验创立了Optimizely,这是一个帮助客户提供A/B测试和多变量测试的平台,年收入达到1亿多美元。2018年从Optimizely离开后,Siroker又创立了一只基金专门资助「意识上传」的科研项目。

Dan Siroker穿着Rewind的工作服

这之后,在2020年3月,他与曾在摩根大通、普华永道以及Spotify担任数据分析师的Brett Bejcek共同创立Scribe。

Scribe可以被视作Rewind的前身,二者有着相似的idea,都是为了帮助用户记录信息。只不过Scribe的应用范围相对狭窄,它被集成到了会议软件Zoom中,在开会时作为第三方参与入会,实时录音并将其转换为可搜索、可共享的文字记录。当时Scribe的发展方向主要是会议记录,曾表示将很快支持Google Meet和Microsoft Teams等其他会议应用。

不过,随着苹果M1芯片的推出,Siroker的野心更大了。他不仅想记录会议,还想记录一个人的所有事务。他表示,苹果M1芯片强大的性能使得在本地运行这些功能成为可能。

其实,还有一个原因Siroker没有明说,那就是苹果在2022年WWDC上推出了基于M1、M2芯片的屏幕采集框架ScreenCaptureKit。通过这个新功能,Rewind才能够在不影响其他软件使用的前提下实现录屏与录音。这也是为什么至今Rewind只针对Mac与iPhone推出了产品。

Dan Siroker在各个采访中反复讲述自己推出Rewind这款产品的故事,这一切源于他20多岁因病耳聋、30岁因为助听器重获新生的经历。「失去一种能力,再重新获得这种能力就好像获得了超能力一样」,Siroker说,Rewind就像是听力障碍人士的助听器,可以帮助用户不再因为回忆不起某些事情而烦恼。

2023 年 3 月 24 日,Scribe正式关闭,其功能则被融入到Rewind中。「我们的愿景是赋予人类超能力」,官网这样写道。

Rewind是一款有趣的产品。无论是苹果的ScreenCaptureKit框架,还是本地OCR、ASR的机器学习功能,或是ChatGPT的API,它们都不是什么高门槛的技术,连个人开发者都可以实现。但Rewind将它们用一个出色的idea统合在了一起,解决了一个大部分人时常出现的需求。


应用档案/Rewind

创立时间:

2020年3月

主要功能:

记录和存储个人设备上的内容,且可以用AI搜索这些信息。

支持平台:

Mac与iPhone

产品价格:

免费版包含总共50个提问额度

基础版12美元/月

高级版36美元/月

-END-


我们是一个诞生于GPT浪潮、由《第一财经》YiMagazine孵化的全新内容IP。 

和每一位关心技术、关注人类命运的读者一样,我们希望在这个充满不确定性的时代,更好地理解快速变化的科技世界,也更好地理解生而为「高级智能」的我们自己。

在这个目标下,我们计划从学术、商业、伦理、监管等多个角度报道和讨论与「智能」相关的议题。请注意,我们说的智能,不只是 AI。


以下是最近发生的其他智能资讯

每周应用|全球第一个出圈的生成式AI是ChatGPT,中国为什么是妙鸭?

「梦想机器」简史①:Bush和他的记忆扩展器Memex


与记者交流,可添加微信(请备注公司名称和姓名):

王杰夫 微信号: wjfsty

张司钰 微信号: helianthus351

吴洋洋 微信号: qitianjiuye

 

喜欢就关注我们吧,记得设为星标」


继续滑动看下一个

每周应用|Rewind:你可以不用再@Evernote了

王杰夫 新皮层NewNewThing
向上滑动看下一个

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存