Dweb Search(Dweb搜索引擎) 开发进展和反思001

在开发是总有很多疑虑和思考,于是打算上开始写本系列,但尽量不陷入开发细节,而是着眼于项目整体背后的思考逻辑。

是否搜?在哪搜?

推荐系统和移动app流行,大家是否还用搜索引擎呢?少部分主动获取信息的人还是有搜索和探索的需求的。

用的什么搜索引擎呢?似乎Google还是最常见选择。但隐私,垄断,单点故障,屏蔽风险?

或者使用某些垂直领域的搜索引擎。但也常常各自为政,单兵作战。

商业搜索引擎的API通常价格都很贵(以前做过一个用google API的搜索引擎),这样不方便一些研究工作和独立开发工作。即使是小众的duckduckgo也没有提供API。

去中心化的搜索引擎通常是一个噱头或者玩具项目。因为极致的去中心化则代码和数据全部公开,容易被抄袭和超越,几乎没有商业竞争力了。

我在做的dweb search项目: 提供另一种搜索选择,开源,元数据分步骤开放全量下载,API免费,长期维护升级(申请grant以及众筹发电),dweb协议兼容和升级,赞赏兼容和体验升级。

搜什么

文章和视频内容(优先收录CC协议的内容):

  • 已经初步测试完成:维基百科,独立博客,TED,matters,开放数据集,在ipfs-DHT网络中抓取的内容, arxiv
  • 进行中:stackexchange,hackernews
  • 计划进行: YouTube、vimeo里的CC协议内容, wikihow
  • 其他有意思的内容 实际上现在没有开始全网抓取,除了因为需要的硬件资源多,想优先收录已经存在于Dweb的资源。这里对于Dweb的定义: 独立小众站点(不被商业等利益绑架)、CC协议的内容,使用RSS协议的独立博客,ipfs/ar/fil上的内容,开放API接口的站点等等。

是否会有人用?

首先,这里的搜是广义的,除了常规的搜索,也会包含知识图谱可视化探索,公开排序公式和自由组合排序因子的内容策展(也做了一个matters的dAPP等)

当资源过少时,或者能搜的领域不够感兴趣时,肯定不会有人搜索的,除非是因为好奇心想试试:当前的demo: https://dweb-search.on.fleek.co/ ipns://dweb-search.on.fleek.co/

当前设想的场景:

  • matters的读者希望除了matters首页之外,从不同的角度来阅读matters。现在已经有一个demo: http://dmatters.anwen.cc/ 不过这个由于和搜索不是直接相关,开发优先级略低。 10%
  • 知识性的搜索,比如搜维基百科、知识图谱、论文搜索。这个要做好难度很大,而且受众也很少,难以做出趣味性,目前在一点点做。 这个也是此前的专业领域。 40% CC协议内容的搜索:当创作中需要一些视频、图片、音乐、文本素材的时候,还是有一定的搜索需求的。 40%
  • 对于dweb有长期好奇心,期待这个世界更加多样化,期待共建一些更开放的信息体验的开发者。 10%
  • 其他 20%

当前的困境

  • 方向性和阶段重心问题: 由于是分批次收录,优先收录什么内容?最符合本意的还是寻找ipfs上的内容,估计能收录一些博客; 以及CC协议内容,预计能找到的以除了文字内容,只能图片为主。
  • 早期用户问题: 由于初期用户少,得到的反馈也少,可能对于方向的调整不够敏感。但这个和第一个问题(在这里能怎么玩)是相关的。
  • 赞赏改进的问题:资金支持少,web3版的赞赏,大部分用户在使用之前,无法理解其在体验上的优势,以至于有畏惧心理。 以及存在资助资金的问题。
  • 版权许可的问题:当前的计划是优先CC,其次是推广扩展协议,这样需要联系创作者。时间周期略长。

下一步计划

  • 除了探索收录各类文章,图片,视频也可以考虑收录一下。也许也考虑一下短视频,符合当下快节奏下的人们的需求。
  • 也是来geeknote看一下各位geek对搜索未来的思考和需求。