Dweb Search(Dweb搜索引擎) 开发进展和反思001

在开发是总有很多疑虑和思考，于是打算上开始写本系列，但尽量不陷入开发细节，而是着眼于项目整体背后的思考逻辑。

是否搜？在哪搜？

推荐系统和移动app流行，大家是否还用搜索引擎呢？少部分主动获取信息的人还是有搜索和探索的需求的。

用的什么搜索引擎呢？似乎Google还是最常见选择。但隐私，垄断，单点故障，屏蔽风险？

或者使用某些垂直领域的搜索引擎。但也常常各自为政，单兵作战。

商业搜索引擎的API通常价格都很贵（以前做过一个用google API的搜索引擎），这样不方便一些研究工作和独立开发工作。即使是小众的duckduckgo也没有提供API。

去中心化的搜索引擎通常是一个噱头或者玩具项目。因为极致的去中心化则代码和数据全部公开，容易被抄袭和超越，几乎没有商业竞争力了。

我在做的dweb search项目：提供另一种搜索选择，开源，元数据分步骤开放全量下载，API免费，长期维护升级（申请grant以及众筹发电），dweb协议兼容和升级，赞赏兼容和体验升级。

文章和视频内容（优先收录CC协议的内容）：

已经初步测试完成：维基百科，独立博客，TED，matters，开放数据集，在ipfs-DHT网络中抓取的内容， arxiv
进行中：stackexchange，hackernews
计划进行： YouTube、vimeo里的CC协议内容， wikihow
其他有意思的内容实际上现在没有开始全网抓取，除了因为需要的硬件资源多，想优先收录已经存在于Dweb的资源。这里对于Dweb的定义：独立小众站点（不被商业等利益绑架）、CC协议的内容，使用RSS协议的独立博客，ipfs/ar/fil上的内容，开放API接口的站点等等。

首先，这里的搜是广义的，除了常规的搜索，也会包含知识图谱可视化探索，公开排序公式和自由组合排序因子的内容策展（也做了一个matters的dAPP等）

当资源过少时，或者能搜的领域不够感兴趣时，肯定不会有人搜索的，除非是因为好奇心想试试：当前的demo： https://dweb-search.on.fleek.co/ ipns://dweb-search.on.fleek.co/

当前设想的场景：

matters的读者希望除了matters首页之外，从不同的角度来阅读matters。现在已经有一个demo： http://dmatters.anwen.cc/ 不过这个由于和搜索不是直接相关，开发优先级略低。 10%
知识性的搜索，比如搜维基百科、知识图谱、论文搜索。这个要做好难度很大，而且受众也很少，难以做出趣味性，目前在一点点做。这个也是此前的专业领域。 40% CC协议内容的搜索：当创作中需要一些视频、图片、音乐、文本素材的时候，还是有一定的搜索需求的。 40%
对于dweb有长期好奇心，期待这个世界更加多样化，期待共建一些更开放的信息体验的开发者。 10%
其他 20%

方向性和阶段重心问题：由于是分批次收录，优先收录什么内容？最符合本意的还是寻找ipfs上的内容，估计能收录一些博客；以及CC协议内容，预计能找到的以除了文字内容，只能图片为主。
早期用户问题：由于初期用户少，得到的反馈也少，可能对于方向的调整不够敏感。但这个和第一个问题（在这里能怎么玩）是相关的。
赞赏改进的问题：资金支持少，web3版的赞赏，大部分用户在使用之前，无法理解其在体验上的优势，以至于有畏惧心理。以及存在资助资金的问题。
版权许可的问题：当前的计划是优先CC，其次是推广扩展协议，这样需要联系创作者。时间周期略长。