发现并分享有趣，有创意，免费、好用的工具，每周四发布。由 BestXTools 创作。 上一期内容 | 下一期内容 | 往期内容 | RSS 订阅 | 邮箱订阅 | 微信订阅 | 工具推荐 在线工具 Checkbox Painter 一款使用 checkbox 作画的工具。分享 URL 给别人，可以让别人看到你的作品。(@mark2014 投稿) 链接: https://mrdoob.com/lab/javascript/checkbox_painter/ JSON 格式化验证和编辑工具 - JSONT 一个简洁的在线 JSON 解析器，支持 JSON 解析/美化/压缩/验证/编辑功能。(@awesomes 投稿) 链接: https://www.jsont.run…

发现并分享有趣，有创意，免费、好用的工具，每周四发布。由 BestXTools 创作。 上一期内容 | 下一期内容 | 往期内容 | RSS 订阅 | 邮箱订阅 | 微信订阅 | 工具推荐 工具 Pika: 屏幕截图美化工具 将截图上传，通过简单的设置，就可以快速的将屏幕截图变得更漂亮。 网址: https://pika.style/ 源码: https://github.com/rishimohan/pika 类似工具: https://superblog.ai/supershots/app/ https://www.screely.com/ Outline 把网页转换成阅读模式的网页的工具。转换后的网页的…

开篇先抛出我的观点：希望各位做爬虫的同学，尽快，尽可能多地做海外的爬虫项目，爬海外的网站。这才是你们新的未来。 我最近两年时间，已经没有做过任何国内网站的爬虫了，根据这两年爬海外网站的一些经验，谈谈我的发现和想法。 内地的环境不适合做爬虫 国内的网站在这么多年的爬虫与反爬虫的斗争中，反爬能力越来越强，瑞数、极验和其它第三方专业反爬虫系统，就能…

不是程序员的同学，别忙着走。不要看到Github就觉得这篇文章跟你无关。无论你是不是程序员，这篇文章都能帮到你。 有一些开源软件，它的新版本是通过Github Release来发布的。你在它的官网点击下载以后，实际上是从一个Github的地址下载文件。 以我最近很喜欢用的LogSeq为例，这个软件版本更新比较频繁，但是每次更新以后，都需要从Github Release里面找到最新版本来安装，如下图所示： 但如果你从这里…

在公众号粉丝群里面，经常有同学问：为什么自己的爬虫明明设置了代理，但一访问网站就能被发现。我总结了几种常见的情况。 实际上，网站要识别你是否使用了代理，并不一定非要什么高深的反爬虫机制，也不需要使用AI识别用户行为。下面这几种情况，要识别代理简直是易如反掌。 你根本没有使用代理 有一些初学者在使用Requests请求网站的时候，是这样写的代码： import requests resp = requests.get('https://httpbin.org/ip').text…

作为一个站长，你是不是对爬虫不胜其烦？爬虫天天来爬，速度又快，频率又高，服务器的大量资源被白白浪费。 看这篇文章的你有福了，我们今天一起来报复一下爬虫，直接把爬虫的服务器给干死机。 本文有一个前提：你已经知道某个请求是爬虫发来的了，你不满足于单单屏蔽对方，而是想搞死对方。 很多人的爬虫是使用Requests来写的，如果你阅读过Requests的文档，那么你可能在文档中的Binary Response Content…

在昨天的文章《一日一技：反爬虫的极致手段，几行代码直接炸了爬虫服务器》中，我讲到了后端如何使用gzip返回极高压缩率的文件，从而瞬间卡死爬虫。 大家都知道我的公众号风格，要得罪讨好就两边一起得罪讨好。昨天我帮了后端，今天我就帮帮爬虫。作为爬虫，如何避免踩中gzip炸弹？ 最直接的方法，就是把你的爬虫隐藏起来，因为gzip炸弹只能在发现了爬虫以后使用，否则就会影响到…

在以前的公众号中，我提到Selenium/Puppeteer/Pyppeteer有很多特征可以被网站检测到。于是，有些同学想到了另一个方法，就是自己写一个Chrome插件，在网站打开的时候，注入到页面中，然后通过这个注入的JavaScript代码来操作页面，获取数据。 这个方法理论上说是万能的，因为注入的JavaScript能够获取当前Dom树，任何接口签名都无法拦截到自己注入的JavaScript代码，如下图所示： 而Chrome插件访问自己的服务器后端是没有跨域问题的…

当用户网络的网段和 Docker 创建的容器的网段相同时，有可能不能正常的访问容器所运行的服务，这个时候就需要修改我们 Docker 容器默认的网段。 因为 Docker 版本不同，所以有不同修改的方式。 Docker 版本 < 18 Docker 修改 docker0 网桥的默认IP 停止并且删除正在使用 docker0 网桥的所有容器，记得提前备份 修改配置文件中的 bip 字段的值与当前用户网络不在同一网段 vim /etc/docker/daemon.json { "bip": "10.200.0.1/24" } 使之…

本文是学习笔记，学习过程中主要阅读和参考了以下资料，记录的代码片断也来自以下链接。部分代码稍作了修改。最后那个链接虽然有些标题党，但是内容很值得一看： Working with Ruby Threads Does the GIL Make Your Ruby Code Thread-Safe? Ruby concurrency: in praise of the mutex 99%的人没弄懂volatile的设计原理，更别说灵活运用了 如果你想要靠并发提高性能，就得开启更多的进程，Ruby 社区多年以来一直是这么做的。 但是线程的内存开销比…

因为最新的Android因为Google要求，均为V-AB格式。所以基本没有内置REC分区，或者将REC分区放在了Slot B，俗称B槽。 这种前提下，刷机有两种方法： 进入fasboot ，用第三方提供的脚本一键刷机，保姆级别，简单好用 刷REC，传统方式刷机 但是第二种方式经常有很多问题，出现这些问题基本都是刷机步骤不对。这里简单说明一下在V-AB分区下的Rec刷机步骤（默认解锁后的机器，解锁步骤不再赘述）。 默认…

直接上步骤： [一、确定你的刷机包] 1. 线刷包 找到你的boot.img文件，复制到手机内 2. 卡刷包 首先解压你的卡刷包，然后下载https://textview.io/files/payload_dumper-win64.zip 解压，将上面解压后卡刷包内的payload.bin复制到payload_dumper文件夹内的payload_input文件夹内，后打开payload_dumper-win64，等待输出完成到payload_output中。 [二、更改boot.img] 通过上面的1或2你会得到boot.img文件，将文件复制到手机内你…

由于JFREG的一系列惊人操作，GITEE关闭maven功能，不得已，本地搭建以下maven服务。 准备工作：JDK （如果你的设备存在JDK环境，请忽略这部分。） 安装JDK8 sudo apt-get install openjdk-8-jdk 1.下载 下载地址：https://www.sonatype.com/thanks/repo-oss 选择你的系统版本进行下载。这里演示的是linux版本 2.配置 nexus默认占用端口为8081，如果端口已经被使用，需要在nexus-3.xxxx/etc/nexus-default.properties 文件中进行修改 3.运行/安装 下载好之后解压，得到nexus-3.xxxx，进入…

其实这是一个存在很久的概念，只是近几年Android开发者才开始适配。他如同Linux和ios那样，应用单独储存却又可以互相交互。下面就来说一下这其中有什么 1. 沙盒 首先看官方的解释 Android 平台利用基于用户的 Linux 保护机制识别和隔离应用资源，可将不同的应用分隔开来，并保护应用和系统免受恶意应用的攻击。为此，Android 会为每个 Android 应用分配一个独一无二的用户 ID (UID)，并让应用在自己的进程中运行…

我最开始使用的方法 val intent = Intent() intent.setClassName(this, “com.exemple.SecoundActivity”) startActivity(intent) 可能出现的问题 如果你的代码文件发生了变化，那么你的代码会爆炸。如果你更改了包名后，直接大爆炸。 我们需要用到：https://github.com/gaelmarhic/Quadrant ,Quadrant可以扫描解析所有的报名并帮你生成常量类以便使用。 官方readme中的示例 object QuadrantConstants { const val MAIN_ACTIVITY: String = "com.gaelmarhic.quadrant.MainActivity" const val SECONDARY_ACTIVITY: String = "com.gaelmarhic.quadrant.SecondaryActivity" const val TERTIARY_ACTIVITY…

基础理解 我们可以直接把v-a/b分区理解成，当你在使用手机，进行系统升级，系统会把升级内容存放在A分区，你继续使用B分区，前面的V就是虚拟的意思（virtual）。在尽量不影响你使用的开机情况下进行升级，取消了在rec分区进行升级的复杂操作。 详细理解（我的浅见） 首先说结构。传统结构中，存在rec，boot，system分区，在V-ab结构中，抛弃了提到的这三个分区，取而代之的是：boot_a,system_a,boot_b…

原文：https://blog.chartmogul.com/api-based-saas // 原文是一个访谈，本文为机翻+人工校对。 下文中用//标识我的一些想法 摘要：在这一集中，我与Clearbit联合创始人兼首席执行官Alex MacCaw进行了交谈，他认为基于API的产品将成为下一代企业软件的原因：自2009年首次融资以来，该平台在几年内取得了显著的发展，现在为可口可乐，Uber和EMC2等大型企业运行电信基础设施。 一旦集成到您的平台上，在剥离功能并取代它时…

随着高帧率手机的普及，在很多APP内需要限制手机的帧率来进行省电优化。今天的例子就是视频（直播/点播）播放的软件限帧距离。 推流优化 首先我们说，在视频采集时，有两种采集方式：屏幕采集和camera采集。 camera采集 这里我们可以直接限制camera的采集频率。这里有几个优化方案供参考 android.hardware.camera2.params.StreamConfigurationMap 现在的很多手机采集一般为50HZ-60HZ，部分低端机前置为30HZ（** 也有部分安卓机器的…

💡 Rails on Docker 系列文章是面向 Rails 程序员的 Docker 教程，描述了如何从开发环境到部署环境中应用 Docker。这是系列文章的第三篇。 在上一节中我们已经学习了用 Docker Compose 搭建开发环境，这一节将介绍如何用 docker-sync 改善开发环境的文件同步性能。 文件同步有什么问题？ 在 Mac 下使用 Docker，你可能会发现性能差得离谱。一个在本地环境 2 秒启动的 Rails 应用，在容器里面要一分钟。如果项目依赖很多（例如 NPM），速度…