工程化衍生落地
Agenda 提出需求 调研方案 研读资料 构建工程 * 工程设计 * 项目布局设计 * 功能设计 * 代码设计 * 方法、接口设计 * 实现代码
爬虫架构
爬虫架构 技术的本质就是结构与组合。今天在谈技术架构，有时候我们也会谈产品架构，再往前走，我们会谈商业架构，它中间都是一个结构的问题。 爬虫开发流程 在聊爬虫架构的时候，非常有必要将爬虫的流程梳理清楚。毕竟万变不离其宗，对于爬虫流程的掌握可以更好的理解、设计、组合爬虫， 爬虫基本步骤如下 1. 网络包捕获，确定URL 2. 模拟发送网络请求，获取响应 3. 解析响应， 获取数据 4. 解析数据，数据持久化 分布式爬虫架构 均衡分布式 对等分布式 注意 不要过度优化、不要过度预留扩展点、不要过度设计
go-concurrency
Process And Thread 操作系统会为应用程序创建一个进程, 作为应用程序. 它是一个为应用程序所有资源而运行的容器, 这些资源包含内存地址, 文件句柄, 设备和线程. 每个进程中都包含了一个主进程 线程是操作系统调度的一种执行路径, 用于在处理器中执行我们编写的代码. 一个进程从一个线程开始, 即主线程, 当该线程终止时，进程终止。这是因为主线程是应用程序的原点。然后，主线程可以依次启动更多的线程，而这些线程可以启动更多的线程。 无论线程属于哪个进程，操作系统都会安排线程在可用处理器上运行。每个操作系统都有自己的算法来做出这些决定。 Goroutines and Par
go异常处理
在了解go异常处理的时候,有必要先了解为什么需要做异常处理,异常处理主要在哪几个方面,区分异常和错误的区别等等. QA 为什么需要做异常处理? 我个人认为有一下几点 1. 从程序设计的角度来看, 保证程序的鲁棒性,健壮性 2. 从开发的角度来看, 快速定位问题,解决问题,预防问题 异常处理主要在哪几个方面 异常处理主要在实践上可以区分为 * 业务层面: 保证业务的稳定性, 逻辑性 * 基础库: 保证代码逻辑正常 异常与错误的区别 编程语言中的异常和错误是两个相似但不相同的概念。异常和错误都可以引起程序执行错误而退出，他们属于程序没有考虑到的例外情况( exceptio
爬虫对抗相关总结
又双叒叕 一篇相关于爬虫对抗的总结. 一般来说对于爬虫的对抗主要体现在如下几个方面 * 反调: 反抓包\反调试\代码混淆与防护 * 反(欺诈)模拟: 网络协议校验\TLS\请求头(字段\字段顺序\反盗链)校验 * 数据防护\验证码\风控对抗等 反爬虫(风险策略)工程师预防以及防止爬虫工程师对数据的抓取, 一方要"守"一方要"攻",各为其主各司其职你来我往谁也多呈不让. 反抓包 反抓包的目的多种多样,简而言之便是让爬虫工作者无法捕获网络数据包 如: 不走http\不走代理\请求分离\SSLping单(双)向校验\网络协议定制等
frida-rpc
frida 主动调用 主动调用: 强制去调用函数执行 被动调用: 由app主导,按照正常的执行顺序执行函数. 函数执行完全依靠与用户交互完成从而间接的调用到关键函数 在Java中,类的函数可以分为两种: 类函数与实例方法, 也可以称之为静态方法和动态方法. 类函数使用关键字static 修饰,与对应的类绑定, 当然如果该类函数还被public 修饰,则在外部就可以直接通过类去调用 实例方法没有被 staic 修饰,在外部只能通过实例化对应的类,在通过该实例调用对应的方法. 在frida中主动调用的类型会根据方法的类型区分开来, 类函数的直接调用使用Java.use 即可,实例方法则需
frida hook
frida启动方式 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 # frida -h usage: frida [options] target positional arguments: args extra argum
一些工作上的思考
流程 规范的 、结构的构造端到端 计算机 《我对计算的理解· 吴瀚清》 技术的本质就是结构与组合。 今天我们在谈技术架构，有时候我们也会谈产品架构，再往前走，我们会谈商业架构，它中间都是一个结构的问题。 技术最重要的目标是开始追求生产效率，带来产能上的巨大提升 ，当产能得到一个巨大提升之后，就能够创造出越来越多的产品，进而实现规模化。技术要通过架构师或者工程师的工作才能完成这个过程。 技术要走向的就是规模化 计算机真正在做的事情是模拟 创造 闭环 在职场中,在领导口中.口口声声说 “闭环”,但 究竟什么是闭环? 闭环思维是一种有始有终的思维，它是一份生活的智慧。 比如拖
github项目搜索技巧
搜项目大全 awesome-xxx 例如想了解python的所有技术体系,我们就可以搜索 awesome-python ,当然Java\spider\datascience等等 搜索样例 xxx simple 或者 xxx demo 空项目结构 xxx starter 例如 springboot starter springboot+mybatis starter 教程与学习路线 xxx tutorial 例如: python tutorial 当然结合 awesome-xxx 更香哦 常用快捷键 s: 快速定位到搜索框进行搜索 t: 项目文件树 ctrl +
android投屏工具
* scrcpy: https://github.com/Genymobile/scrcpy/ * vysor: https://www.vysor.io/ * QtScrcpy: https://github.com/barry-ran/QtScrcpy * Total Control: https://www.sigma-rt.com/ * Appetizer:https://www.notion.so/appetizerio/AppetizerIO-1383d971ded94388b8e76f3236fe1f4f