屏蔽爬虫
大象笔记 > 标签 > 屏蔽爬虫
设置 Nginx 规则以屏蔽指定 User Agent 的网站爬虫
2020-02-15 · 阅读 7617 · 字数 228
晚上我的一个 wordpress 网站再一次被可恶的爬虫爬挂了。。。 对方疯狂的爬取网页，且瞬间并发无数个请求，丝毫不考虑我这孱弱的阿里云低配服务器的小身板能否承受住。不出意外，我的网站挂掉了。。。 没办法，必须得处理一下。 看了一下 nginx 日志中这些爬虫的请求记录： 每 10 个请求一换 IP 请求头都为 "Scrapy/1.7.3 (+https://scrapy.org)" 所以通过 IP 规则来屏蔽是不可能了，可以简单地用 User Agent 匹配规则的方式来屏蔽这些爬虫。 Nginx 配置 顺便把 Yisou 的爬虫屏蔽了。 if ($http_use ...
所有分类
| 生活 | 跑步 清单 足球 鲁班 探索 孤独的美食家 驾驶 电视剧 收纳 奶爸 健康 game 电影 周末 joke |
|---|---|
| Geek | 健身 Laravel Git Vim MySQL Linux UI Windows SVN 纪录片 管理 Shell 游记 工具 手机 BackboneJS 自建博客 Mac DNS Tornado CDN Django Python AngularJS 理财 前端 Nginx 爬虫 Redis Javascript Browser 浏览器 推广 OAuth CSS PHP Social Networks 安全 运维 创业 杂记 VueJS Android Image IDE Java ReactJS 数据分析 SQLite RESTful 读书笔记 家电 ecshop Vagrant wordpress docker SEO GTD magento mongodb nodejs weex 冷知识 ruby iOS 微信小程序 AI CMS 快应用 backpack 广告联盟 OA 短信 UWP Win CSharp Tampermonkey graphviz 钉钉 WPS 数据字典 微信公众号 Fuchsia Adobe XD SQL Server thinkphp 代码规范 商业模式 Flutter 头痛的问题 serverless 视频制作 国际化 golang 服务器 Kotlin 网站建设 5G 笔记本 图片 spark spring 物联网 InfluxDB 图像识别 postgre rust |
| 成长的烦恼 | 闲言碎语 待产 不睡觉 写作 程序员 孙心然语录 原则 大鸿语录 |
| 地球 | 植物 时间 中文 赚钱 国家地理 烟台 一生伏首拜阳明 emoji 弟子规 英文 国际贸易 |
山东，烟台