robot.md

#Web #HTTP #Header

/

---

Part #1

这里是对User-Agent请求头的修改，一般各大搜索引擎的蜘蛛都会带有特定的UA信息

关于UA

百度的说法

curl --user-agent Baiduspider http://<host>:<port>/verify

Part #2

为了声明自己从哪个网址到这里来，浏览器发送Referer头

Referer的一个常见的作用是防盗链。比如一些图片网站会验证Referer头，如果不是自己的网站，就直接403 （一种可行的反制措施是进行图片反代，推销下最近写的反代服务器（就当无事发生））

curl --user-agent Baiduspider --referer https://www.baidu.com http://<host>:<port>/verify

Part #3

这里是改Cookie，参考Guidebook

要求是存在名为price的Cookie（hint），脑洞属实开大了>_<

curl --user-agent Baiduspider --referer https://www.baidu.com --cookie price= http://<host>:<port>/verify