如何正确识别百度spider

• offcn 发布于
• 3 收藏

如何识别百度spider：linux/windows/os三种平台下的验证方法分别如下：1、在linux平台下，您可以使用host ip命令反解ip来判断是否来自Baiduspider的抓取。Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名，非 *.baidu.com 或 *.baidu.jp 即为冒充。2、在windows平台或者IBM O...