网络爬虫_第4页

0

爬虫入门经典(一) | 一文教你用Spider制作简易的翻译工具

爬虫大王发布于网络爬虫
收藏

在开始进行制作简易的翻译工具之前，我们需要先明确我们用那个翻译的接口。博主本次所选择的是百度翻译的接口。下面为百度翻译的网址：https://fanyi.baidu.com/但是，我们通过查看网页结构，我们发现这个网址并不是我们所需要的，那么我们就需要寻找接口了。...

0

【Hadoop技术】——集群配置

爬虫大王发布于网络爬虫
收藏

一、集群部署规划二、配置集群2.1 配置文件2.1.1 hadoop-env.shLinux系统中获取JDK的安装路径echo$JAVA_HOME1进入hadoop-2.7.3/etc/hadoop下修改JAVA_HOME路径cd/usr/hadoop/hadoop-2.7.3/etc/hadoop vihadoop-env.sh exportJAVA_HOME=/usr/java/jdk1...

0

【Hadoop技术】——JDK和Hadoop安装

爬虫大王发布于网络爬虫
收藏

一、 JDK安装1.1 创建工作目录mkdir-p/usr/java1mkdir [-p] dirName-p 确保目录名称存在，不存在的就建一个。Linux mkdir命令用于建立名称为 dirName 之子目录。1.2 下载软件已下载并上传，此处跳过1.3 解压在当前压缩包位置，输入以下命令tar-zxvfjdk-8u171-...

0

【Hadoop技术】——Linux 系统环境准备

爬虫大王发布于网络爬虫
收藏

一、准备软件在window系统下载了jdk。现在需要把window的jdk传输到linux系统中。Xftp直接在官网下载免费试用版即可。这部分没有什么可以说的。接【Linux】【安装】的后文，安装完CentOS7后需要配置网络，才能使windows和Liunx相互传输文件。没有设置网络，外...

0

【Hadoop技术】——离线分析系统结构概述

爬虫大王发布于网络爬虫
收藏

一、需求分析案例名称XX 网/XX app 点击流日志数据挖掘系统　　网站分析的主要手段是分析网站的点击流数据。　　XX 网/XX app 点击流日志数据挖掘系统　　网站分析的主要手段是分析网站的点击流数据。　　（1）点击流的概念　　点击流（ Click Stream）是指...

0

【Hadoop技术】——分布式系统概述

爬虫大王发布于网络爬虫
收藏

一、分布式集群集群和分布式的区别（1）从解决问题的角度看：分布式是以缩短单个任务的执行时间来提升效率的；集群则是通过提高单位时间内执行的任务数来提升效率。（2）从软件部署的角度看：分布式是指将不同的业务分布在不同的地方；集群则是将几台服务器...

0

【Hadoop技术】——Hadoop快速入门

爬虫大王发布于网络爬虫
收藏

一、 Hadoop简介1.Hadoop是一个开源的分布式计算平台2.提供的功能：利用服务器集群，根据用户的自定义业务逻辑，对海量数据进行分布式处理处理什么问题：海量数据的存储和海量数据的分析计算问题。Hadoop的两大核心：HDFS和MapReduce3.Hadoop的核心组件：Comm...

0

Python爬取新浪新闻数据写入Excel

野的像风发布于网络爬虫
收藏

先爬取最新消息列表，再循环爬取对应url中的新闻详细数据#-*-coding:utf-8-*- """ SpyderEditor news.py. """ importrequests frombs4importBeautifulSoup fromdatetimeimportdatetime importjson ...

0

如何使用Python网络爬虫

野的像风发布于网络爬虫
收藏

最近在测试一份代码，需求是从去哪儿网通过Python网络爬虫获取一些城市的信息，代码如下：frombs4importBeautifulSoup importpandasaspd importrequests defget_static_url_content(url): headers={'User-Agent':'Mozilla/5.0...

1