使用python开发爬虫程序，效率很高。

下载网络数据主要使用requests库；

解析数据有三种方式：

1. 正则表达式

2. xpath

3. bs4

上述三种方式，解析速度主次递减  

为了提高爬取效率，更一般的方式是使用scrapy框架，实现多任务同步爬取

注：答案一般在网上都能够找到。

1. 对if__name__=='main'的理解陈述

2. 2.python是如何进行内存管理的？

3. 3.请写出一段Python代码实现删除一个list里面的重复元素

4. 4.Python里面如何拷贝一个对象？（赋值，浅拷贝，深拷贝的区别）

5. 5.介绍一下except的用法和作用？

6. 6.Python中__new__与__init__方法的区别

7. 7.常用的网络数据爬取方法

8. 8.遇到过得反爬虫策略以及解决方法

9. 9.urllib和urllib2的区别

10. 10.设计一个基于session登录验证的爬虫方案

11. 11.列举网络爬虫所用到的网络数据包，解析包

12. 12.熟悉的爬虫框架

13. 13.Python在服务器的部署流程，以及环境隔离

14. 14.Django和Flask的相同点与不同点，如何进行选择？

15. 15.写一个Python中的单例模式

16. 16.Linux部署服务脚本命令(包括启动和停止的shell脚本)

17. 17.你用过多线程和异步嘛？除此之外你还用过什么方法来提高爬虫效率？

18. 18.POST与GET的区别

19. 1）对if__name__=='main'的理解陈述

20. __name__是当前模块名，当模块被直接运行时模块名为__main__，也就是当前的模块，当模块被导入时，模块名就不是__main__，即代码将不会执行。

21. 2）python是如何进行内存管理的？

22. a、对象的引用计数机制

23. python内部使用引用计数，来保持追踪内存中的对象，Python内部记录了对象有多少个引用，即引用计数，当对象被创建时就创建了一个引用计数，当对象不再需要时，这个对象的引用计数为0时，它被垃圾回收。

24. b、垃圾回收

25. 1>当一个对象的引用计数归零时，它将被垃圾收集机制处理掉。

26. 2>当两个对象a和b相互引用时，del语句可以减少a和b的引用计数，并销毁用于引用底层对象的名称。然而由于每个对象都包含一个对其他对象的应用，因此引用计数不会归零，对象也不会销毁。（从而导致内存泄露）。为解决这一问题，解释器会定期执行一个循环检测器，搜索不可访问对象的循环并删除它们。

27. c、内存池机制

28. Python提供了对内存的垃圾收集机制，但是它将不用的内存放到内存池而不是返回给操作系统。

29. 1>Pymalloc机制。为了加速Python的执行效率，Python引入了一个内存池机制，用于管理对小块内存的申请和释放。

30. 2>Python中所有小于256个字节的对象都使用pymalloc实现的分配器，而大的对象则使用系统的malloc。

31. 3>对于Python对象，如整数，浮点数和List，都有其独立的私有内存池，对象间不共享他们的内存池。也就是说如果你分配又释放了大量的整数，用于缓存这些整数的内存就不能再分配给浮点数。

32. 3）请写出一段Python代码实现删除一个list里面的重复元素

33. #1.使用set函数

34. list=[1,3,4,5,51,2,3]

35. set(list)

36. #2.使用字典函数，

37. >>>a=[1,2,4,2,4,5,6,5,7,8,9,0]

38. >>>b={}

39. >>>b=b.fromkeys(a)

40. >>>c=list(b.keys())

41. >>>c

42. 4）Python里面如何拷贝一个对象？（赋值，浅拷贝，深拷贝的区别）

43. 赋值（=），就是创建了对象的一个新的引用，修改其中任意一个变量都会影响到另一个。

44. 浅拷贝：创建一个新的对象，但它包含的是对原始对象中包含项的引用（如果用引用的方式修改其中一个对象，另外一个也会修改改变）{1,完全切片方法;2，工厂函数，如list();3，copy模块的copy()函数}

45. 深拷贝：创建一个新的对象，并且递归的复制它所包含的对象（修改其中一个，另外一个不会改变）{copy模块的deep.deepcopy()函数}

46. 5）介绍一下except的用法和作用？

47. try…except…except…else…

48. 执行try下的语句，如果引发异常，则执行过程会跳到except语句。对每个except分支顺序尝试执行，如果引发的异常与except中的异常组匹配，执行相应的语句。如果所有的except都不匹配，则异常会传递到下一个调用本代码的最高层try代码中。

49. try下的语句正常执行，则执行else块代码。如果发生异常，就不会执行如果存在finally语句，最后总是会执行。

50. 6）Python中__new__与__init__方法的区别

51. __new__:它是创建对象时调用，会返回当前对象的一个实例，可以用__new__来实现单例

52. __init__:它是创建对象后调用，对当前对象的一些实例初始化，无返回值

53. 7）常用的网络数据爬取方法

54. 正则表达式

55. BeautifulSoup

56. Lxml

57. 8）遇到过得反爬虫策略以及解决方法

58. 1.通过headers反爬虫

59. 2.基于用户行为的发爬虫：(同一IP短时间内访问的频率)

60. 3.动态网页反爬虫(通过ajax请求数据，或者通过JavaScript生成)

61. 4.对部分数据进行加密处理的(数据是乱码)

62. 解决方法：

63. 对于基本网页的抓取可以自定义headers,添加headers的数据

64. 使用多个代理ip进行抓取或者设置抓取的频率降低一些，动态网页的可以使用selenium+phantomjs进行抓取

65. 对部分数据进行加密的，可以使用selenium进行截图，使用python自带的pytesseract库进行识别，但是比较慢最直接的方法是找到加密的方法进行逆向推理。

66. 9）urllib和urllib2的区别

67. urllib和urllib2都是接受URL请求的相关模块，但是urllib2可以接受一个Request类的实例来设置URL请求的headers，urllib仅可以接受URL。urllib不可以伪装你的User-Agent字符串。

68. urllib提供urlencode()方法用来GET查询字符串的产生，而urllib2没有。这是为何urllib常和urllib2一起使用的原因。

69. 10）设计一个基于session登录验证的爬虫方案

70. 11）列举网络爬虫所用到的网络数据包，解析包

71. 网络数据包urllib、urllib2、requests

72. 解析包re、xpath、beautifulsoup、lxml

73. 12）熟悉的爬虫框架

74. Scrapy框架根据自己的实际情况回答

75. 13）Python在服务器的部署流程，以及环境隔离

76. 14）Django和Flask的相同点与不同点，如何进行选择？

77. 15）写一个Python中的单例模式

78. classSingleton(object):

79. _instance=None

80. def__new__(cls,*args,**kw):

81. ifnotcls._instance:

82. cls._instance=super(Singleton,cls).__new__(cls,*args,**kw)

83. returncls._instance

84. classMyClass(Singleton):

85. a=1

86. one=MyClass()

87. two=MyClass()

88. id(one)=id(two)

89. >>>True

90. 16）Linux部署服务脚本命令(包括启动和停止的shell脚本)

91. 17）你用过多线程和异步嘛？除此之外你还用过什么方法来提高爬虫效率？

92. scrapy-redis分布式爬取

93. 对于定向爬取可以用正则取代xpath

94. 18）POST与GET的区别

95. GET数据传输安全性低，POST传输数据安全性高，因为参数不会被保存在浏览器历史或web服务器日志中；

96. 在做数据查询时，建议用GET方式；而在做数据添加、修改或删除时，建议用POST方式；

97. GET在url中传递数据，数据信息放在请求头中；而POST请求信息放在请求体中进行传递数据；

98. GET传输数据的数据量较小，只能在请求头中发送数据，而POST传输数据信息比较大，一般不受限制；

99. 在执行效率来说，GET比POST好

100. 19）什么是lambda函数？它有什么好处?

101. lambda表达式，通常是在需要一个函数，但是又不想费神去命名一个函数的场合下使用，也就是指匿名函数

102. lambda函数：首要用途是指点短小的回调函数

103. lambda[arguments]:expression

104. >>>a=lambdax,y:x+y

105. >>>a(3,11)

106. 本文标题:Python爬虫工程师面试问题总结

107. 本文地址:http://www.cppcns.com/jiaoben/python/223323.html

108.