当前位置:   article > 正文

Python+selenium使用cookie登录,如何获取cookie_python selenium 获取cookie

python selenium 获取cookie

需要cookie,使用插件:EditThisCookie,可以方便的获取格式化的cookie。

参考博文:https://www.jianshu.com/p/773c58406bdb

众所周知,使用常规方法爬取淘宝的难度是很高的,所以使用selenium+浏览器几乎成了爬取淘宝最理想的方法。然而现在淘宝搜索需要用户登录才可以,据说是为了收集匹配用户信息。

而每次使用selenium时(+chrome),chromedriver会新打开一个浏览器窗口,所以添加cookie便显得很必要了。
这里看一下selenium的add_cookie方法

与普通的在headers里添加{'Cookies':' '}不一样的是,此方法需要按照cookie的name,value,path,domain格式逐个cookie添加,如下图

淘宝的cookie很多,所以需要逐项添加
而手动复制的话很不方便,所以这里使用到一个chrome插件
EditThisCookie

它有个导出功能,当你登录完淘宝后点击导出便会得到一个list格式的字符串

  1. cookies=
  2. [
  3. {
  4. "domain": ".baidu.com",
  5. "expirationDate": 1563853177.468827,
  6. "hostOnly": false,
  7. "httpOnly": false,
  8. "name": "BAIDUID",
  9. "path": "/",
  10. "sameSite": "no_restriction",
  11. "secure": false,
  12. "session": false,
  13. "storeId": "0",
  14. "value": "C0E2BCF5DCEB680B2453F78AC4CD0956:FG=1",
  15. "id": 1
  16. },
  17. {
  18. "domain": ".baidu.com",
  19. "expirationDate": 1546756058.11283,
  20. "hostOnly": false,
  21. "httpOnly": false,
  22. "name": "BDORZ",
  23. "path": "/",
  24. "sameSite": "no_restriction",
  25. "secure": false,
  26. "session": false,
  27. "storeId": "0",
  28. "value": "FFFB88E999055A3F8A630C64834BD6D0",
  29. "id": 2
  30. },
  31. {
  32. "domain": ".baidu.com",
  33. "expirationDate": 3648534764.317173,
  34. "hostOnly": false,
  35. "httpOnly": false,
  36. "name": "BIDUPSID",
  37. "path": "/",
  38. "sameSite": "no_restriction",
  39. "secure": false,
  40. "session": false,
  41. "storeId": "0",
  42. "value": "CC0841B75FADCE2D56D45D685391FED0",
  43. "id": 3
  44. },
  45. {
  46. "domain": ".baidu.com",
  47. "hostOnly": false,
  48. "httpOnly": false,
  49. "name": "H_PS_PSSID",
  50. "path": "/",
  51. "sameSite": "no_restriction",
  52. "secure": false,
  53. "session": true,
  54. "storeId": "0",
  55. "value": "",
  56. "id": 4
  57. },
  58. {
  59. "domain": ".baidu.com",
  60. "expirationDate": 2493441539.633233,
  61. "hostOnly": false,
  62. "httpOnly": false,
  63. "name": "MCITY",
  64. "path": "/",
  65. "sameSite": "no_restriction",
  66. "secure": false,
  67. "session": false,
  68. "storeId": "0",
  69. "value": "-%3A",
  70. "id": 5
  71. },
  72. {
  73. "domain": ".baidu.com",
  74. "expirationDate": 3648534764.317246,
  75. "hostOnly": false,
  76. "httpOnly": false,
  77. "name": "PSTM",
  78. "path": "/",
  79. "sameSite": "no_restriction",
  80. "secure": false,
  81. "session": false,
  82. "storeId": "0",
  83. "value": "1501051117",
  84. "id": 6
  85. },
  86. {
  87. "domain": ".www.baidu.com",
  88. "expirationDate": 2492662056,
  89. "hostOnly": false,
  90. "httpOnly": false,
  91. "name": "bdime",
  92. "path": "/",
  93. "sameSite": "no_restriction",
  94. "secure": false,
  95. "session": false,
  96. "storeId": "0",
  97. "value": "0",
  98. "id": 7
  99. }
  100. ]

稍加修改就可以作为python的list来导入cookie了

  1. for item in cookies:
  2. driver.add_cookie(item)

之后使用selenium就可以正常搜索了



作者:Gcider
链接:https://www.jianshu.com/p/773c58406bdb
来源:简书
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/我家自动化/article/detail/384285
推荐阅读
相关标签
  

闽ICP备14008679号