Python爬虫爬取AJAX

 时间:2024-10-12 19:53:30

1、首先把需要的库安装一下,pip isntall requests,pip install pyquery ,urlencode是python3内置了不用安装

2、然后我们分析下要爬取的网页,我这里以豆瓣电影为例,打开页面打开浏览器开发者工具,点Network选项,然后刷新网页,再选取淌捌釜集XHR这种就是AJAX传来的数据了,经分析我们要爬取的首页电影网址为:https://movie.douban.com/j/search_subjects?type=movie&tag=%E7%83%AD%E9%97%A8&page_limit=50&page_start=0https://movie.douban.com/j/search_subjects?这条后面跟着参数,不同参数返回不同内容,这条就是返回了 热门的50条内容

Python爬虫爬取AJAXPython爬虫爬取AJAX
  • 碧蓝航线里钻石有什么用
  • 异地恋真的好么?
  • 玫瑰的药用价值
  • 明日方舟三周年庆典新干员技能属性详解
  • 学会后期调色,从理解HSL面板开始(3)
  • 热门搜索
    蜂蜜怎么做面膜 滑板怎么刹车 胃里反酸水怎么办 cf的烟雾头怎么调 微信视频号怎么申请 手机解锁密码忘了怎么办 怎么查看电脑ip 内容摘要怎么写 轩逸怎么样 页码怎么删除