面试须知，Python爬取网易云音乐1万条评论，腾讯、网易必问的20道题Python面试题-程序员宅基地
技术标签： 2024年程序员学习 面试 python 职场和发展
首先，我们用电脑打开网易云音乐这条视频的链接。找到最新评论，目标就是把这些评论全部取出来。接着发现每点击“下一页”，网站的url并没有任何变化，说明整个评论区的内容都是通过Ajax异步请求技术得到的。关于这个概念大家可以百度，简单来说就是能够实现在后台与服务器交换数据，在不重新加载页面的情况下更新网页。打开浏览器F12，进入开发者工具，选择Network，我们选择XHR(XmlHttpRequest)就可以选出Ajax的请求包：
然后再一个个点进去查看response，就能找到包含评论的数据包️
点进去就能看到header信息
可以发现是一个post请求并且接收两个参数params以及encSecKey
我们先来试试看
import requests
import json
url = ‘https://music.163.com/weapi/v1/resource/comments/R_VI_62_3F79C7B87510106B8118EE3F811C1BC5?csrf_token=’
headers = {
‘User-Agent’:‘Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.140 Safari/537.36’,
‘Referer’:‘https://music.163.com/video?id=3F79C7B87510106B8118EE3F811C1BC5&userid=265996751’,
‘Origin’:‘http://music.163.com’,
‘Host’:‘music.163.com’
}
user_data = {
‘params’: ‘fphfDEFeIs3I+ybqkBQhWxvB8GFOB0RMrmOS1VfB9ljX0CWccYd5WPdfRk6iaPuhllQcpKweUTwKc7GyZZENbB99O3C/vdhEeChuxLK8Rl40hb/ipmhXIxbJ1KRMemNFF+jTQqdFUnw3HNdrUqSzjmfh/HP630vmp4HVL6i+oSDygse0C1JUgS5d5Six93R7r8b3tKUCnPw/JJbH3AXTlA==’,
‘encSecKey’: ‘a658168c2225f0dfe46e9b260abb348691c42946ec46e6f4a5c434e86d6d546da0fcb7de0dba750422c40064b026169a453f5e42c59f63c38c7749c0e81023dd27978f1e5d97b6c97fa70df347737b51a69fc15b49b2e3e209c53eefcf7d795b6344404811e84761c700422ef57a427e84bc77adece15146ca62033b3f2aacfd’
}
response = requests.post(url,headers=headers,data=user_data)
可以发现能够取到这一页的评论信息
但是这只能拿到当前这一页的评论。那么怎样获取全部的评论信息呢，之前我们说过，点击下一页的时候只刷新评论，而不会重新加载页面。通过测试我们发现点击下一页时候只有 params和encSecKey会改变，那么接下来的问题就是就是搞明白这两个参数是怎样变化的。还好已经有知乎大神[1]给出了加密过程的解析与还原代码，所以我们直接拿过来用就可以。整个过程比较复杂，每个参数经过两次加密涉及到四个不同参数。由于篇幅原因完整的代码可以在早起python公众号内回复音乐获取。那么最后是将所有评论全部爬取下来。
自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。
深知大多数Python工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！
因此收集整理了一份《2024年Python开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。
既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Python开发知识点，真正体系化！
由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新
如果你觉得这些内容对你有帮助，可以添加V获取：vip1024c （备注Python）
感谢每一个认真阅读我文章的人，看着粉丝一路的上涨和关注，礼尚往来总是要有的：
① 2000多本Python电子书（主流和经典的书籍应该都有了）
② Python标准库资料（最全中文版）
③ 项目源码（四五十个有趣且经典的练手项目及源码）
④ Python基础入门、爬虫、web开发、大数据分析方面的视频（适合小白学习）
⑤ Python学习路线图（告别不入流的学习）
一个人可以走的很快，但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎扫码加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
行业的老鸟或是对IT行业感兴趣的新人，都欢迎扫码加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**
[外链图片转存中…(img-hArCg790-1712613123771)]
智能推荐
面试：机器学习--深度学习_1962年雀巢研究员david hubel和torsten wiesel发现了猫视觉皮层中细胞对边缘-程序员宅基地
文章浏览阅读1.2w次，点赞2次，收藏15次。一、概述 Artificial Intelligence，也就是人工智能，就像长生不老和星际漫游一样，是人类最美好的梦想之一。虽然计算机技术已经取得了长足的进步，但是到目前为止，还没有一台电脑能产生“自我”的意识。是的，在人类和大量现成数据的帮助下，电脑可以表现的十分强大，但是离开了这两者，它甚至都不能分辨一个喵星人和一个汪星人。 图灵（图灵，大家都知道吧。_1962年雀巢研究员david hubel和torsten wiesel发现了猫视觉皮层中细胞对边缘和方
OPENWRT 教程第五章 openwrt 的 ubus进程间通信系统-程序员宅基地
文章浏览阅读844次。https://www.openwrtdl.com/wordpress/openwrt%E4%B8%ADubus%E5%AE%9E%E7%8E%B0%E8%BF%9B%E7%A8%8B%E9%80%9A%E4%BF%A1%E5%8F%8A%E4%BB%A3%E7%A0%81%E7%A0%94%E7%A9%B6https://edu.51cto.com/course/10697.htm..._ubus测试
python写闲鱼脚本_你想要的闲鱼日常操作，Python 给你实现了-程序员宅基地
文章浏览阅读1.7k次。1目 标 场 景前篇文章讲了如何在 iOS 端使用 Airtest 实现自动化的操作，本篇将继续带大家做 iOS 端的自动化项目。如果你经常用闲鱼，应该每天都要进行下面操作，App 签到、鱼塘签到、擦亮宝贝，这一系列操作都是重复且枯燥的。本篇文章的目的是利用 Python 实现 iOS 端闲鱼日常操作。2编 写 代 码在编写脚本之前，我们需要利用 Mac OSX 的控制台程序拿到闲鱼 App 的..._闲鱼抓包
unity 2d 前视图_如何在Unity中实现2D等距视图-程序员宅基地
文章浏览阅读481次。unity 2d 前视图 我们的小便小游戏具有适当的等轴测视图。 如果您仍然不了解游戏，请让我为您显示屏幕截图： 主游戏区（不是最终的精灵） 如您所见，视图介于自顶向下和一定角度之间。 更像是前置等距相机。 但是Unity for 2D仅只有一个“普通”的正交相机。 （我知道）无法向相机指示您想要的是等轴测图。 因此，我们不得不在代码中修复此问题。 绘图对象如何工作 首先要..._unity等距透视
无聊的一天_一人互联网公司背后的无聊技术-程序员宅基地
文章浏览阅读405次。无聊的一天Listen Notes is a podcast search engine and database. The technology behind Listen Notes is actually very very boring. No AI, no deep learning, no blockchain. “Any man who must say I am using AI ..._datadog接pagerduty
blender手册快捷键和操作技巧五_blender返回上一步操作-程序员宅基地
文章浏览阅读3.4k次。这一篇从撤销和重做开始介绍https://www.blender.org/manual/interface/undo_and_redo.html撤销Ctrl+Z，基本所有软件都是这个快捷方式，但是记得要开启这个功能，全局撤销，默认开启的，但是就怕误操作给取消的。我就是在英文状态下关闭过，导致快捷键无效了。_blender返回上一步操作
随便推点
Qt: QLineEdit圆角边框，选中时变色，显示图标_qlineedit在选中的时候-程序员宅基地
文章浏览阅读2w次，点赞7次，收藏42次。Qt: QLineEdit圆角边框，选中时变色，显示图标_qlineedit在选中的时候
英语----情态动词---半情态动词-程序员宅基地
文章浏览阅读186次。need dare used to had better would better 情态动词 的否定 直接 加not实意动词就会有时态和人称的变化You needn't come so earlyYou don't need t..._情态动词与半情态动词的区别是什么?
【Java】线程安全问题-程序员宅基地
文章浏览阅读1.2k次，点赞62次，收藏53次。在之前的文章中，已经介绍了关于线程的基础知识。我的主页: 欢迎各位大佬来到我的主页进行指点一同进步！！！
哈希表（Hash Table）_伪随机数法哈希表-程序员宅基地
文章浏览阅读303次。哈希表（Hash table，也叫散列表)根据关键码值(Key value)而直接进行访问的数据结构。也就是说，它通过把关键码值映射到表中一个位置来访问记录，以加快查找的速度。这个映射函数叫做散列函数，存放记录的数组叫做散列表。例如：给定表M，存在函数f(key)，对任意给定的关键字值key，代入函数后若能得到包含该关键字的记录在表中的地址，则称表M为哈希(Hash)表，函数f(key)为哈希..._伪随机数法哈希表
caffe学习——caffe.proto学习_caffe.proto数据结构学习-程序员宅基地
文章浏览阅读216次。Blobs, Layers, 和Nets:http://blog.csdn.net/u012767526/article/details/51459921http://caffe.berkeleyvision.org/tutorial/net_layer_blob.htmlsolver:http://blog.csdn.net/u012767526/article/details/51469202..._caffe.proto数据结构学习
SpringBoot整合MongoDB-程序员宅基地
文章浏览阅读1.1k次。NoSQL，指的是非关系型的数据库。NoSQL有时也称作Not Only SQL的缩写，是对不同于传统的关系型数据库的数据库管理系统的统称。NoSQL用于超大规模数据的存储。（例如谷歌或Facebook每天为他们的用户收集万亿比特的数据）。这些类型的数据存储不需要固定的模式，无需多余操作就可以横向扩展。文档中的键/值对是有序的。文档中的值不仅可以是在双引号里面的字符串，还可以是其他几种数据类型（甚至可以是整个嵌入的文档)。MongoDB区分类型和大小写。MongoDB的文档不能有重复的键。_springboot整合mongodb