V2EX 09月25日
探讨夸克网盘数据采集方法
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

本文探讨了采集夸克网盘公开分享链接数据的技术途径。作者发现一个疑似API接口,但其中stoken参数的获取成为关键难题,并且直接使用公开链接访问时常提示非法stoken。文章对比了使用API接口和Selenium进行数据采集的优劣,并寻求获取stoken的解决方案,以期通过Scrapy等工具将夸克网盘数据批量采集入库。

🔑 **API接口的发现与stoken难题**:文章提到了一个疑似夸克网盘的API接口(https://drive-h.quark.cn/1/clouddrive/share/sharepage/detail?pr=ucpro&fr=pc&uc_param_str=&ver=2&pwd_id=30326245d3cd&stoken=sa5VFxCjF6s3Jwo0qGj8F8BLilNFwtfrFDulkWg8CLg%3D&pdir_fid=0&force=0&_page=1&_size=50&_fetch_banner=1&_fetch_share=1&fetch_relate_conversation=1&_fetch_total=1&_sort=file_type:asc,file_name:asc&__dt=1441&__t=1758809866729),但其核心问题在于如何获取其中的`stoken`参数。作者指出,公开链接通常不应需要`stoken`,但直接构造的链接访问却提示非法,这表明`stoken`是访问该接口的关键,但其生成机制不明。

⚙️ **数据采集技术方案对比**:文章对比了两种主要的数据采集技术:API接口和Selenium。API接口通常效率更高,但需要找到正确的接口并理解其参数。Selenium则通过模拟浏览器行为进行自动化操作,虽然可能较慢且资源消耗较大,但对于难以找到API的场景是一个可行的替代方案。作者倾向于优先解决API接口的问题,但已将Selenium作为备选。

🚀 **批量采集与入库设想**:作者的目标是将多个夸克网盘的公开分享链接(例如列出的三个URL)通过Scrapy等工具进行批量采集,并将数据存储到数据库中。这一设想需要解决API接口的访问问题,特别是`stoken`的获取,才能实现高效、自动化的数据迁移和管理。

你们采集夸克网站是用夸克网盘的接口 api 里面的这个 stoken 不知道怎么得到
https://pan.quark.cn/s/30326245d3cd
https://pan.quark.cn/s/4c627704f9bf
https://pan.quark.cn/s/0f742d94b39c

各位大佬好。
你们采集夸克网站是用夸克网盘的接口 api 还是用 Selenium 多些?
我想把一些夸克网盘的数据采集下来放到数据库里。
比如把上面的三个网址放在一个 txt 里
用 scrapy 采集入库。
如果用 api 接口的话
我通过分板找到了其中的一个接口:

https://drive-h.quark.cn/1/clouddrive/share/sharepage/detail?pr=ucpro&fr=pc&uc_param_str=&ver=2&pwd_id=30326245d3cd&stoken=sa5VFxCjF6s3Jwo0qGj8F8BLilNFwtfrFDulkWg8CLg%3D&pdir_fid=0&force=0&_page=1&_size=50&_fetch_banner=1&_fetch_share=1&fetch_relate_conversation=1&_fetch_total=1&_sort=file_type:asc,file_name:asc&__dt=1441&__t=1758809866729

但是我怎么通接这个 api 接口构造出这个网址呢?
这个网址里面别的都好办。就是这个 stoken 不知道怎么得到?
按理说这些公开的链接不需要 stoken 吧?
但是按这个链接构造的不带 stoken 的都提示非法 stoken
不知道各位朋友是怎么处理的?

另外还没试过 Selenium 。实在不行就只能用 Selenium 了。

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

夸克网盘 数据采集 API接口 Selenium Scrapy stoken 网络爬虫
相关文章