Skip to content

Comments

feat(page_parser): 添加获取长微博视频链接的功能#327

Merged
dataabc merged 2 commits intodataabc:masterfrom
schaepher:get_long_weibo_video_url
Mar 31, 2021
Merged

feat(page_parser): 添加获取长微博视频链接的功能#327
dataabc merged 2 commits intodataabc:masterfrom
schaepher:get_long_weibo_video_url

Conversation

@schaepher
Copy link
Collaborator

基于 #324 ,先合并 #324 避免混乱。

@schaepher schaepher force-pushed the get_long_weibo_video_url branch from 0b9e8f9 to 06ddf45 Compare March 28, 2021 14:22
@dataabc
Copy link
Owner

dataabc commented Mar 29, 2021

感谢贡献代码。

发现这两个commit都没有效果。测试了多个微博,无法下载转发微博视频,也无法下载长微博视频,不知道是不是账号原因。无论如何,还是很感谢的。文件名空格问题发现的很好,感谢。

@schaepher schaepher force-pushed the get_long_weibo_video_url branch from 06ddf45 to f4802e8 Compare March 29, 2021 15:02
@schaepher
Copy link
Collaborator Author

发现这两个commit都没有效果。测试了多个微博,无法下载转发微博视频,也无法下载长微博视频,不知道是不是账号原因。

@dataabc 我测试了下载自己以及其他人转发的微博视频的情况,可以下载到。你换个账号试试看?

长微博视频下载不到就比较奇怪,我测试也下载不到,是 class 为 c 的元素下标少了 1。我昨晚测试的时候没有问题,应该不会那么巧是昨晚新增了个 tip,可能是我手抖了。

总之我把 comment_parser 里的 //div[@class='c'][1]//span/a 替换成了更加精确的 body/div[@class='c' and @id][1]/div/span/a,刚刚测试没问题。你可以验证一下。

@dataabc
Copy link
Owner

dataabc commented Mar 30, 2021

感谢反馈。

我发现是可以下载转发视频和长微博视频的。昨天我之所以无法下载转发是因为那个微博即是转发又是长微博。

但是长微博这个是有问题的,会漏掉部分视频。我使用默认的微博,分别使用默认的程序和获取长微博的版本爬取该账号1月到现在的微博,后者比前者获取的视频少,其它账号也类似,运行了好几次结果一样。无论如何还是非常感谢,优化了很多我没想到的地方。

@schaepher schaepher force-pushed the get_long_weibo_video_url branch from f4802e8 to b175ca6 Compare March 30, 2021 12:45
@schaepher
Copy link
Collaborator Author

但是长微博这个是有问题的,会漏掉部分视频。我使用默认的微博,分别使用默认的程序和获取长微博的版本爬取该账号1月到现在的微博,后者比前者获取的视频少,其它账号也类似,运行了好几次结果一样。

@dataabc 问题找到了。是因为视频号微博的格式不一样,已修复。使用默认的微博测试后,能够得到和默认的程序下载的相同的视频,另外还多了几个长微博才有的视频。

@dataabc dataabc merged commit a217cfe into dataabc:master Mar 31, 2021
@dataabc
Copy link
Owner

dataabc commented Mar 31, 2021

感谢贡献代码。

已经发送Collaborator了,之后就可以直接提交代码了,相关规范可以参考为本项目做贡献,再次感谢。

@schaepher
Copy link
Collaborator Author

已经发送Collaborator了,之后就可以直接提交代码了,相关规范可以参考为本项目做贡献,再次感谢。

@dataabc 感谢。已确认加入。后续有提交仍然会走 Pull Request 流程,谨慎一些比较好。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

2 participants