跳到主内容

技术笔记

  • 小红书采集工具+AI一句话出榜:接入MCP,自动采集并生成榜单网页与Excel

    小红书采集工具全新升级 AI 能力:内置本地 MCP 服务并配套 3 个 AI 技能包,接入后一句话即可自动采集小红书笔记、下载图片与无水印视频,并直接生成可离线打开的排行榜网页和 Excel 榜单。同时也完整支持手动操作:界面点选完成笔记、评论、用户主页采集,图片与无水印视频下载,关键词挖掘,并可导出 Excel / JSON / HTML。两种用法重要性一样,按习惯选择即可。支持 Windows 10 / Windows 11,绿色版解压即用,试用版可直接下载体验。...
    爬虫工具
  • 软件是安全无毒的,绝对可以放心下载运行。出现运行不了,可以看这篇文章解决。

    本文档旨在帮助您解决在下载、安装及使用我们软件过程中可能遇到的安全拦截或运行异常问题。我们承诺:本软件虽未经微软官方认证,但由我们自主研发,绝对不含病毒木马,亦不会窃取任何个人隐私信息。🔍 快速导航安全拦截类:解决Win10/Win11报毒、无法下载、被自动删除的问题安装运行类...
    常见问题
  • C# WinForm爬取小红书无水印视频:从笔记采集到FFmpeg转码实战

    说到采集小红书无水印视频,很多人的第一反应是找现成的轮子。确实,市面上有像 XHS-Spider 这样的工具,颜值高、能批量下载,但有个坑——它基于 .NET 6.0 开发,而且从 v1.0.1.4 版本开始就不再开源,需要申请授权文件,授权时长只有一天 。对于习惯了在 .NET Framework 4.8 下做 WinForm 桌面工具的老铁来说,这路子有点堵。既然这样,不如自己造个轮子。核心思路拆开看就三板斧:搞定笔记列表和详情接口,拿到视频直链;...
    技术笔记
  • 内网页面表格导出Excel实战:从HTML解析到自动识别方案

    有回在内网系统里,领导扔过来一句话:“把这页数据导出来,我要做报表。” 你打开那个古董级的内部系统,扫了一圈——没导出按钮,右键菜单被锁,甚至网络请求都看不出个所以然。你猜怎么着?这事儿我干过不止一回。说白了,这种“只能看不能动”的表格,在内网系统里遍地都是。要么是安全策略不让导,要么是开发的时候压根没做导出功能。这篇文章,咱们就把这件事掰开揉碎讲清楚:用Python怎么自动识别并导出网页表格(不管是table还是div),最终落成Excel。 顺便看看市面上有没有能直接拿来...
    技术笔记
  • 批量采集百度指数背后的技术坑:从高校研究到性能优化实战

    做高校科研那会儿,我接过一个死命令:抓取200所高校过去5年的百度指数日数据。要求一周交付。第一反应是“写个爬虫分分钟”。结果呢?被封IP、验证码、数据错乱、采集到一半崩溃……你猜怎么着?折腾了两周,最后乖乖买了择云软件的批量采集工具。但这段踩坑经历,倒让我把百度指数采集的技术细节摸了个透。今天不聊学术,就聊批量采集百度指数到底难在哪,以及我们怎么用工程手段解决它。为什么高校研究绕不开百度指数批量采集先摆结论:百度指数是社会关注度的量化代理指标,尤其...
    技术笔记
  • C# 将 Markdown 转 HTML 的 3 种方案:我为什么最终选择了 Markdig

    ˃ 一个真实项目的选型对比:从踩坑正则库到拥抱 AST,性能提升 100 倍。痛点开局:博客系统里的 500 毫秒前阵子给一个开源社区写 Wiki 插件。需求很简单:把用户存的 .md 文件渲染成网页。第一版方案更简单。网上搜了个老教程,直接 Install-Package MarkdownSharp,20 行代码搞定。上线第三天,运维群里炸了:“某个 2 万字的架构设计文档打不开,页面转了 5 秒白屏。”我一看代码,心跳漏了半拍。那个类库基于正则表达式...
    技术笔记
  • C# WinForm大文件拆分开发教程:从界面到核心实现,手把手搞定大文件处理

    一个2GB的日志文件引发的“血案”先讲个真事儿。我们项目组有个运维系统,每天凌晨会生成一个接近2GB的访问日志文件。刚开始大家也没在意,直到有一天,QA同学试图用记事本打开它——结果机器直接卡死了。后来我们用 File.ReadAllText() 去读,系统直接抛了个 OutOfMemoryException。崩了。那会儿我们团队刚接手这个维护任务,对文件处理这块儿还没摸透。领导拍板:“做个工具,能把这个大文件拆成一个个小文件,方便查看和分析。”需求不复杂:...
    技术笔记
  • C# WinForm实战:从抓包到批量采集,打造百度指数关键词采集器

    ˃ 上线第3天凌晨2点,告警响了——采集程序卡死,界面假死,日志里躺着一堆WebException。更坑的是,批量跑了两百个关键词,最后才发现Cookie早过期了,白忙活一场。说实话,网上关于“百度指数采集”的代码一抓一大把,但能跑通的没几个。不是JSON解析崩了,就是被反爬策略按在地上摩擦。我们今天不整虚的,直接从抓包分析开始,手写一个能抗住批量采集、带Cookie池管理、支持断点续传的WinForm工具。代码全部可运行,版本号都给你标清楚。先别急着写代码,抓...
    技术笔记
  • C# HttpClient 设置 Cookie 的两种姿势:别再用错字符串拼接了

    **先说结论:千万别再用字符串拼接把 Cookie 塞进 HttpClient 了。** 尤其是 .NET Core 3.1 之后,CookieContainer 才是正规军,字符串注入那一套在并发场景下会死得很难看。这事儿还得从我们上个月的一个告警说起。我们有个内部数据同步服务,用 .NET 6 写的,每天凌晨从合作伙伴的 API 拉取商品库存。Partner 那边要求我们维持一个会话,登录成功后返回的 Set-Cookie 要原样带回去。上线第三天凌晨 2 点 1...
    技术笔记
  • WinForm 4.8 嵌入 WebView2:拦截文件对话框的终极方案与踩坑实录

    用户明明点了“上传”,对话框却没反应?这事发生在上个月的一个周五下午。我们有个内部工具,WinForm 4.8 套着 WebView2 壳,跑一个 React 管理后台。用户反馈说“上传按钮点了没反应”,但 F12 看 Network 又没报错。我远程过去,点了一下,弹窗一闪而过,接着整个 WebView2 像被冻住了一样,点击任何按钮都不响应。崩了。 当时离下班还有 1 小时。后来复盘发现,WebView2 默认的文件对话框(`CoreWebView2.FileDia...
    技术笔记
  • WinForm 嵌入 WebView2 实战:手撸一个百度新闻排行榜

    你搜“C# 爬百度新闻”,出来的教程十有八九是 HttpClient 一发一收,然后告诉你解析 HTML。 我跟你讲,这套路在 2026 年基本等于自欺欺人。 不信?你 F12 看一下百度新闻首页的排行榜那块,数据根本不是写在初始 HTML 里的。全是 JS 异步加载、动态渲染出来的。你用 HttpClient 拿回来的源码,大概率只有一堆 div 壳子和 script 标签,排行榜数据?不存在的。 ![百度新闻 F12 截图示意]...
    技术笔记
  • 使用WebView2与C# WinForm抓取动态网页:从入门到实战

    引言:为什么选择WebView2抓取动态网页?在C#桌面应用开发中,抓取网页数据是一个常见需求。然而,随着现代Web应用大量采用JavaScript框架(如Vue、React、Angular)进行客户端渲染,传统的基于HttpClient的静态请求方式逐渐失效。当你用HttpClient请求一个SPA(单页应用)页面时,拿到的往往只是一个空的``骨架,真正的数据需要等待JavaScript执行、发起Ajax异步请求后才能渲染出来。这时,WebView2控件就...
    技术笔记

服务热线

加我微信

加我微信