Playwright 是微软在 2020 年初开源的新一代自动化测试工具，添加了默认等待时间增加脚本稳定性，并提供视频录制、网络请求支持、自定义的定位器、自带调试器等新特性。 Installation | Playwright Python playwright最详细使用教程 强大易用！新一代爬虫利器 Playwright 的介绍 基础操作汇总_Code_LT的博客-CSDN博客 安装 分两步，第一步安装库，第二步安装包内需要的浏览器框架 # 第一步，安装playwright的python版本 pip instal…
FastAPI (tiangolo.com) Pydantic pydantic是一个数据验证的库，FastAPI使用它来做模型校验。 from typing import Optional from fastapi import FastAPI from pydantic import BaseModel class Item(BaseModel): name: str price: float is_offer: Optional[bool] = None app = FastAPI() @app.put(&q…
Click 是 Flask 的开发团队 Pallets 的另一款开源项目，它是用于快速创建命令行的第三方模块。 参考文档：Options — Click Documentation (8.1.x) (palletsprojects.com) Usage command：用于装饰一个函数，使得该函数作为命令行的接口 option：用于装饰一个函数，主要功能是为命令行添加选项 echo：用于输出结果，由于print函数在2.x和3.x之间存在不同之处，为了更好的兼容性，因此提供了echo输出方法 Choice：输入为一…
引子 最近遇到了一个场景，如果一开始我就记起来用Pickle，至少会节省我三四小时的等待时间。这让我感慨一下书到用时方恨少，遂写文记录一下，防止我下次忘记了。如果想直接看用法就不用看我bb了，直接跳去用法那章。 任务大概是这样的，暂存一批数据：十万条左右的题目，和题目转化成的向量对象（np.array），向量是一维，长度768。 掏出我常用的pandas，新建了一个列来计算向量，存为csv文件，一气呵成。 然而这有一个巨大的问题，文件类型并没有被储存下来，所以本来应该是np.array类型的那个列，再被读出来之后，…
基本概述 网上找了一圈基本上是有两个压缩图片的思路： 剪裁尺寸 简单来说就是图片分辨率低了占用自然就小了，这是很通用的办法 设置quality 对于jpg文件来说，图像信息还有进一步压缩的方法，比如抹去图像的细节等，这都体现在quality上。理论上，可以完全不改变size，专注于减少图像的细节，比如颜色深度，纹理细节等，把图像压缩到一个很极限的尺度。 # encoding=utf-8 import os from PIL import Image quality_list = [1, 5, 15, 25, 35,…
图像熵的计算公式和应用场景_图像熵有何实践应用-CSDN博客 简介 图像熵（image entropy）是图像“繁忙”程度的估计值。 图像熵表示为图像灰度级集合的比特平均数，单位比特/像素，也描述了图像信源的平均信息量。对于离散形式的二维图像，其信息熵的计算公式为： 对于上式，其中，pi 为每一灰度级出现的概率。 熵指的是体系的混乱的程度，对焦良好的图像的熵大于没有清晰对焦的图像，因此可以用熵作为一种对焦评价标准。熵越大，图像越清晰。另外，对于没有内容的图像，图像熵也会很低，因此可以作为判断图像是否内容为空的依据。…
2024-10-27 前言 god，python现在还不支持原生压缩rar文件…为何。 依靠Python第三方库 rarfile 库专门用于处理rar型压缩包，这个库需要系统上安装 unrar 程序，在环境变量中能需要能找到它。 安装依赖包 安装 rarfile： pip install rarfile # conda install rarfile 以下是GTP-4给出的回答 确保系统已安装 unrar 或 rar（具体根据你的系统环境），这是rarfile这个库的依赖，没有配置好运行该库将报错： Windows…
前言 最近文艺复兴了在搞LDA主题模型，然而做可视化的时候发现一堆问题，说的就是pyLDAvis这个包。要做lda肯定绕不过的，这玩意可视化是真好看，六七年前的设计现在依然能打。 然而由于lda热度不在，pyLDAvis的新版接口几乎没人说明怎么用…我参照之前的教程搞一堆报错出来，找遍网上也没最新的资料…好在最后终于摸索出来了，因此就在这总结一下，希望大家少走弯路。 我使用的环境是 Python 3.9.17 pyLDAvis=3.4.0 Pycharm 2024.1.2 （这个应该没啥关系） 报错1：Attrib…
