大象笔记

知者行之始,行者知之成

明道云数据上报 webhook 链接的获取方法,方便 MQTT 数据转发

很多客户不想用自己的服务器存储物联网硬件上报的日志,而是想通过明道云这类三方的智能多维表格的方案来存储日志。 估计是担心我们后续乱收费吧 😄 其实我感觉现在服务器反而更便宜,至少不会乱收费。麻烦的是,服务器可能有点人工运维成本。客观的说,这种三方表格类存储确实省心 😅 反正客户说的都对,让怎么搞就怎么搞吧。 这里主要记录一下,如何获取明道云数据上报 webhook 链接。自己不常用,久了就忘记从哪里查看 webhook 链接了。 获取方法 首先,到明道云后台 https://www.mingdao.com 找到应用列表,选中指定的应用,查看其对应的工作流 在工作流界面,找到 webhook ...

阅读全文...

自动创建测试数据的库 go-faker

最近在使用 Go 开发一个新闻发布的模块,但是我为了急于看到界面效果,不想先实现后台录入功能, 想先自动创建一批测试数据,直接看 UI 效果。于是找了一个自动生成测试数据的库。 go-faker https://github.com/go-faker/faker 非常适合网站的新闻模块或者博客模块,需要批量创建几百条测试数据的场景。也支持姓名,邮箱,手机号,IP 地址之类的数据类型。之前还专门写过一个小程序来生成测试数据,参考:随机生成身份证号,手机号,邮箱地址的微信小程序。 印象中 PHP Laravel 框架本身就内置了这个功能,但是 golang gin 还是太简陋了,需要自己动手实现。 ...

阅读全文...

像素风头像生成小程序,卡通抽象风格,支持男女性别选择

最近迷上了像素风的头像,于是开发了一个微信小程序版本的像素风头像生成工具。可以随机生成抽象风格的头像😅 一组四个。用来做人事系统的员工头像测试很便捷。算是今天枯燥的日常工作中唯一一点乐趣鸟🥱 还可以选择性别. 点击头像可以放大,全屏显示。长按图片就能保存到本地。图片尺寸是 400 x 400 像素。大概 40k 的大小。适合作为图片素材收藏。 🧮 三种体验方式 微信中搜索🔍大象拼图配色,在首页找到 像素风头像功能。 长按识别或者扫码下方微信小程序码 网页版本 像素风头像生成工具(Pixel Avatar) 为了降低服务器的存储压力,做了一个定时任务,每天清理过期的头像图片 ...

阅读全文...

员工花名册 Excel 表格批量导入公司人事管理系统

公司人事管理系统开发完成之后,就需要导入初始数据。例如,员工花名册。 人事部门手头有一个 Excel 表格,包含了所有员工的基本信息,包括姓名、工号、部门、职位等。 当然,主要目的是将既有员工的员工编号录入系统,后续新入职的则会自动按照规则生成员工编号。 而我又承担了这枯燥繁琐的工作任务😅 之前发过一篇笔记,讨论员工编号的生成规则,大家讨论得还挺热烈,参见前文 人事管理系统开发之三,员工编号号批量生成 🍎 花名册导入方案 方案一:自动将 Excel 转换成 SQL 插入语句,直接导入。这个方案,不太行,因为涉及到子公司和部门的关系,简单的插入语句无法处理这些复杂的逻辑。 方案二:编写一个数据 ...

阅读全文...

GitHub 上免费开源的一款舆情分析软件 BettaFish

今天在 GitHub 热榜上看到一款非常有趣的舆情分析软件 BettaFish。 Python 开发的,免费开源,功能强大。非常适合中小企业和个人公司使用。 流量为王的时代,流量决定了公司的命运。我猜测,即便强如雷布斯,也需要时常关注一下舆情动态,才能更好地把握用户需求,调整产品策略。🤣 毕竟靠个人去人肉查询,很可能不够全面,错过重要信息。 项目简介 “微舆” 是一个从0实现的创新型 多智能体 舆情分析系统,帮助大家破除信息茧房,还原舆情原貌,预测未来走向,辅助决策。用户只需像聊天一样提出分析需求,智能体开始全自动分析 国内外30+主流社媒 与 数百万条大众评论。 输入一个话题,就能开始 ...

阅读全文...

Excel 与 CSV 文件格式的区别,哪个更适合数据库批量导出

平时经常要从数据库中导出大量数据,以便在 Excel 或者 WPS 表格中进行分析和处理。 之前一直是用 Excel 格式导出数据,最近尝试用 CSV 格式导出,发现稍微复杂一点的数据,CSV 格式就会出现各种问题 😅。 所以最后放弃使用 mysqldump 直接导出 CSV 文件,还是用 golang 代码生成 Excel 文件,虽然代码复杂了一点,但是导出的数据在 Excel 或 WPS 表格中打开时,没有任何问题。这里记录一下两种文件格式的区别: CSV 是什么? CSV(Comma-Separated Values,逗号分隔的数据)是一种简单的文本文件格式,用于存储表格数据。每一行代表 ...

阅读全文...

MySQL 指定表导出 CSV

需要将 MySQL 数据库中的某个表,导出成 CSV 文件格式。方便在 Excel 中查看和修改,然后再导入回数据库。 突然感觉智能表格才是应用的未来。。。因为大家还是习惯在 Excel 中查看和修改数据。 尝试了几种方法,最终发现还是 mysqldump 命令最方便。 mysqldump 导出 CSV 文件 sudo mysqldump -u username -p \ --tab=/var/lib/mysql-files/ \ --fields-terminated-by=',' \ --fields-enclosed-by='"' \ db_name table ...

阅读全文...

推荐一款免费开源的图片批量压缩软件 Caesium

晚上吃饭的时候,突然接到一个陌生的电话,原来是 N 年前的一个客户,说我开发的一个题库图片 OCR 识别系统不好用了,让我帮忙看看。我第一反应是,不至于啊,这个系统 golang 开发的相当稳定,N 年没有出过问题了。除非: 百度 OCR 接口欠费了 服务器磁盘满了 时间太过久远,我连服务器的 IP 都没有印象了,要了服务的后台地址,我才找到服务器的 IP。登录一看,日志里确实有晚上失败的请求记录。但是日志里却啥有用的信息也没有,完全看不出是因为导致的异常。奇怪的是,3 次请求两次识别,一次成功。能成功就说明不是百度 OCR 接口的事情。 客户说是只有手机拍照的试题照片才会识别失败,而电脑 ...

阅读全文...

通过 smtp.gmail.com IPv6 地址发送邮件,报错 421 4.7.0 Try again later

今天线上服务器通过 smtp.gmail.com 发送邮件时,持续报错: fail to send email: 421 4.7.0 Try again later, closing connection. 比较奇怪的是: 在其他服务器上,同样的代码和配置,却能正常发送邮件。 当前服务器上,换成 smtp.163.com 等其他 SMTP 服务器,也能正常发送邮件。 这个发送邮件的服务运行一年多了,今天第一次出邮件无法发送的问题 nc 命令测试 有问题的服务器上测试: # nc -v smtp.gmail.com 587 Connection to smtp.gmail.com (24 ...

阅读全文...

gobackup 自动将 MySQL 数据库备份到七牛云私有空间之二,线上部署

继续前文 使用 gobackup 自动将 MySQL 数据库备份到七牛云私有空间,在本地测试了 gobackup 的基本功能之后,今天在几台线上服务器,包括阿里云和腾讯云的各种服务器,依次部署了 gobackup 备份服务。这里记录一下一些踩坑的地方。 消息通知设置 用 163 邮箱设置了邮件通知,测试失败日志如下: 2025/10/27 09:32:58 [Notifier] Running 1 Notifiers 2025/10/27 09:33:18 [Notifier] EOF 从 github issue 看,似乎是不支持 TLS: When send mail via port ...

阅读全文...

使用 gobackup 自动将 MySQL 数据库备份到七牛云私有空间

现在后台开发和运维都是我一个人,所以服务器上的 MySQL 数据库备份也只能自己来做了。 由于服务分散在多台服务器上,并且有几十个数据库需要备份,手动备份实在是太麻烦了。 需要一套自动化的备份流程。定时将数据库导出,并存储到云存储空间中,例如七牛云存储或者阿里云 OSS 上。 备份方案的选择 我昨天纠结了半天,到底用什么方案或者工具来做数据库的自动备份: 手写 shell 脚本。这个很麻烦,因为数据库太多,不同服务对应的云存储还不一样。逻辑复杂,不适合用 shell 脚本来写。 Python 脚本。本来是都开始动手要写了,但是登录了一台服务器,发现居然是 Ubuntu 18.04 系统,Py ...

阅读全文...

尝试 Playwright 进行网站自动化测试

为何要对网站进行自动化测试? 最近在开发公司内部使用的人事系统,发现手动测试非常麻烦。每次改动代码后,都需要手动打开浏览器,点击各种按钮,填写各种表单,确认功能是否正常。这个过程既耗时,又容易出错。 同时,我自己的网站也有类似的需求。写了一堆功能,每次上线都心惊胆战,生怕修改了一处代码,导致其他功能出错。而自动化测试可以大大降低这种焦虑感。尤其,现在好多功能都是用 AI 来实现的,我经常性的不看 AI 的具体实现代码,而是看它的输出结果是否符合预期。这种情况下,自动化测试就显得尤为重要。 我看现在好多人推荐使用 Playwright,而且是微软出品的,感觉应该还不错。于是决定尝试一下。 Pyt ...

阅读全文...