前言 我们在用 Python 进行多个项目开发的很多时候，每个项目用的 Python 版本和依赖的包及包版本都可能不一样。为了避免多个项目之间出现版本或包冲突的情况，就很有必要对项目的 Python 环境进行隔离。有很多工具其实也能做到，比如以往一直在用的 VirtualEnv，这里介绍另外两个个人觉得比较好用的工具：Pyenv 和 Pipenv。
Pyenv 简介 简单来说，类似于 Java 的 jenv 和 Ruby 的 rbenv, Pyenv 是一个可以安装和管理多个 Python 版本的工具。 安装 1 $ brew install pyenv 初始化 往自己的 shell 配置文件（我用的是 ZSH，因此修改 ~/.zshrc 这个文件）加入：
1 2 3 export PYENV_ROOT="$HOME/.pyenv" [[ -d $PYENV_ROOT/bin ]] && export PATH="$PYENV_ROOT/bin:$PATH" eval "$(pyenv init -)" 修改完 source 一下，或者重启 shell。
使用 查看当前的所有版本信息 1 2 3 4 $ pyenv versions system 3.9.18 * anaconda3-2023.
一、前言 2010年 Google 发表了《Dremel：网络规模数据集的交互式分析》论文，2013年基于 Dremel 开源实现了 Apache Parquet，Parquet 就成为了通用的大数据文件存储格式，现今更是被广泛用于湖仓一体的架构实现上。此文档记录一下除了写程序，怎么便捷地读取 Parquet 文件数据的两种方法。
二、利用 DuckDB 在 DBeaver 上读取 1、新建一个DuckDB的连接 1.1、选择DuckDB 1.2、填写 Path Path 填写为":memory:"
2、执行查询 Parquet 数据文件： ~/Documents/parquet/parquet-data/c0496a45-85c7-4484-aa10-8f0c460dff0b_0-2-0_20240110235300493.parquet
2.1、查询数据 2.2、查询 Schema 信息 2.3、查询 Metadata 信息 2.4、更多 更多读写 Parquet 的操作，可以查看 DuckDB 的官方文档。 这里是直接引用 DuckDB 官方文档上的一些示例：
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 -- read a single Parquet file SELECT * FROM 'test.
说明 近期写了一个简单的项目，在后台运行获取网上的期货数据并保存到相应的数据库里。由于之前工作很多这种简单的类似调用接口或攫取数据的项目都是用 Python 来写，因此这次也继续用 Python 写。但是这次更换了几个包，此份文档简单来说明一下。
依赖的包 toml： 用户解析配置文件，配置文件用的是 toml 格式。 arrow： 用于处理日期相关。 loguru： 用于日志处理。 requests： 用于 http 请求响应。 pandas： 用于数据处理。 numpy： 用于数据计算。 mysql-connector-python： 用于操作 MySQL 数据库。 SQLAlchemy： 用于操作数据库。 click： 用于命令行参数解析。 项目结构 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 $ tree -L 2 . ├── README.md ├── config │ └── config.toml. # 配置文件 ├── log # 日志目录 ├── app_demo # 程序目录 │ ├── __init__.
说明 最近我独立开发了一个后台系统，为了使域名能够通过https进行访问，必须配置SSL证书。然而，个人来说，购买SSL证书的费用相对较高，每年的支出也相对较大。因此，我进行了一番调研，寻找到了一些免费的SSL证书，并将相关安装使用方法记录在此。
前提条件 去 https://freessl.cn/ 网站注册，并验证好域名，这里假设的域名为 xh.yhz.me。 网站对应的服务器、负载均衡或代理需要对外开放 443 端口。 安装证书 安装 acme.sh 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 root@host-1:/data/https# git clone https://gitee.com/neilpang/acme.sh.git Cloning into 'acme.sh'... remote: Enumerating objects: 15596, done. remote: Total 15596 (delta 0), reused 0 (delta 0), pack-reused 15596 Receiving objects: 100% (15596/15596), 4.85 MiB | 4.21 MiB/s, done. Resolving deltas: 100% (9732/9732), done. root@host-1:/data/https# cd acme.
前言 坦白说，可能有些难以置信，我花了将近半个月的时间专注于前端开发。我的主要技术栈包括 TypeScript、Vue3、Element-Plus 和 ECharts，用这一套技术搭建了一个数据展示后台。ECharts提供的图表实在是太引人注目了，几乎可以满足所有常见的数据展示场景。本文旨在记录我是如何将 ECharts 与 Vue3 结合部署和简单使用的。
安装 pnpm install echarts vue-echarts 代码编写 初始化组件 在 src 目录创建个 common 目录用于存放一些共用的库，然后新建 echarts.ts 文件，代码如下：
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 import * as echarts from "echarts/core"; import { BarChart, LineChart } from "echarts/charts"; import { TitleComponent, TooltipComponent, GridComponent, DatasetComponent, TransformComponent, ToolboxComponent, LegendComponent, MarkLineComponent, MarkPointComponent, VisualMapComponent, DataZoomComponent } from "echarts/components"; import { LabelLayout, UniversalTransition } from "echarts/features"; import { CanvasRenderer } from "echarts/renderers"; echarts.
前言 在软件开发过程中，有时为了便于测试和开发，需要在本地安装一个 Hive 环境。本文档详细记录了我在本机环境下安装 Hive 3.1.3 的过程，以供后续参考和与他人分享。需要特别强调的是，此安装过程不适用于高可用性的生产环境。
环境准备 Hadoop 环境，可以参考: macOS M1 安装 Hadoop 环境 MySQL数据库，请自行安装，用于存储 metastore 的信息。 下载 & 部署 官网 https://hive.apache.org/
下载地址 https://dlcdn.apache.org/hive/hive-3.1.3/apache-hive-3.1.3-bin.tar.gz
下载 1 $ wget https://dlcdn.apache.org/hive/hive-3.1.3/apache-hive-3.1.3-bin.tar.gz 解压 1 2 3 $ sudo tar xzvf ~/Downloads/apache-hive-3.1.3-bin.tar.gz -C /opt/ $ sudo chown -R yhz:admin /opt/apache-hive-3.1.3-bin 调整环境变量 1 2 3 4 5 6 $ vim ~/.zshrc export HIVE_HOME=/opt/apache-hive-3.1.3-bin export PATH=$HIVE_HOME/bin:$PATH $ source ~/.zshrc 创建目录 1 2 3 4 $ hdfs dfs -mkdir -p /user/hive/warehouse $ hdfs dfs -chmod g+w /user/hive/warehouse $ hdfs dfs -mkdir -p /tmp/hive $ hdfs dfs -chmod 777 /tmp/hive 创建数据库 1 2 3 4 5 6 -- 自行在MySQL创建好 metastore 的数据库及用户名和密码 -- Host：127.
