Windows通过Rust使用DuckDB碰到的问题
Windows通过Rust使用DuckDB碰到的问题
DuckDB的一些问题只在windows上有, macOS和Linux上没有, 所以记录一下
报错: error: linking with link.exe failed: exit code: 1120
具体报错如下:
1234567891011error: linking with `link.exe` failed: exit code: 1120 | = note: "D:\\cpptools\\VC\\Tools\\MSVC\\14.44.35207\\bin\\HostX64\\x64\\link.exe" "/NOLOGO" "C:\\Users\\levit\\AppData\\Local\\Temp\\rustcjagjai\\symbols.o" "<72 object files omitted>" "D:\\RustProject\\swan-lake\\Playground\\duckdb-eval\ ...
Iceberg快速入门
Iceberg
为什么需要Iceberg/为什么需要Lakehouse
数据湖的最主要目的是为了解决Hive速度慢的问题, 利用表格式和索引实现细粒度的数据过滤. 数据湖可以将整个链路变为分钟级, 从离线链路转化为近实时链路并且提升查询速度. 当然, 数据湖还解决了一些其他问题, 如ACID, Schema Evolution, Partition Evolution, Time Travel等.
文件布局
具体查询流程就是从Catalog -> Table Metadata File -> Snapshot -> Manifest List -> Manifest File -> Data File. 如图所示
Catalog
Catalog 本质就是一个维护表元数据文件的目录(个人理解), 有多种实现方式:
HiveCatalog
Hive Metastore
表属性中key值为metadata_location的键值对
HadoopCatalog
文件系统
version-hint.text
JDBC Catalog
关系型数据库 ...
2025五六月生活记录
f33a6d5ec2003e353696027d8241bf513ca6f8cde9767d20028f3d9c2c0b7b5206646e5401a9f0abe3506ca31da6f942e4594c7544209382d91eb06eb4db8979240e72a0214c1d2b2b9b69c1729b8b68eebb36c4aa66c0f403fc702361aadde4cfccdaa8505dc94ee47827af1fd31d2a8cef6749b3c3b6edad385b807bf8c9aec310bc5133a24c1d77bf616762f45b15d01ce941ef5c43218b6c6ebff95828f272f386038ce9d368113c835c4a8a49c54626a4bad7634ce7f3ee1c431e226750b898a2931bba07bc7b1f22d6b1fbed38c8551384d3534ceac1fbd0439aac4ebdd55e20d48d65e1db151a33ca7b4aa078cd783bf413318bf72 ...
2025三四月生活记录
f33a6d5ec2003e353696027d8241bf513ca6f8cde9767d20028f3d9c2c0b7b5206646e5401a9f0abe3506ca31da6f942e4594c7544209382d91eb06eb4db8979240e72a0214c1d2b2b9b69c1729b8b68eebb36c4aa66c0f403fc702361aadde4cfccdaa8505dc94ee47827af1fd31d2a8cef6749b3c3b6edad385b807bf8c9aec310bc5133a24c1d77bf616762f45b15d01ce941ef5c43218b6c6ebff95828f272f386038ce9d368113c835c4a8a49c54626a4bad7634ce7f3ee1c431e226750b898a2931bba07bc7b1f22d6b1fbed38c8551384d3534ceac1fbd0439aac4ebdd55e20d48d65e1db151a33ca7b4aa078cd783bf413318bf72 ...
DolphinScheduler配置Seatunnel同步任务出错(从MySQL同步数据到Doris)
DolphinScheduler配置Seatunnel同步任务出错(从MySQL同步数据到Doris)
DolphinSScheduler版本3.2.0, Seatunnel版本2.3.4
错误日志
定义好工作流后, 上线运行报错, 关键日志入下:
12345678910111213141516171819202122[INFO] 2025-02-16 13:02:00.427 -0800 - tenantCode :root, task dir:/tmp/dolphinscheduler/exec/process/root/16670700117984/16677825236448_2/2/3[INFO] 2025-02-16 13:02:00.429 -0800 - generate script file:/tmp/dolphinscheduler/exec/process/root/16670700117984/16677825236448_2/2/3/seatunnel_2_3.conf[INFO] 2025-02-16 13:02:00.433 -0800 - SeaTun ...
安装Superst报错 Failed building wheel for python-geohash&Command errored out with exit status 1
安装Superst报错 Failed building wheel for python-geohash&Command errored out with exit status 1
具体报错如下图所示:
前置操作
123456789101112conda --version#conda 23.5.2#创建虚拟环境conda create -n superset python=3.6#激活conda activate superset#安装依赖pip install sqlalchemy==1.3.24 pip install dataclasses==0.8 pip install --upgrade cryptography==3.2#安装Supersetpip install apache-superset
分析与解决办法
看到报错判断出编译环境出了问题, 然后想到使用anaconda作为环境安装应该不会出现错误才对, 出于谨慎先检查gcc
12rpm -q gcc#gcc-8.5.0-3.el8.x86_64
gcc存在, 应该不是它的问题, 经过搜索发现可能是缺少 ...