给出几个样例,生成可检查、可重用的数据转换程序。
v0.15 增加从多批示例学习“连接 → 筛选 → 汇总”:例如仅汇总已支付订单,并排除待支付和取消记录。可在多表学习工作台运行完整案例,保存规则后重放。筛选学习限于已观察的小规模枚举值及相等/不等条件;搜索限额和未覆盖范围会报告。实现、来源和SQL对照
v0.14 增加有界多表连接任务学习:从1–4批两张输入表及期望输出推导一或两个相等连接键、连接类型和一步选列/汇总/排序;所有候选重放全部训练。运行多表学习工作台,或用CLI保存任务,再对新批次验证。多种程序可能符合示例,不保证自动选中的程序对未知数据正确。范围、案例和局限
针对转置与定长打包的歧义,使用者可在表格工作台或 CLI 明确指定整表转置;系统仍校验全部训练样例。公开 Auto-Tables 转置任务的单类别补充实验及其不足见实验报告,指定意图的结果不得当作全自动成绩。
v0.13.1 修正文档中遗留的旧能力与旧测试数字,澄清双精度数值边界,运行核心与 v0.13.0 相同。
v0.13 经过五轮实现与只读审查,新增多键连接、按列名合表、精确十进制聚合、多批小数规则学习、确认式执行及可保存多源任务。三个完整案例支持API、CLI和浏览器保存重放。多表任务工作台 · 五轮修正、语义及验证
v0.13 的原始Foofah自动首候选为198/225、候选事后上界211/225,未宣称100%;当时的多表规则需要明确声明。v0.14 增加的多表学习范围仍有限,详见上文。
v0.12 新增显式多布局归一化、有限补样输入建议及结构候选多样性。布局规则由使用者声明,规范化后再从样例学习下游程序;三种完整场景覆盖名单组合、库存汇总和读数筛选排序。原始 Foofah 自动首候选仍为198/225,事后候选上界211/225;13道歧义题在另行指定意图并增加19对构造示例的辅助诊断中通过13道,不能与自动成绩相加。本轮能力与27题分析 · 显式布局与补样协议
v0.11 完成五轮维护:整批展平、空值状态字段分发、明确意图约束、可选字段补空拆列,以及显式重复字段列表。完整Foofah默认首候选198/225,比v0.10新增2题、无原成功题回退;仍有27题未通过。数据已参与开发,不是盲测。五轮记录 · 同类调研 · 原生API迁移
v0.7 增加从样例学习的多字段稳定排序,支持 Unicode 文本序和精确十进制数值序,可与宽表展开等操作组合。执行支持八个排序键,学习至多三个键;相同键保留原始顺序,数值排序保留前导零和小数原文。在表格工作台选择「多字段金额排序」「商品目录排序」「读数展开与排序」可运行完整流程。覆盖差异与借鉴范围 · 排序协议和边界
在线工作台 · Mooncakes · CI 与运行证据 · 版本下载
ExampleLoom 是使用 MoonBit 实现的程序合成引擎、独立浏览器工作台和 CLI。使用者可以整理编号、名单和按地区汇总的记录。导入 CSV/JSONL,标注输入输出样例,比较候选程序的不同解释,明确选择后保存配方并用于下一批数据。浏览器 Worker 在本机执行合成和转换。
v0.10 增加扩展正则原子组和占有量词;增加按首键切分的重复键值记录转换,以及显式保留新增输入列的管道选项。三轮对照中 Foofah 首候选 196/225,仍有 29 道未通过;这些任务已用于开发,并非盲测。评估与限制 · 正则范围 · 协议
v0.9.1 调整 CI 浏览器依赖安装:GitHub Ubuntu 运行器优先使用预装 Chrome,缺少时限时安装 Playwright 浏览器;应用功能与 v0.9.0 相同。
v0.9 扩展有限长度后向断言、忽略大小写的反向引用和 \x{...};表格新增只更新选定列并保留后续结构变化的字段,还可学习变长记录及分组报表整理。在 225 道有答案的 Foofah 任务上,首候选由 179 提高到 195,仍有 30 道未通过;这些题已用于开发,不能当作独立盲测。范围与评估 · 正则边界
v0.8 补强初审指出的正则范围:显式 (?rx) 方言支持前向断言、固定宽度后向断言、命名捕获与替换、反向引用、Unicode 类别及标志,并可用于已有条件和表格管道。新增真实 Worker 示例「扩展正则学习」。底层采用并修改 Apache-2.0 的 MoonBit 正则实现,保留来源;原有配方保持兼容。能力、借鉴与限制
v0.5 可以从混用两种格式的编号学出条件分支,从样例推导捕获组的重排和重复,并把它们用于结构管道。表格工作台和 CLI 都接受 1–8 对训练表。打开「混合编号展开」,选第一条候选,再在下一批数据上预览,可见 ZZ9530 生成 IN/9530,两个标签展开为两行。打开「地区订单汇总」可试同一管道里的分组计数与有符号整数求和。表格工作台
在公开 IANA 时区数据上,前两批共 30 行用于演示,另外 282 行作为新输入。学得的管道先拆分地区代码,再按地区计数。导出的 236 行与 SQLite 对照逐格、逐行序一致。可复现验证 · 外部任务的成功率与耗时 · 与 PROSE、Foofah 的功能对比
v0.6 新增从样例学习的指定分隔词替换、可选后缀,以及拆分转长表、记录打包后选列和键值记录还原网格。完整字段的快速搜索与全语法搜索共享原有步数预算。工作台的「字段缩写与后缀」「键值记录还原网格」提供完整训练和新批次流程。当前成绩、未通过任务及评测口径见基准报告。
v0.6.1 在现有表格工作台补齐交互消歧。选择「候选歧义与补样」,先搜索,再比较下一批结果:同一个训练样例可产生不同表格或执行错误。点击补充训练只复制输入,期望输出由使用者填写;重新学习后,可在第三批数据上重放。该过程不自动选择答案,也不改变原有搜索排名。初审核验事实 · 来源与借鉴范围
要求 MoonBit(验证版本 moonc 0.10.17+093cb8f9c、moon 0.1.20261021),工作台/CLI 另需 Node.js ≥20。没有 npm 运行时依赖。
moon check --deny-warn
moon test --deny-warn
moon run cmd/demo
node scripts/build.mjs
node scripts/serve.mjs新增排序验证:python scripts/generate-sort-oracle.py 后执行 node scripts/sorting-test.mjs,对照 Python Decimal 与稳定排序的 128 组构造任务,并逐格核对三个学习与新批次流程。
打开 http://127.0.0.1:4173,点击“供应商编码”“活动名单”或“素材目录”。两个样例已填好;点击生成候选,检查分歧,选用规则,再预览整批结果。切换示例输出字段可继续添加另一条规则。
点击“看看歧义”可重现:订单-0012 → 0012、订单-0081 → 0081 同时支持“末尾四位”和“最后一个连字符后的完整编号”。订单-123456 能区分它们。补充该行正确输出再搜索。此交互是已有 PBE 技术的应用,不是算法首创声明。
- MoonBit 原生有限表达式解释器、输出引导的程序搜索、稳定候选排名。
- 多输入列、多个独立输出字段;字段、常量、分隔词、ASCII 连续段、Unicode 字符区间、trim、ASCII 大小写、拼接、五种显式公历日期格式。
- 实际输入行上的候选分歧(包含失败预测),提示补充有区分力的样例。
- 版本化 JSON 配方;按列名绑定新数据,列顺序变化不影响已保存规则。
- 严格 CSV/JSONL 导入;保留前导零;批处理按行报告错误;失败时停止 CSV 导出。
- 独立中文工作台:文件导入、样例编辑、多字段配方、预览、下载、Worker 取消、手机布局。运行期间无外部数据请求。
- CLI 和公开 Mooncakes 库接口。实际验证与限制见 VALIDATION.md。
- v0.2:样例排序/去重,标点分隔符推断及可配置文字分隔符;Token 后截取、组合 trim/case;共享输出位置的搜索转移缓存。编辑样例会使旧规则失效并阻止旧结果导出。
- v0.3:条件分支学习、MoonBit 正则捕获/替换与布尔谓词;17 类表格操作及结构程序搜索;新增表格结构工作台、CLI 管道和完整 Foofah 外部任务评估。支持范围与成熟系统差距见 功能对比。
- 条件/正则基础保持兼容;新增从共同字面上下文推断 ASCII 捕获模式、固定分隔符归一化,不要求所有提取任务都手填正则。
- 结构搜索改为带预算的最佳优先搜索和成本排名;补充多步组合见证、行学习缓存、32 条样本之外的全量训练验证。排名不是准确率。
- 新增动态网格透视、命名列合并、变长记录分段、表头上下文传播,共 21 类算子;多对训练表可有不同输出维度,以更多样例区分转置和定长记录打包。
- 在结构工作台新增“动态测量透视”“表头上下文展开”“标签单元格还原”三个完整新批次流程。
- 完整保留 250 个外部任务,发现并单列 25 个缺测试答案的任务;同一口径对照不可变 v0.3.0 引擎。结果与速度取舍见 基准报告。另以 pandas 参考实现验证 36 个构造任务;这不是外部盲测。
逐行工作台展开“条件与正则搜索”,可运行条件供应商编码、带上下文的 ref 捕获示例。条件学习至少需要分支两侧各两个样例;正则提示采用 MoonBit core 的 lexmatch 语法,如 ref=([[:digit:]]+)。不是自动发明任意正则表达式。
结构工作台输入训练表和期望输出表,搜索后明确选择一条管道,再对下一批表预览、下载。它真实改变表的行列结构,支持宽长表、连续行打包、分组、重排、拆列、展开、筛选等。重复透视单元格、不完整打包和不规则拆列报错,不静默丢弃记录。
node scripts/build.mjs
node scripts/advanced-test.mjs
python scripts/import-foofah.py
node scripts/benchmark.mjs
node scripts/serve.mjs本地打开 http://127.0.0.1:4173/structure.html。结构场景的数据、下一批输入与预期输出位于 examples/structures/。动态透视允许下一批新增类别;带标签单元格会自动组合 Fold、拆列与透视。条件与正则场景分别在 examples/conditional/、examples/regex/。以上演示是构造数据;外部评估使用上游原有任务,完整成功、失败和限额记录见 BENCHMARKS.md。
结构 CLI 在 learn-table --data input.csv --target target.csv --out report.json 后,使用 pipeline --report report.json --choose 0 --out pipeline.json 明确选择,再执行 transform --data next.csv --pipeline pipeline.json --out result.csv;命令均以 node bin/exampleloom.mjs 开头。逐行 learn 可选 --patterns patterns.json 和 --depth 0..3。
| 使用者与问题 | 输入与操作 | 输出与验证 |
|---|---|---|
| 小商家/运营整理供应商复合编码 | examples/products/input.csv;提供两个型号/颜色样例,分别选择规则 |
型号 0012、123456 等保留前导零,颜色转大写;另外两行不参与训练,逐值检查 |
| 活动组织者生成名单标签 | examples/labels/input.csv;用姓名、班级示范 A1 / 陈雨,另外复制编号字段 |
新行生成 C20 / 赵晨,编号不变;测试重排列后重用配方仍一致 |
| 内容创作者整理音视频文件 | examples/media/input.csv;标注两个日期和 take 编号 |
未见的 20240229 正确变为 2024-02-29;invalid.csv 中 20260229 报错并停止 CSV 导出 |
这些是构造的演示数据,并非已获客户采用的证明。可复现实验:
node scripts/integration.mjs它验证三个场景与额外歧义演示、留出行、配方往返、列名重绑定、CLI 全流程、150 组 CSV 往返,以及 10000 行批处理,并写入 artifacts/integration-results.json。
工作台另提供三个公开数据入口,全部记录均纳入验证,不只展示几条成功数据:
| 数据与使用者 | 操作与结果 | 验证范围 |
|---|---|---|
| IANA tzdb 2025b:应用设置页开发者 | 312 个时区标识,示范区域、末级地点,生成可按区域查询的目录 | 3 个字段,每字段 3 条训练,其余 309 条逐值验证 |
| Unicode CLDR 48:国际化开发者 | 766 个 locale,生成语言分组、资源路径和原始标识 | 3 个字段,每字段 3 条训练,其余 763 条逐值验证 |
| github/gitignore:IDE 模板目录开发者 | 312 个多层路径,生成文件名、去扩展名的模板名称和原路径 | 模板名称先有 3 条训练,按分歧提示补 C 和 C++ 两条;其余 307 条验证 |
python scripts/import-public-data.py
node scripts/public-data-test.mjs
python scripts/verify-sqlite.py前一命令离线校验来源 SHA-256 并生成 CSV/任务;第二条实际学习、保存/重载配方和导出;第三条用 Python CSV 解析器与 SQLite 独立接收导出并查询。产物在 artifacts/public-data/,含可打开的 catalogs.sqlite3。来源与许可证见 公开数据说明。
这是公开记录上的项目自定任务,参与过开发,不是盲测、客户试用或生产准确率证明。初始 3 条纯字母模板样例曾导致 25 条错误;两次交互修正后留出字段值 4,141 / 4,141 通过。不要忽略分歧检查或把第一候选当作已知正确规则。
node bin/exampleloom.mjs learn --data examples/products/input.csv --examples examples/products/model-labels.json --out candidates.json
node bin/exampleloom.mjs recipe --report candidates.json --choose 0 --name model --out product.recipe.json
node bin/exampleloom.mjs apply --data examples/products/input.csv --recipe product.recipe.json --out product.result.csv候选编号从 0 开始,选择需要显式 --choose。检查报告中的其他候选与分歧后再选择;排名不表示正确率。标签文件为 [{"row":0,"output":"0012"}, ...],行号不计表头。JSONL 可加 --format jsonl。run request.json 支持完整 JSON 协议。
可选 --separators separators.json(内容例如 ["来自"])补充文字分隔符;最多 16 个,每个 1–16 字符。标点分隔符从全部样例自动观察。
安装发布模块后在 moon.pkg 中导入 "zhangbowen2006/exampleloom" @loom。完整可运行调用见 cmd/demo/main.mbt。
let report = @loom.synthesize([
{ input: ["订单-0012"], output: "0012" },
{ input: ["订单-123456"], output: "123456" },
])
// 先检查 report.truncated、候选表达式和 disagreements,再选择。
let output = @loom.evaluate(report.candidates[0].expression, ["订单-00987"])API 通过 LoomError 报告普通输入错误;调用者需要处理异常和空候选数组。attempt 返回值形式的错误。pkg.generated.mbti 是生成的公开接口。
ExampleLoom 的学习范围由内置语法和搜索预算共同决定。 数值分组支持计数、Int64 求和/极值及精确普通十进制求和/极值。多表连接可显式配置,也可在有限搜索范围内从示例推导一或两个相等键及选列/汇总/排序,或有限相等值筛选后汇总;按列名合表仍需显式配置;任意数值计算、循环和自由脚本仍不支持。原基础正则方言与显式 (?rx) 扩展方言并存,后者支持有界前后向断言、反向引用等已列明能力,不代表完整 PCRE 兼容。见 当前学习范围及限额、正则范围。未见数据应另行验证,truncated=true 表示搜索被剪枝。
默认最多 32 个样例、16 输入列、每个样例字段 128 字符、64 候选、6 个拼接片段。整表最多 20000 行、64 列;歧义检查最多前 5000 行。ASCII 词类与大小写有明确限制;日期必须指定格式,不能猜月日。全部预算、状态含义及算法见 ARCHITECTURE.md。
结构学习默认最多 4 步、128 状态、2000 次结构尝试;训练最多 8 对表、每对 128 输入行/512 输出行、16 输入列/32 输出列。执行管道最多 16 步、20 万单元格;未声明的透视类别会报错。更复杂表格仍可能超出语法、搜索或部署边界,不能把“通用数据转换引擎”理解为全面覆盖 PROSE/Foofah。
moon fmt --check
moon check --deny-warn --target all
moon test --deny-warn --target wasm-gc
moon test --deny-warn --target js
moon test --deny-warn --target wasm
moon info原生后端另需 C 编译器;Windows 需要 MSVC C++ 工具与 SDK。CI 在 Linux 同时测试 native。可选浏览器回归:安装 Playwright 1.62.1 和 Chromium,启动本地服务后运行 node scripts/browser-test.mjs、node scripts/advanced-browser-test.mjs、node scripts/browser-recovery-test.mjs;它们生成桌面/手机截图和 JSON 证据。也支持通过 PLAYWRIGHT_MODULE / BROWSER_EXECUTABLE 指定已安装环境。
项目主体按 MIT 开源;包管理依赖为工具链 moonbitlang/core(Apache-2.0)。另附采用并修改的 Apache-2.0 正则源码,保留 NOTICE 和原许可证;不能将该部分称为原创 MIT 代码。浏览器回归使用 Playwright(Apache-2.0,开发期依赖);可选差分验证使用 pandas 3.1.0(BSD-3-Clause,仅验证环境)。交付的静态 JS 包含编译的 core 代码,分发其许可证与版权声明。
v0.3 另外再分发 Foofah 主仓库 MIT 许可下的全部 250 个 tests/data/exp0_*.txt 任务,仅作离线基准,不进入浏览器运行包;固定提交、文件哈希和完整许可见 fixtures/foofah。这不是 Foofah 源码移植,不继承其功能覆盖或性能结论。
该项目由维护者在 AI 辅助下从新目录实现,没有复制旧项目业务代码。算法思想参考既有 PBE 研究;明确对比 Flash Fill、PROSE、Foofah、MoonFrame 和 moon-databridge,见 调研与来源。不声称全球唯一,也不保证通过竞赛审核或获奖。
后续优先扩大独立验证数据与真实使用反馈、减少搜索截断、提升候选多样性。欢迎附上最小输入/输出样例、期望结果、工具链版本和复现步骤提交 issue;请移除私人数据。
