HPC 教程 – 俄克拉荷马大学
关于使用俄克拉荷马大学高性能计算 (HPC) 资源的结构化分步教程系列,重点介绍 OSCER 和 DISC。
OU HPC 集群工作流设置(概述)
HPC 教程 2024 · 俄克拉荷马大学 · 作者:Hongyu
在 OU HPC 系统上工作的端到端概述,专为首次使用的用户和过渡到集群计算的研究人员设计。
包含简明的快速入门清单,可立即使用。
HPC 的 Linux 命令行基础(第 0 部分)
HPC 教程 2024 · OU OSCER & DISC
在共享 HPC 环境中有效工作所需的核心 Linux 命令行技能。
重点关注导航、文件操作、权限和进程感知。
访问 OSCER 和 DISC 资源(第 1 部分)
HPC 教程 2024 · 俄克拉荷马大学
申请 OU HPC 和 GPU 访问权限的实用指南。
涵盖帐户设置、审批流程和基于 SSH 的登录测试。
HPC 环境配置(第 2 部分)
HPC 教程 2024 · OU OSCER & DISC
配置可复现且高效的 HPC 工作环境的指南。
主题包括 .bashrc、别名、环境模块、Slurm 基础、Conda、CUDA 和 SeisBench。
OU HPC 系统上的数据管理(第 3 部分)
HPC 教程 2024 · OU OSCER
在共享 HPC 文件系统上组织、传输和存储数据的最佳实践。
涵盖 SCP、SFTP、存储位置、配额和常见陷阱。
Slurm 作业提交与监控(第 4 部分)
HPC 教程 2024 · 俄克拉荷马大学
使用 Slurm 工作负载管理器运行、监控和故障排除作业的实践指南。
关键命令:sbatch、squeue、
sacct、sstat。
SeisBench 教程
使用 SeisBench 加载、检查和可视化地震数据集以进行基于机器学习的地震学的实践教程。
加载 SeisBench 数据与数据集统计可视化
SeisBench 教程 2025 · 作者:Hongyu
加载 SeisBench 数据集并执行基本数据集检查的实用演练。
演示如何使用条形图可视化数据集组成,以总结标签和类别分布。
快速入门工作流:加载数据集,检查标签,并生成显示每个类别样本计数的条形图。
研究代码发布
用于地震数据分析、深度学习和地球物理研究的开源科学软件项目。
包含合成地震图的 SeisBench
开源代码发布 · PyTorch · SeisBench · 作者:Hongyu
项目概述
一个使用 PyTorch、SeisBench 和合成训练数据的地震震相拾取综合深度学习框架。 该管道提供了端到端工具,用于使用神经网络从三分量地震图中检测和拾取地震震相到达(P 波和 S 波)。
主要功能
- 合成数据生成: 创建具有可配置参数的逼真三分量合成地震图,用于训练数据集
- 数据预处理: 标准化转换为 SeisBench 格式,以实现可互操作的工作流和可复现的结果
- 深度学习模型: 训练 PhaseNet 和其他神经网络架构以进行自动震相拾取
- 模型评估: 用于预测分析和性能指标的综合评估工具集
- 可视化工具: 用于地震图检查、模型输出和结果分析的高级绘图实用程序
技术栈
Python · PyTorch · SeisBench · NumPy · Matplotlib · ObsPy
仓库与文档
在 GitHub 上查看:seisbench_with_synthetic_seismogram →
克隆:
git clone git@github.com:Hy-X/seisbench_with_synthetic_seismogram.git
入门指南
pip install seisbench torch
访问 GitHub README 获取详细的安装和使用说明。 查看我们的 SeisBench 教程 → 获取数据加载和可视化示例。
用例
- 使用合成地震数据训练震相拾取模型
- 对地震信号检测的深度学习架构进行基准测试
- 自动地震事件检测和定位研究
- 地球物理学机器学习的教育资源
Oklad 标注工作流
开源代码发布 · Python 3.7+ · 标注工具 · 作者:Hongyu
项目概述
使用 Oklad 模型进行标注任务的综合工作流。 该仓库提供了用于自动标注处理的优化、独立脚本和工具,实现了高效且可扩展的数据标注管道。
主要功能
- Oklad 模型集成: 利用 Oklad 模型进行高质量的自动标注处理和语义理解
- 模块化脚本架构: 独立、可重用的脚本,可以单独运行或链接在一起以实现灵活的工作流
- 批处理: 高效处理大规模标注任务,针对生产环境进行了优化
- 数据预处理: 内置工具,用于在标注前进行数据验证、清理和格式化
- 结果导出: 多种输出格式,可与下游分析工具无缝集成
技术栈
Python 3.7+ · Seisbench · NumPy · Pandas · JSON/YAML
仓库与文档
在 GitHub 上查看:oklad_annotate_workflow →
克隆:
git clone git@github.com:Hy-X/oklad_annotate_workflow.git
入门指南
需要 Python 3.7 或更高版本。克隆仓库并按照 README 中的设置说明进行操作。
访问 GitHub README 获取详细的安装和使用说明,包括示例工作流和配置选项。
用例
- 研究数据集的自动大规模标注
- 语义分析和文本/数据标注管道
- 生产环境中标注任务的批处理
- 集成到机器学习项目的数据预处理工作流中
Python
在 pandas 中读取 CSV 文件并制作散点图
如何将 CSV 文件读取到 pandas 中?这是一个如何加载 CSV 文件并制作散点图的示例。示例包括简单散点图、带有对称误差棒的散点图、带有非对称误差棒的散点图以及 plotly 散点图。
设置 Anaconda/jupyter notebook/模块
如何设置 Anaconda 环境以在地球科学中使用 python?这是使用它之前的一切开始。这篇文章展示了安装 Anaconda、Jupyter notebook、Pandas 和其他有用模块的说明。
Jupyter Notebook简介和使用入门
什么是Jupyter notebook? 为什么要使用Jupyter Notebook?
如何安装Jupyter Notebook,入门的的安装和调试是怎样的?为什么大家喜欢使用这个平台进行调试?
Numpy 简介和使用入门
什么是Numpy? 为什么要使用Numpy?
如何安装Numpy ,入门是怎样的? 有什么基本的使用方法?
