Go to file
zhangweiii 1b68c83902 refactor: .devops/api.yml 2024-02-29 10:21:55 +08:00
.devops refactor: .devops/api.yml 2024-02-29 10:21:55 +08:00
api fix:增加VmInfoList 2024-01-05 11:19:08 +08:00
deploy cloud app删除接口实现 2024-01-03 11:43:36 +08:00
docs/images Update README.md 2023-08-16 11:17:05 +08:00
examples zw 2023-11-29 19:09:33 +08:00
pkg Merge pull request 'Refactor scheduler structure' (#2) from tzwang/pcm-coordinator:scheduler_restruct into master 2024-01-11 16:15:37 +08:00
rpc fix:增加VmInfoList 2024-01-05 11:46:34 +08:00
.gitignore 代码目录调整 2023-09-25 15:00:58 +08:00
LICENSE update License to MulanV2 2023-11-12 20:15:32 +08:00
Makefile feat: 增加pcm-ceph容器话配置文件 2023-04-26 14:51:20 +08:00
README.md Update README.md 2023-09-06 19:12:13 +08:00
go.mod 移除 2023-12-27 15:00:53 +08:00
go.sum 移除 2023-12-27 15:00:53 +08:00

README.md

PCM jointcloud云际团队正式发布PCM对等协作框架框架包含了kubernan核心组件源代码、8个participant协作者组件仓库以及PCM中定义的超算、智算、数算资源操作及信息收集规格。

什么是Jointcloud和PCM

  云际协作环境 (JointCloud cooperation environment, JCCE), JCCE 包括分布云交易、分布云社区、分布云监管以及基于区块链的分布记账系统, JCCE 中与信息交换尤其是价值交换相关的支撑技术, 利于打破云际协作参与方之间的信息不对称, 为参与各方创造多赢机会, 实现对云际计算商业模式创新的强有力支撑。   对等协作机制(peer cooperation mechanism, PCM)的愿景是在云际环境中构建一套所有服务提供方和需求方能够自主参与协作实现对等交易以非侵入的方式实现各利益主体间便捷高效的连接和调用并在构建云际生态的同时形成行业标准吸引更多云际服务商加入贡献。PCM站在云上视角叠加于云之上关注云之间协作多于云自身。   对等协作机制建立在一个标准的软件定义框架之上按照这个标准框架拥有物理云资源的云服务提供者可以自主定义PCM规则框架其他遵循该规则框架的实体云即可参与协作交易并进而面向领域应用定制虚拟专用云满足各类云际参与者如中心侧、边缘侧和终端侧等异构基础设施资源直接自主参与协作和交易的需求。

PCM力求解决的现实问题

  • 效能提升:   云际开发者加入PCM框架后可以通过描述性语言生成框架内部功能结构的代码和大部分规格定义专注于业务逻辑开发无需关心底层管理功能。框架提供微服务管理、多语言代码生成和模型桥接功能可降低编码工作量和入门难度提高能效。

  • 解决平台锁定问题:   对等协作机制通过多云适配、标准化接口和抽象层等手段,有效解决平台锁定问题,实现跨平台运行、部署和交互。标准化接口简化开发人员工作,降低平台锁定风险。

  • 降低代码开发难度:   对等协作开发框架降低了开发难度提供了结构化开发模式、现成组件和文档支持不同级别开发人员能更公平地协同工作。框架可节省约50%的开发时间初级程序员用约15人天完成原需1人月的任务。自动生成工具、代码模板和组件复用等功能让开发者更专注于业务逻辑实现。无需再培训高级开发人员可节省时间和人力资源成本提高投入产出比。

  • 减少代码开发工作量:   PCM框架提供自动化功能和代码生成工具减少手动编写代码提高开发速度和代码质量。使用框架的自动生成工具后整体代码量超过一半由工具生成低代码率达到约63%。开发者主要工作是编写描述语言文件生成基础结构,然后调整和编写逻辑功能的开发。这使团队能更快速敏捷地交付产品并进行业务优化和用户反馈迭代。

设计架构

Kubernan是框架的核心组件实现了对不同Participant端技术栈的异构屏蔽。框架面向用户侧主要分为资源变更任务提交和集约展示两大功能。在任务提交后PCM通过架设在云算云、智算云、超算云之上的调度中心来实现任务的动态流转。在集约展示部分PCM主要通过Tracker以及P端主动上报的方式对多个Participant服务的资源、任务等信息进行收集和汇聚向用户提供标准化的统一接口。用户可以在前端页面上查看PCM提供的信息也可以通过接口直接获取数据。 PCM架构

服务部署

  PCM的开发环境需要安装golang 1.18以上版本参考下文内容将会在本地启动kubernan的相关服务。   拉取项目的命令如下    git clone https://gitlink.org.cn/jcce-pcm/pcm-coordinator.git

nacos

  配置管理采用nacos用户需要在本地或服务器上安装部署nacos服务对应教程可以参考nacos安装nacos中添加对应服务的配置文件具体配置内容参考下文。

kubernan-rpc

  rpc服务的配置内容模板如下

Name: pcm.core.rpc
ListenOn: 0.0.0.0:2004

DB:
  DataSource: username:password@(x.x.x.x:3306)/pcm?parseTime=true
  
SnowflakeConf:
  MachineId: 1

  运行以下命令后将会在本地启动kubernan-rpc服务其具体功能可参考上文架构设计中的描述。

# get required packages
go mod tidy

# run rpc service
go run pcm-coordinator/rpc/pcmcore.go

kubernan-api

  api服务的配置内容模板如下其中各P端的config信息可以根据实际情况按需配置。

Name: pcm.core.api
Host: 0.0.0.0
Port: 8999

DB:
  DataSource: username:password@(x.x.x.x:3306)/pcm?parseTime=true
  
Redis:
  Host: x.x.x.x:portnumber
  Pass: password


# k8s rpc
K8sNativeConf:
  Endpoints:
    - 127.0.0.1:2003
  NonBlock: true

#slurm rpc
THRpcConf:
  Endpoints:
    - 127.0.0.1:2007
NonBlock: true

#modelarts rpc
ModelArtsRpcConf:
  Endpoints:
    - 127.0.0.1:2002
NonBlock: true

  运行以下命令后将会在本地启动kubernan-api服务服务启动后用户将可以通过http请求其接口进行各类功能调用。

# get required packages
go mod tidy

# run rpc service
go run pcm-coordinator/api/pcm.go

接下来的计划

  • 调度算法的插件化以及基础资源模板的定义
  • 资源操作类型的基础定义
  • 快捷的开发模式
  • 一级调度的实现

加入&贡献

  我们期待您的意见和贡献,欢迎所有的朋友对项目进行指正和改进,共同打造一套高效稳定的云际协作机制。