tenyun
Version:
Promise based and chained Tencent Cloud OpenAPI client for NodeJS
2,093 lines (1,982 loc) • 236 kB
TypeScript
/// <reference types="node" />
import { AxiosPromise, AxiosRequestConfig } from "axios";
/** 引擎的访问信息 */
declare interface AccessInfo {
/** 访问引擎的方法 */
AccessType?: string | null;
/** 访问引擎的url,内部的部分参数需要根据实际情况替换 */
AccessConnectionInfos?: string[] | null;
}
/** 洞察分析结果返回体 */
declare interface AnalysisTaskResults {
/** 任务Id */
Id?: string;
/** 任务创建时间,毫秒时间戳 */
InstanceStartTime?: number;
/** 任务结束时间,毫秒时间戳 */
InstanceCompleteTime?: number;
/** 任务状态:0 初始化, 1 执行中, 2 执行成功,3 数据写入中,4 排队中。-1 执行失败,-3 已取消。 */
State?: number;
/** 任务SQL语句 */
SQL?: string;
/** 计算资源名字 */
DataEngineName?: string;
/** 单位毫秒,引擎内执行耗时, 反映真正用于计算所需的耗时,即从 Spark 任务第一个 Task 开始执行到任务结束之间的耗时。具体的:会统计任务的每个 Spark Stage 第一个 Task 到最后一个 Task 完成时长之和,不包含任务开始的排队耗时(即剔除从任务提交到 Spark Task 开始执行之间的调度等其他耗时),也不包含任务执行过程中多个 Spark Stage 之间因 executor 资源不足而等待执行 Task 所消耗的时间。 */
JobTimeSum?: number;
/** 单位秒,累计 CPU* 秒 ( 累计 CPU * 时 = 累计 CPU* 秒/ 3600),统计参与计算所用 Spark Executor 每个 core 的 CPU 执行时长总和 */
TaskTimeSum?: number;
/** 数据扫描总行数 */
InputRecordsSum?: number;
/** 数据扫描总 bytes */
InputBytesSum?: number;
/** 输出总行数 */
OutputRecordsSum?: number;
/** 输出总 bytes */
OutputBytesSum?: number;
/** shuffle read 总 bytes */
ShuffleReadBytesSum?: number;
/** shuffle read 总行数 */
ShuffleReadRecordsSum?: number;
/** 洞察结果类型分类,一个 json 数组,有如下几种类型:SPARK-StageScheduleDelay(资源抢占), SPARK-ShuffleFailure(Shuffle异常), SPARK-SlowTask(慢task), SPARK-DataSkew(数据倾斜), SPARK-InsufficientResource(磁盘或内存不足) */
AnalysisStatus?: string;
/** 任务输出文件总数 */
OutputFilesNum?: number;
/** 任务输出小文件总数 */
OutputSmallFilesNum?: number;
}
/** 元数据基本对象 */
declare interface Asset {
/** 主键 */
Id?: number | null;
/** 名称 */
Name?: string | null;
/** 对象GUID值 */
Guid?: string | null;
/** 数据目录 */
Catalog?: string | null;
/** 描述信息 */
Description?: string;
/** 对象owner */
Owner?: string;
/** 对象owner账户 */
OwnerAccount?: string;
/** 权限 */
PermValues?: KVPair[];
/** 附加属性 */
Params?: KVPair[];
/** 附加业务属性 */
BizParams?: KVPair[];
/** 数据版本 */
DataVersion?: number;
/** 创建时间 */
CreateTime?: string;
/** 修改时间 */
ModifiedTime?: string;
/** 数据源主键 */
DatasourceId?: number;
}
/** spark session batch SQL的消耗信息 */
declare interface BatchSQLCostInfo {
/** 任务id */
BatchId?: string;
/** 引擎名称 */
DataEngineName?: string;
/** 引擎id */
DataEngineId?: string;
/** 本次消耗,单位cu */
Cost?: number;
/** 时间开销,秒 */
TimeCost?: number;
/** 操作者 */
Operator?: string;
}
/** SparkSQL批任务信息 */
declare interface BatchSqlTask {
/** SQL子任务唯一标识 */
TaskId?: string;
/** 运行SQL */
ExecuteSQL?: string;
/** 任务信息,成功则返回:Task Success!,失败则返回异常信息 */
Message?: string;
}
/** chdfs产品vpc信息 */
declare interface CHDFSProductVpcInfo {
/** vpc id */
VpcId?: string;
/** vpc名称 */
VpcName?: string;
/** vpc子网信息列表 */
VpcCidrBlock?: VpcCidrBlock[];
/** 规则Id */
RuleId?: number;
/** 权限组Id */
AccessGroupId?: string;
}
/** CSV类型数据格式 */
declare interface CSV {
/** 压缩格式,["Snappy", "Gzip", "None"选一]。 */
CodeCompress?: string;
/** CSV序列化及反序列化数据结构。 */
CSVSerde?: CSVSerde;
/** 标题行,默认为0。 */
HeadLines?: number | null;
/** 格式,默认值为CSV */
Format?: string | null;
}
/** CSV序列化及反序列化数据结构 */
declare interface CSVSerde {
/** CSV序列化转义符,默认为"\\",最长8个字符,如 Escape: "/\" */
Escape?: string;
/** CSV序列化字段域符,默认为"'",最长8个字符, 如 Quote: "\"" */
Quote?: string;
/** CSV序列化分隔符,默认为"\t",最长8个字符, 如 Separator: "\t" */
Separator?: string;
}
/** 数据表列信息。 */
declare interface Column {
/** 列名称,不区分大小写,最大支持25个字符。 */
Name: string;
/** string|tinyint|smallint|int|bigint|boolean|float|double|decimal|timestamp|date|binary|array|map|struct|uniontype */
Type: string;
/** 对该类的注释。 */
Comment?: string | null;
/** 表示整个 numeric 的长度 */
Precision?: number;
/** 表示小数部分的长度 */
Scale?: number;
/** 是否为null */
Nullable?: string;
/** 字段位置,小的在前 */
Position?: number;
/** 字段创建时间 */
CreateTime?: string;
/** 字段修改时间 */
ModifiedTime?: string;
/** 是否为分区字段 */
IsPartition?: boolean;
/** 数据脱敏策略信息 */
DataMaskStrategyInfo?: DataMaskStrategyInfo | null;
}
/** 任务公共指标 */
declare interface CommonMetrics {
/** 创建任务时长,单位:ms */
CreateTaskTime?: number | null;
/** 预处理总时长,单位:ms */
ProcessTime?: number | null;
/** 排队时长,单位:ms */
QueueTime?: number | null;
/** 执行时长,单位:ms */
ExecutionTime?: number | null;
/** 是否命中结果缓存 */
IsResultCacheHit?: boolean | null;
/** 匹配物化视图数据量 */
MatchedMVBytes?: number | null;
/** 匹配物化视图列表 */
MatchedMVs?: string | null;
/** 结果数据量,单位:byte */
AffectedBytes?: string | null;
/** 结果行数 */
AffectedRows?: number | null;
/** 扫描数据量,单位:byte */
ProcessedBytes?: number | null;
/** 扫描行数 */
ProcessedRows?: number | null;
}
/** cos权限描述 */
declare interface CosPermission {
/** cos路径 */
CosPath?: string | null;
/** 权限【"read","write"】 */
Permissions?: string[] | null;
}
/** 定时启停策略信息 */
declare interface CrontabResumeSuspendStrategy {
/** 定时拉起时间:如:周一&周三8点 */
ResumeTime?: string;
/** 定时挂起时间:如:周一&周三20点 */
SuspendTime?: string;
/** 挂起配置:0(默认):等待任务结束后挂起、1:强制挂起 */
SuspendStrategy?: number;
}
/** 自定义参数 */
declare interface CustomConfig {
/** 自定义参数名 */
ConfigKey?: string;
/** 自定义参数值 */
ConfigValue?: string;
}
/** DLC 数据目录访问权限 */
declare interface DLCCatalogAccess {
/** VPCID */
VpcId: string;
/** 产品类型 */
Product: string;
/** 描述信息 */
Description?: string;
/** 创建时间 */
CreateTime?: string;
}
/** 迁移列对象 */
declare interface DMSColumn {
/** 名称 */
Name?: string | null;
/** 描述 */
Description?: string | null;
/** 类型 */
Type?: string | null;
/** 排序 */
Position?: number | null;
/** 附加参数 */
Params?: KVPair[] | null;
/** 业务参数 */
BizParams?: KVPair[] | null;
/** 是否分区 */
IsPartition?: boolean | null;
}
/** 列排序对象 */
declare interface DMSColumnOrder {
/** 列名 */
Col?: string | null;
/** 排序 */
Order?: number | null;
}
/** 迁移元数据分区对象 */
declare interface DMSPartition {
/** 数据库名称 */
DatabaseName?: string;
/** 数据目录名称 */
SchemaName?: string;
/** 表名称 */
TableName?: string;
/** 数据版本 */
DataVersion?: number;
/** 分区名称 */
Name?: string;
/** 值列表 */
Values?: string[];
/** 存储大小 */
StorageSize?: number;
/** 记录数量 */
RecordCount?: number;
/** 创建时间 */
CreateTime?: string;
/** 修改时间 */
ModifiedTime?: string;
/** 最后访问时间 */
LastAccessTime?: string;
/** 附件属性 */
Params?: KVPair[];
/** 存储对象 */
Sds?: DMSSds;
/** 数据源连接名 */
DatasourceConnectionName?: string;
}
/** 元数据存储描述属性 */
declare interface DMSSds {
/** 存储地址 */
Location?: string | null;
/** 输入格式 */
InputFormat?: string | null;
/** 输出格式 */
OutputFormat?: string | null;
/** bucket数量 */
NumBuckets?: number | null;
/** 是是否压缩 */
Compressed?: boolean | null;
/** 是否有子目录 */
StoredAsSubDirectories?: boolean | null;
/** 序列化lib */
SerdeLib?: string | null;
/** 序列化名称 */
SerdeName?: string | null;
/** 桶名称 */
BucketCols?: string[] | null;
/** 序列化参数 */
SerdeParams?: KVPair[] | null;
/** 附加参数 */
Params?: KVPair[] | null;
/** 列排序(Expired) */
SortCols?: DMSColumnOrder | null;
/** 列 */
Cols?: DMSColumn[] | null;
/** 列排序字段 */
SortColumns?: DMSColumnOrder[] | null;
}
/** DMSTable基本信息 */
declare interface DMSTable {
/** 视图文本 */
ViewOriginalText?: string | null;
/** 视图文本 */
ViewExpandedText?: string | null;
/** hive维护版本 */
Retention?: number | null;
/** 存储对象 */
Sds?: DMSSds | null;
/** 分区列 */
PartitionKeys?: DMSColumn[] | null;
/** 分区 */
Partitions?: DMSPartition[] | null;
/** 表类型 */
Type?: string | null;
/** 数据库名称 */
DbName?: string | null;
/** Schema名称 */
SchemaName?: string | null;
/** 存储大小 */
StorageSize?: number | null;
/** 记录数量 */
RecordCount?: number | null;
/** 生命周期 */
LifeTime?: number | null;
/** 最后访问时间 */
LastAccessTime?: string | null;
/** 数据更新时间 */
DataUpdateTime?: string | null;
/** 结构更新时间 */
StructUpdateTime?: string | null;
/** 列 */
Columns?: DMSColumn[] | null;
/** 表名 */
Name?: string | null;
}
/** DMSTable信息 */
declare interface DMSTableInfo {
/** DMS表信息 */
Table: DMSTable | null;
/** 基础对象信息 */
Asset: Asset | null;
}
/** DataEngine基本信息 */
declare interface DataEngineBasicInfo {
/** DataEngine名称 */
DataEngineName?: string;
/** 数据引擎状态 -2已删除 -1失败 0初始化中 1挂起 2运行中 3准备删除 4删除中 */
State?: number;
/** 创建时间 */
CreateTime?: number;
/** 更新时间 */
UpdateTime?: number;
/** 返回信息 */
Message?: string;
/** 引擎id */
DataEngineId?: string;
/** 引擎类型,有效值:PrestoSQL/SparkSQL/SparkBatch */
DataEngineType?: string;
/** 用户ID */
AppId?: number;
/** 账号ID */
UserUin?: string;
}
/** 引擎配置信息 */
declare interface DataEngineConfigInstanceInfo {
/** 引擎ID */
DataEngineId?: string;
/** 用户自定义配置项集合 */
DataEngineConfigPairs?: DataEngineConfigPair[];
/** 作业集群资源参数配置模板 */
SessionResourceTemplate?: SessionResourceTemplate;
}
/** 引擎配置 */
declare interface DataEngineConfigPair {
/** 配置项 */
ConfigItem: string;
/** 配置值 */
ConfigValue: string;
}
/** 集群Session配置信息. */
declare interface DataEngineImageSessionParameter {
/** 配置id */
ParameterId: string;
/** 小版本镜像ID */
ChildImageVersionId: string;
/** 集群类型:SparkSQL/PrestoSQL/SparkBatch */
EngineType: string;
/** 参数key */
KeyName: string;
/** Key描述信息 */
KeyDescription: string | null;
/** value类型 */
ValueType: string;
/** value长度限制 */
ValueLengthLimit: string | null;
/** value正则限制 */
ValueRegexpLimit: string | null;
/** value默认值 */
ValueDefault: string | null;
/** 是否为公共版本:1:公共;2:私有 */
IsPublic: number;
/** 配置类型:1:session配置(默认);2:common配置;3:cluster配置 */
ParameterType: number;
/** 提交方式:User(用户)、BackGround(后台) */
SubmitMethod: string;
/** 操作者 */
Operator: string | null;
/** 插入时间 */
InsertTime: string;
/** 更新时间 */
UpdateTime: string;
}
/** 集群大版本镜像信息。 */
declare interface DataEngineImageVersion {
/** 镜像大版本ID */
ImageVersionId?: string;
/** 镜像大版本名称 */
ImageVersion?: string;
/** 镜像大版本描述 */
Description?: string;
/** 是否为公共版本:1:公共;2:私有 */
IsPublic?: number;
/** 集群类型:SparkSQL/PrestoSQL/SparkBatch */
EngineType?: string;
/** 版本状态:1:初始化;2:上线;3:下线 */
IsSharedEngine?: number;
/** 版本状态:1:初始化;2:上线;3:下线 */
State?: number;
/** 插入时间 */
InsertTime?: string;
/** 更新时间 */
UpdateTime?: string;
}
/** DataEngine详细信息 */
declare interface DataEngineInfo {
/** DataEngine名称 */
DataEngineName: string;
/** 引擎类型 spark/presto */
EngineType: string;
/** 集群资源类型 spark_private/presto_private/presto_cu/spark_cu */
ClusterType: string;
/** 引用ID */
QuotaId?: string;
/** 数据引擎状态 -2已删除 -1失败 0初始化中 1挂起 2运行中 3准备删除 4删除中 */
State?: number;
/** 创建时间 */
CreateTime?: number;
/** 更新时间 */
UpdateTime?: number;
/** 集群规格 */
Size?: number | null;
/** 计费模式 0共享模式 1按量计费 2包年包月 */
Mode?: number;
/** 最小集群数 */
MinClusters?: number | null;
/** 最大集群数 */
MaxClusters?: number | null;
/** 是否自动恢复 */
AutoResume?: boolean | null;
/** 自动恢复时间 */
SpendAfter?: number | null;
/** 集群网段 */
CidrBlock?: string | null;
/** 是否为默认引擎 */
DefaultDataEngine?: boolean | null;
/** 返回信息 */
Message?: string | null;
/** 引擎id */
DataEngineId?: string;
/** 操作者 */
SubAccountUin?: string;
/** 到期时间 */
ExpireTime?: string;
/** 隔离时间 */
IsolatedTime?: string;
/** 冲正时间 */
ReversalTime?: string;
/** 用户名称 */
UserAlias?: string | null;
/** 标签对集合 */
TagList?: TagInfo[] | null;
/** 引擎拥有的权限 */
Permissions?: string[] | null;
/** 是否自定挂起集群:false(默认):不自动挂起、true:自动挂起 */
AutoSuspend?: boolean | null;
/** 定时启停集群策略:0(默认):关闭定时策略、1:开启定时策略(注:定时启停策略与自动挂起策略互斥) */
CrontabResumeSuspend?: number | null;
/** 定时启停策略,复杂类型:包含启停时间、挂起集群策略 */
CrontabResumeSuspendStrategy?: CrontabResumeSuspendStrategy | null;
/** 引擎执行任务类型,有效值:SQL/BATCH */
EngineExecType?: string | null;
/** 自动续费标志,0,初始状态,默认不自动续费,若用户有预付费不停服特权,自动续费。1:自动续费。2:明确不自动续费 */
RenewFlag?: number | null;
/** 集群自动挂起时间 */
AutoSuspendTime?: number | null;
/** 网络连接配置 */
NetworkConnectionSet?: NetworkConnection[] | null;
/** ui的跳转地址 */
UiURL?: string | null;
/** 引擎的资源类型 */
ResourceType?: string | null;
/** 集群镜像版本ID */
ImageVersionId?: string | null;
/** 集群镜像小版本ID */
ChildImageVersionId?: string | null;
/** 集群镜像版本名字 */
ImageVersionName?: string | null;
/** 是否开启备集群 */
StartStandbyCluster?: boolean | null;
/** spark jar 包年包月集群是否开启弹性 */
ElasticSwitch?: boolean | null;
/** spark jar 包年包月集群弹性上限 */
ElasticLimit?: number | null;
/** 是否为默认引擎 */
DefaultHouse?: boolean | null;
/** 单个集群任务最大并发数 */
MaxConcurrency?: number | null;
/** 任务排队上限时间 */
TolerableQueueTime?: number | null;
/** 用户appid */
UserAppId?: number | null;
/** 用户uin */
UserUin?: string | null;
/** SessionResourceTemplate */
SessionResourceTemplate?: SessionResourceTemplate | null;
/** 自动授权开关 */
AutoAuthorization?: boolean | null;
/** 引擎版本,支持Native/SuperSQL */
EngineGeneration?: string | null;
/** 引擎详细类型,支持:SparkSQL/SparkBatch/PrestoSQL/Kyuubi */
EngineTypeDetail?: string | null;
/** 引擎网络ID */
EngineNetworkId?: string | null;
/** 标准引擎关联的资源组个数 */
EngineResourceGroupCount?: number | null;
/** 引擎当前使用量(Cu) */
EngineResourceUsedCU?: number | null;
/** 引擎的访问信息 */
AccessInfos?: AccessInfo[] | null;
/** 引擎所在网络名称 */
EngineNetworkName?: string | null;
/** 是否使用预留池 */
IsPoolMode?: string | null;
/** 是否支持AI,false: 不支持;true:支持 */
IsSupportAI?: boolean | null;
/** 网关id */
GatewayId?: string | null;
/** 网关状态 */
GatewayState?: number | null;
/** 是否能执行AI任务 */
IsAIGateway?: boolean | null;
/** 1:AI引擎,0:非AI引擎 */
IsAIEngine?: number | null;
}
/** 引擎规格详情 */
declare interface DataEngineScaleInfo {
/** 引擎ID */
DataEngineId?: string;
/** 引擎名称 */
DataEngineName?: string;
/** 引擎规格详情 */
ScaleDetail?: DataEngineScaleInfoDetail[];
}
/** 引擎规格详情 */
declare interface DataEngineScaleInfoDetail {
/** 统计开始时间,格式为:yyyy-MM-dd HH:mm:ss */
StartTime?: string;
/** 统计结束时间,格式为:yyyy-MM-dd HH:mm:ss */
EndTime?: string;
/** 当前统计时间段,引擎规格 */
CU?: number;
}
/** 数据表数据格式。 */
declare interface DataFormat {
/** 文本格式,TextFile。 */
TextFile?: TextFile | null;
/** 文本格式,CSV。 */
CSV?: CSV | null;
/** 文本格式,Json。 */
Json?: Other | null;
/** Parquet格式 */
Parquet?: Other | null;
/** ORC格式 */
ORC?: Other | null;
/** AVRO格式 */
AVRO?: Other | null;
}
/** 数据治理规则 */
declare interface DataGovernPolicy {
/** 治理规则类型,Customize: 自定义;Intelligence: 智能治理 */
RuleType?: string;
/** 治理引擎 */
GovernEngine?: string;
}
/** 数据脱敏策略信息 */
declare interface DataMaskStrategyInfo {
/** 策略名称 */
StrategyName?: string;
/** MASK_SHOW_FIRST_4; MASK_SHOW_LAST_4;MASK_HASH; MASK_DATE_SHOW_YEAR; MASK_NULL; MASK_DEFAULT 等 */
StrategyType?: string;
/** 策略描述 */
StrategyDesc?: string;
/** 用户组策略列表 */
Groups?: GroupInfo[] | null;
/** 用户子账号uin列表,按;拼接 */
Users?: string;
/** 策略Id */
StrategyId?: string;
}
/** 数据源详细信息 */
declare interface DataSourceInfo {
/** 数据源实例的唯一ID */
InstanceId?: string | null;
/** 数据源的名称 */
InstanceName?: string | null;
/** 数据源的JDBC访问链接 */
JdbcUrl?: string | null;
/** 用于访问数据源的用户名 */
User?: string | null;
/** 数据源访问密码,需要base64编码 */
Password?: string | null;
/** 数据源的VPC和子网信息 */
Location?: DatasourceConnectionLocation | null;
/** 默认数据库名 */
DbName?: string | null;
}
/** 数据库对象 */
declare interface DatabaseInfo {
/** 数据库名称,长度0~128,支持数字、字母下划线,不允许数字大头,统一转换为小写。 */
DatabaseName: string;
/** 数据库描述信息,长度 0~500。 */
Comment?: string | null;
/** 数据库属性列表。 */
Properties?: Property[] | null;
/** 数据库cos路径 */
Location?: string;
}
/** 数据库对象 */
declare interface DatabaseResponseInfo {
/** 数据库名称。 */
DatabaseName?: string;
/** 数据库描述信息,长度 0~256。 */
Comment?: string;
/** 允许针对数据库的属性元数据信息进行指定。 */
Properties?: Property[] | null;
/** 数据库创建时间戳,单位:s。 */
CreateTime?: string | null;
/** 数据库更新时间戳,单位:s。 */
ModifiedTime?: string | null;
/** cos存储路径 */
Location?: string;
/** 建库用户昵称 */
UserAlias?: string;
/** 建库用户ID */
UserSubUin?: string;
/** 数据治理配置项 */
GovernPolicy?: DataGovernPolicy | null;
/** 数据库ID(无效字段) */
DatabaseId?: string;
}
/** 数据源属性 */
declare interface DatasourceConnectionConfig {
/** Mysql数据源连接的属性 */
Mysql?: MysqlInfo | null;
/** Hive数据源连接的属性 */
Hive?: HiveInfo | null;
/** Kafka数据源连接的属性 */
Kafka?: KafkaInfo | null;
/** 其他数据源连接的属性 */
OtherDatasourceConnection?: OtherDatasourceConnection | null;
/** PostgreSQL数据源连接的属性 */
PostgreSql?: DataSourceInfo | null;
/** SQLServer数据源连接的属性 */
SqlServer?: DataSourceInfo | null;
/** ClickHouse数据源连接的属性 */
ClickHouse?: DataSourceInfo | null;
/** Elasticsearch数据源连接的属性 */
Elasticsearch?: ElasticsearchInfo | null;
/** TDSQL-PostgreSQL数据源连接的属性 */
TDSQLPostgreSql?: DataSourceInfo | null;
/** Doris数据源连接的属性 */
TCHouseD?: TCHouseD | null;
/** TccHive数据目录连接信息 */
TccHive?: TccHive;
}
/** 数据源信息 */
declare interface DatasourceConnectionInfo {
/** 数据源数字Id */
Id: number;
/** 数据源字符串Id */
DatasourceConnectionId: string;
/** 数据源名称 */
DatasourceConnectionName: string;
/** 数据源描述 */
DatasourceConnectionDesc: string;
/** 数据源类型,支持DataLakeCatalog、IcebergCatalog、Result、Mysql、HiveCos、HiveHdfs */
DatasourceConnectionType: string;
/** 数据源属性 */
DatasourceConnectionConfig: DatasourceConnectionConfig | null;
/** 数据源状态:0(初始化)、1(成功)、-1(已删除)、-2(失败)、-3(删除中) */
State: number;
/** 地域 */
Region: string;
/** 用户AppId */
AppId: string;
/** 数据源创建时间 */
CreateTime: string;
/** 数据源最近一次更新时间 */
UpdateTime: string;
/** 数据源同步失败原因 */
Message: string;
/** 数据源绑定的计算引擎信息 */
DataEngines?: DataEngineInfo[] | null;
/** 创建人 */
UserAlias?: string;
/** 网络配置列表 */
NetworkConnectionSet?: NetworkConnection[] | null;
/** 连通性状态:0(未测试,默认)、1(正常)、2(失败) */
ConnectivityState?: number;
/** 连通性测试提示信息 */
ConnectivityTips?: string;
/** 自定义参数 */
CustomConfig?: CustomConfig[];
/** 是否允许回退 */
AllowRollback?: boolean;
}
/** 数据源连接的网络信息 */
declare interface DatasourceConnectionLocation {
/** 数据连接所在Vpc实例Id,如“vpc-azd4dt1c”。 */
VpcId: string;
/** Vpc的IPv4 CIDR */
VpcCidrBlock: string;
/** 数据连接所在子网的实例Id,如“subnet-bthucmmy” */
SubnetId: string;
/** Subnet的IPv4 CIDR */
SubnetCidrBlock: string;
}
/** 任务依赖包信息 */
declare interface DependencyPackage {
/** 依赖包类型 */
PackageSource?: string | null;
/** 依赖包信息 */
MavenPackage?: string | null;
/** 依赖包仓库 */
MavenRepository?: string | null;
/** maven包exclusion信息 */
MavenExclusion?: string | null;
/** pypi包信息 */
PypiPackage?: string | null;
/** pypi索引地址 */
PypiIndexUrl?: string | null;
/** 文件包的类型 */
PackageType?: string | null;
/** 文件包的路径 */
PackagePath?: string | null;
}
/** Elasticsearch数据源的详细信息 */
declare interface ElasticsearchInfo {
/** 数据源ID */
InstanceId?: string | null;
/** 数据源名称 */
InstanceName?: string | null;
/** 用户名 */
User?: string | null;
/** 密码,需要base64编码 */
Password?: string | null;
/** 数据源的VPC和子网信息 */
Location?: DatasourceConnectionLocation | null;
/** 默认数据库名称 */
DbName?: string | null;
/** 访问Elasticsearch的ip、端口信息 */
ServiceInfo?: IpPortPair[] | null;
}
/** 引擎网络信息 */
declare interface EngineNetworkInfo {
/** 引擎网络名字 */
EngineNetworkName?: string | null;
/** 引擎网络状态,0--初始化,2--可用,-1--已删除 */
EngineNetworkState?: number | null;
/** 引擎网络cidr */
EngineNetworkCidr?: string | null;
/** 引擎网络ID */
EngineNetworkId?: string | null;
/** 创建时间 */
CreateTime?: number | null;
/** 更新时间 */
UpdateTime?: number | null;
/** 私有连接个数 */
PrivateLinkNumber?: number | null;
/** 计算引擎个数 */
EngineNumber?: number | null;
/** 网关信息 */
GateWayInfo?: GatewayInfo[] | null;
}
/** 引擎资源组参数 配置项 */
declare interface EngineResourceGroupConfigPair {
/** 配置项 */
ConfigItem: string | null;
/** 配置项的值 */
ConfigValue: string | null;
}
/** TensorFlow、Pytorch、SK-learn镜像信息列表 */
declare interface EngineSessionImage {
/** Spark镜像唯一id */
SparkImageId?: string | null;
/** Spark镜像版本名称 */
SparkImageVersion?: string | null;
/** 小版本镜像类型.1:TensorFlow、2:Pytorch、3:SK-learn */
SparkImageType?: number | null;
/** 镜像地址 */
SparkImageTag?: string | null;
}
/** SQL语句对象 */
declare interface Execution {
/** 自动生成SQL语句。 */
SQL: string;
}
/** FavorInfo */
declare interface FavorInfo {
/** 优先事项 */
Priority?: number;
/** Catalog名称 */
Catalog?: string;
/** DataBase名称 */
DataBase?: string;
/** Table名称 */
Table?: string;
}
/** 查询列表过滤条件参数 */
declare interface Filter {
/** 属性名称, 若存在多个Filter时,Filter间的关系为逻辑或(OR)关系。 */
Name: string;
/** 属性值, 若同一个Filter存在多个Values,同一Filter下Values间的关系为逻辑或(OR)关系。 */
Values: string[];
}
/** 网关基础信息,包括id,名称,规格和状态 */
declare interface GatewayInfo {
/** 网关ID, */
GatewayId?: string | null;
/** 网关名称,全局唯一 */
GatewayName?: string | null;
/** 网关的规格 */
Size?: number | null;
/** -2已删除 -1失败 0初始化中 1挂起 2运行中 3准备删除 4删除中 5挂起中 6启动中 7隔离中 8隔离 9续费中 10变配中 11冲正中 */
State?: number | null;
/** 计费模式 */
PayMode?: number | null;
/** 模式 */
Mode?: number | null;
}
/** 数据脱敏用户组信息 */
declare interface GroupInfo {
/** 用户组ID */
WorkGroupId?: number;
/** 策略类型 */
StrategyType?: string;
}
/** hive类型数据源的信息 */
declare interface HiveInfo {
/** hive metastore的地址 */
MetaStoreUrl: string;
/** hive数据源类型,代表数据储存的位置,COS或者HDFS */
Type: string;
/** 数据源所在的私有网络信息 */
Location: DatasourceConnectionLocation;
/** 如果类型为HDFS,需要传一个用户名 */
User?: string;
/** 如果类型为HDFS,需要选择是否高可用 */
HighAvailability?: boolean;
/** 如果类型为COS,需要填写COS桶连接 */
BucketUrl?: string;
/** json字符串。如果类型为HDFS,需要填写该字段 */
HdfsProperties?: string;
/** Hive的元数据库信息 */
Mysql?: MysqlInfo | null;
/** emr集群Id */
InstanceId?: string | null;
/** emr集群名称 */
InstanceName?: string | null;
/** EMR集群中hive组件的版本号 */
HiveVersion?: string;
/** Kerberos详细信息 */
KerberosInfo?: KerberosInfo | null;
/** 是否开启Kerberos */
KerberosEnable?: boolean | null;
}
/** 集群事件日志 */
declare interface HouseEventsInfo {
/** 事件时间 */
Time?: string[] | null;
/** 事件类型 */
EventsAction?: string[] | null;
/** 集群信息 */
ClusterInfo?: string[] | null;
}
/** ip端口对信息 */
declare interface IpPortPair {
/** ip信息 */
Ip?: string | null;
/** 端口信息 */
Port?: number | null;
}
/** 日志详情 */
declare interface JobLogResult {
/** 日志时间戳,毫秒 */
Time?: number | null;
/** 日志topic id */
TopicId?: string | null;
/** 日志topic name */
TopicName?: string | null;
/** 日志内容,json字符串 */
LogJson?: string | null;
/** 日志ID */
PkgLogId?: string | null;
}
/** 配置格式 */
declare interface KVPair {
/** 配置的key值 */
Key: string;
/** 配置的value值 */
Value: string;
}
/** Kafka连接信息 */
declare interface KafkaInfo {
/** kafka实例Id */
InstanceId: string;
/** kafka数据源的网络信息 */
Location: DatasourceConnectionLocation;
}
/** Kerberos详细信息 */
declare interface KerberosInfo {
/** Krb5Conf文件值 */
Krb5Conf?: string;
/** KeyTab文件值 */
KeyTab?: string;
/** 服务主体 */
ServicePrincipal?: string;
}
/** LakeFileSystem使用的临时token */
declare interface LakeFileSystemToken {
/** Token使用的临时密钥的ID */
SecretId?: string;
/** Token使用的临时密钥 */
SecretKey?: string;
/** Token信息 */
Token?: string;
/** 过期时间 */
ExpiredTime?: number;
/** 颁布时间 */
IssueTime?: number;
}
/** 描述DLC托管存储基本信息 */
declare interface LakeFsInfo {
/** 托管存储名称 */
Name?: string;
/** 托管存储类型 */
Type?: string;
/** 容量 */
SpaceUsedSize?: number;
/** 创建时候的时间戳 */
CreateTimeStamp?: number;
/** 是否是用户默认桶,0:默认桶,1:非默认桶 */
DefaultBucket?: number;
/** 托管存储short name */
ShortName?: string;
/** 桶描述信息 */
Description?: string;
/** 托管桶状态,当前取值为:creating、bind、readOnly、isolate */
Status?: string;
}
/** 元数据加锁内容 */
declare interface LockComponentInfo {
/** 数据库名称 */
DbName: string;
/** 表名称 */
TableName?: string;
/** 分区 */
Partition?: string;
/** 锁类型:SHARED_READ、SHARED_WRITE、EXCLUSIVE */
LockType?: string;
/** 锁级别:DB、TABLE、PARTITION */
LockLevel?: string;
/** 锁操作:SELECT,INSERT,UPDATE,DELETE,UNSET,NO_TXN */
DataOperationType?: string;
/** 是否保持Acid */
IsAcid?: boolean;
/** 是否动态分区写 */
IsDynamicPartitionWrite?: boolean;
}
/** 绑定融合桶信息 */
declare interface MountPointAssociates {
/** 桶Id */
BucketId?: string;
/** vpcId */
VpcId?: string;
/** 子网地址 */
VpcCidrBlock?: string;
/** 权限组Id */
AccessGroupId?: string;
/** 权限规则Id */
AccessRuleId?: number;
}
/** Mysql类型数据源信息 */
declare interface MysqlInfo {
/** 连接mysql的jdbc url */
JdbcUrl: string;
/** 用户名 */
User: string;
/** mysql密码 */
Password: string;
/** mysql数据源的网络信息 */
Location: DatasourceConnectionLocation;
/** 数据库名称 */
DbName?: string;
/** 数据库实例ID,和数据库侧保持一致 */
InstanceId?: string | null;
/** 数据库实例名称,和数据库侧保持一致 */
InstanceName?: string | null;
}
/** 网络配置信息 */
declare interface NetWork {
/** 服务clbip */
ClbIp?: string;
/** 服务clbPort */
ClbPort?: string;
/** vpc实例id */
VpcId?: string;
/** vpc网段 */
VpcCidrBlock?: string;
/** 子网实例id */
SubnetId?: string;
/** 子网网段 */
SubnetCidrBlock?: string;
}
/** 网络配置 */
declare interface NetworkConnection {
/** 网络配置id */
Id?: number;
/** 网络配置唯一标志符 */
AssociateId?: string;
/** 计算引擎id */
HouseId?: string;
/** 数据源id(已废弃) */
DatasourceConnectionId?: string;
/** 网络配置状态(0-初始化,1-正常) */
State?: number | null;
/** 创建时间 */
CreateTime?: number;
/** 修改时间 */
UpdateTime?: number | null;
/** 创建用户Appid */
Appid?: number | null;
/** 计算引擎名称 */
HouseName?: string;
/** 网络配置名称 */
DatasourceConnectionName?: string;
/** 网络配置类型 */
NetworkConnectionType?: number | null;
/** 创建用户uin */
Uin?: string | null;
/** 创建用户SubAccountUin */
SubAccountUin?: string | null;
/** 网络配置描述 */
NetworkConnectionDesc?: string | null;
/** 数据源vpcid */
DatasourceConnectionVpcId?: string | null;
/** 数据源SubnetId */
DatasourceConnectionSubnetId?: string | null;
/** 数据源SubnetId */
DatasourceConnectionCidrBlock?: string | null;
/** 数据源SubnetCidrBlock */
DatasourceConnectionSubnetCidrBlock?: string | null;
/** 支持 eg */
EGSupport?: number;
}
/** Notebook Session详细信息。 */
declare interface NotebookSessionInfo {
/** Session名称 */
Name?: string;
/** 类型,当前支持:spark、pyspark、sparkr、sql */
Kind?: string;
/** DLC Spark作业引擎名称 */
DataEngineName?: string;
/** Session相关配置,当前支持:eni、roleArn以及用户指定的配置 */
Arguments?: KVPair[] | null;
/** 运行程序地址,当前支持:cosn://和lakefs://两种路径 */
ProgramDependentFiles?: string[] | null;
/** 依赖的jar程序地址,当前支持:cosn://和lakefs://两种路径 */
ProgramDependentJars?: string[] | null;
/** 依赖的python程序地址,当前支持:cosn://和lakefs://两种路径 */
ProgramDependentPython?: string[] | null;
/** 依赖的pyspark虚拟环境地址,当前支持:cosn://和lakefs://两种路径 */
ProgramArchives?: string[] | null;
/** 指定的Driver规格,当前支持:small(默认,1cu)、medium(2cu)、large(4cu)、xlarge(8cu) */
DriverSize?: string;
/** 指定的Executor规格,当前支持:small(默认,1cu)、medium(2cu)、large(4cu)、xlarge(8cu) */
ExecutorSize?: string;
/** 指定的Executor数量,默认为1 */
ExecutorNumbers?: number;
/** 代理用户,默认为root */
ProxyUser?: string;
/** 指定的Session超时时间,单位秒,默认3600秒 */
TimeoutInSecond?: number;
/** Spark任务返回的AppId */
SparkAppId?: string;
/** Session唯一标识 */
SessionId?: string;
/** Session状态,包含:not_started(未启动)、starting(已启动)、idle(等待输入)、busy(正在运行statement)、shutting_down(停止)、error(异常)、dead(已退出)、killed(被杀死)、success(正常停止) */
State?: string;
/** Session创建时间 */
CreateTime?: string;
/** 其它信息 */
AppInfo?: KVPair[] | null;
/** Spark ui地址 */
SparkUiUrl?: string;
/** 指定的Executor数量(最大值),默认为1,当开启动态分配有效,若未开启,则该值等于ExecutorNumbers */
ExecutorMaxNumbers?: number;
/** session类型,group:资源组下session independent:独立资源session, 不依赖资源组 */
SessionType?: string;
/** 引擎id */
DataEngineId?: string;
/** 资源组id */
ResourceGroupId?: string;
/** 资源组名称 */
ResourceGroupName?: string;
/** session,pod大小 */
PodSize?: number;
/** pod数量 */
PodNumbers?: number;
}
/** 按批提交Statement运行SQL任务。 */
declare interface NotebookSessionStatementBatchInformation {
/** 任务详情列表 */
NotebookSessionStatementBatch?: NotebookSessionStatementInfo[] | null;
/** 当前批任务是否运行完成 */
IsAvailable?: boolean;
/** Session唯一标识 */
SessionId?: string;
/** Batch唯一标识 */
BatchId?: string | null;
}
/** NotebookSessionStatement详情。 */
declare interface NotebookSessionStatementInfo {
/** 完成时间戳 */
Completed?: number;
/** 开始时间戳 */
Started?: number;
/** 完成进度,百分制 */
Progress?: number;
/** Session Statement唯一标识 */
StatementId?: string;
/** Session Statement状态,包含:waiting(排队中)、running(运行中)、available(正常)、error(异常)、cancelling(取消中)、cancelled(已取消) */
State?: string;
/** Statement输出信息 */
OutPut?: StatementOutput | null;
/** 批任务id */
BatchId?: string;
/** 运行语句 */
Code?: string;
/** 任务ID */
TaskId?: string;
}
/** notebook session列表信息。 */
declare interface NotebookSessions {
/** 类型,当前支持:spark、pyspark、sparkr、sql */
Kind?: string;
/** Session唯一标识 */
SessionId?: string;
/** 代理用户,默认为root */
ProxyUser?: string;
/** Session状态,包含:not_started(未启动)、starting(已启动)、idle(等待输入)、busy(正在运行statement)、shutting_down(停止)、error(异常)、dead(已退出)、killed(被杀死)、success(正常停止) */
State?: string;
/** Spark任务返回的AppId */
SparkAppId?: string;
/** Session名称 */
Name?: string;
/** Session创建时间 */
CreateTime?: string;
/** 引擎名称 */
DataEngineName?: string;
/** 最新的运行时间 */
LastRunningTime?: string;
/** 创建者 */
Creator?: string;
/** spark ui地址 */
SparkUiUrl?: string;
/** session类型,group:资源组session independent:独立资源session,不依赖资源组 */
SessionType?: string;
/** 引擎id */
DataEngineId?: string;
/** 资源组id */
ResourceGroupId?: string;
/** 资源组名字 */
ResourceGroupName?: string;
}
/** 开通了第三方访问的用户信息 */
declare interface OpendThirdAccessUserInfo {
/** id信息 */
Id?: number;
/** 用户主UIN */
Uin?: string;
/** 用户AppId */
AppId?: string;
/** 开通时间 */
CreateTime?: string;
}
/** 操作资源组,返回的操作失败信息 */
declare interface OperateEngineResourceGroupFailMessage {
/** 引擎资源组名称 */
EngineResourceGroupName?: string;
/** 操作失败的提示信息 */
FailMessage?: string;
}
/** 数据优化引擎信息 */
declare interface OptimizerEngineInfo {
/** 引擎资源名称 */
HouseName: string;
/** 引擎资源ID */
HouseId: string;
/** 该参数仅针对spark作业引擎有效,用于执行数据优化任务的资源大小,不填时将采用该引擎所有资源 */
HouseSize?: number | null;
}
/** 数据格式其它类型。 */
declare interface Other {
/** 枚举类型,默认值为Json,可选值为[Json, Parquet, ORC, AVRD]之一。 */
Format?: string;
}
/** 非DLC产品CHDFS绑定 */
declare interface OtherCHDFSBinding {
/** 产品名称 */
ProductName?: string;
/** 用户名称(该字段已废弃) */
SuperUser?: string[];
/** vpc配置信息 */
VpcInfo?: CHDFSProductVpcInfo[];
/** 是否与该桶绑定(该字段已废弃) */
IsBind?: boolean;
}
/** 其他数据源 */
declare interface OtherDatasourceConnection {
/** 网络参数 */
Location: DatasourceConnectionLocation;
}
/** 对指定参数的更新、增加、删除 */
declare interface Param {
/** 参数key,例如: */
ConfigItem?: string;
/** 参数值 */
ConfigValue?: string;
/** 下发操作,支持:ADD、DELETE、MODIFY */
Operate?: string;
}
/** 数据表分块信息。 */
declare interface Partition {
/** 分区列名。 */
Name?: string;
/** 分区类型。 */
Type?: string;
/** 对分区的描述。 */
Comment?: string;
/** 隐式分区转换策略 */
Transform?: string;
/** 转换策略参数 */
TransformArgs?: string[] | null;
/** 创建时间 */
CreateTime?: number;
}
/** 权限对象 */
declare interface Policy {
/** 需要授权的数据库名,填 * 代表当前Catalog下所有数据库。当授权类型为管理员级别时,只允许填 “*”,当授权类型为数据连接级别时只允许填空,其他类型下可以任意指定数据库。 */
Database: string;
/** 需要授权的数据源名称,管理员级别下只支持填 * (代表该级别全部资源);数据源级别和数据库级别鉴权的情况下,只支持填COSDataCatalog或者*;在数据表级别鉴权下可以填写用户自定义数据源。不填情况下默认为DataLakeCatalog。注意:如果是对用户自定义数据源进行鉴权,DLC能够管理的权限是用户接入数据源的时候提供的账户的子集。 */
Catalog: string;
/** 需要授权的表名,填 * 代表当前Database下所有表。当授权类型为管理员级别时,只允许填“*”,当授权类型为数据连接级别、数据库级别时只允许填空,其他类型下可以任意指定数据表。 */
Table: string;
/** 授权的权限操作,对于不同级别的鉴权提供不同操作。管理员权限:ALL,不填默认为ALL;数据连接级鉴权:CREATE;数据库级别鉴权:ALL、CREATE、ALTER、DROP;数据表权限:ALL、SELECT、INSERT、ALTER、DELETE、DROP、UPDATE。注意:在数据表权限下,指定的数据源不为COSDataCatalog的时候,只支持SELECT操作。 */
Operation: string;
/** 授权类型,现在支持八种授权类型:ADMIN:管理员级别鉴权 DATASOURCE:数据连接级别鉴权 DATABASE:数据库级别鉴权 TABLE:表级别鉴权 VIEW:视图级别鉴权 FUNCTION:函数级别鉴权 COLUMN:列级别鉴权 ENGINE:数据引擎鉴权。不填默认为管理员级别鉴权。 */
PolicyType?: string;
/** 需要授权的函数名,填 * 代表当前Catalog下所有函数。当授权类型为管理员级别时,只允许填“*”,当授权类型为数据连接级别时只允许填空,其他类型下可以任意指定函数。 */
Function?: string | null;
/** 需要授权的视图,填 * 代表当前Database下所有视图。当授权类型为管理员级别时,只允许填“*”,当授权类型为数据连接级别、数据库级别时只允许填空,其他类型下可以任意指定视图。 */
View?: string | null;
/** 需要授权的列,填 * 代表当前所有列。当授权类型为管理员级别时,只允许填“*” */
Column?: string | null;
/** 需要授权的数据引擎,填 * 代表当前所有引擎。当授权类型为管理员级别时,只允许填“*” */
DataEngine?: string | null;
/** 用户是否可以进行二次授权。当为true的时候,被授权的用户可以将本次获取的权限再次授权给其他子用户。默认为false */
ReAuth?: boolean | null;
/** 权限来源,入参不填。USER:权限来自用户本身;WORKGROUP:权限来自绑定的工作组 */
Source?: string | null;
/** 授权模式,入参不填。COMMON:普通模式;SENIOR:高级模式。 */
Mode?: string | null;
/** 操作者,入参不填。 */
Operator?: string | null;
/** 权限创建的时间,入参不填 */
CreateTime?: string | null;
/** 权限所属工作组的ID,只有当该权限的来源为工作组时才会有值。即仅当Source字段的值为WORKGROUP时该字段才有值。 */
SourceId?: number | null;
/** 权限所属工作组的名称,只有当该权限的来源为工作组时才会有值。即仅当Source字段的值为WORKGROUP时该字段才有值。 */
SourceName?: string | null;
/** 策略ID */
Id?: number | null;
/** 引擎类型 */
EngineGeneration?: string;
}
/** 策略集合 */
declare interface Policys {
/** 策略集合 */
PolicySet?: Policy[] | null;
/** 策略总数 */
TotalCount?: number;
}
/** Presto监控指标 */
declare interface PrestoMonitorMetrics {
/** Alluxio本地缓存命中率 */
LocalCacheHitRate?: number | null;
/** Fragment缓存命中率 */
FragmentCacheHitRate?: number | null;
}
/** 数据库和数据表属性信息 */
declare interface Property {
/** 属性key名称。 */
Key: string;
/** 属性key对应的value。 */
Value: string;
}
/** python-spark镜像信息。 */
declare interface PythonSparkImage {
/** spark镜像唯一id */
SparkImageId?: string;
/** 集群小版本镜像id */
ChildImageVersionId?: string;
/** spark镜像名称 */
SparkImageVersion?: string;
/** spark镜像描述信息 */
Description?: string;
/** 创建时间 */
CreateTime?: string;
/** 更新时间 */
UpdateTime?: string;
}
/** ResourceInfo */
declare interface ResourceInfo {
/** 归属类型 */
AttributionType?: string;
/** 资源类型 */
ResourceType?: string;
/** 引擎名称 */
Name?: string;
/** 如资源类型为spark-sql 取值为Name, 如为spark-batch 取值为session app_name */
Instance?: string;
/** 亲和性 */
Favor?: FavorInfo[] | null;
/** 状态 */
Status?: number;
/** 标准引擎资源组信息 */
ResourceGroupName?: string;
}
/** SQL查询任务 */
declare interface SQLTask {
/** base64加密后的SQL语句 */
SQL: string;
/** 任务的配置信息 */
Config?: KVPair[];
}
/** script实例。 */
declare interface Script {
/** 脚本Id,长度36字节。 */
ScriptId?: string;
/** 脚本名称,长度0-25。 */
ScriptName?: string;
/** 脚本描述,长度0-50。 */
ScriptDesc?: string | null;
/** 默认关联数据库。 */
DatabaseName?: string;
/** SQL描述,长度0-10000。 */
SQLStatement?: string | null;
/** 更新时间戳, 单位:ms。 */
UpdateTime?: number;
}
/** Spark批作业集群Session资源配置模板; */
declare interface SessionResourceTemplate {
/** driver规格:small,medium,large,xlarge;内存型(引擎类型):m.small,m.medium,m.large,m.xlarge */
DriverSize?: string;
/** executor规格:small,medium,large,xlarge;内存型(引擎类型):m.small,m.medium,m.large,m.xlarge */
ExecutorSize?: string;
/** 指定executor数量,最小值为1,最大值小于集群规格 */
ExecutorNums?: number;
/** 指定executor max数量(动态配置场景下),最小值为1,最大值小于集群规格(当ExecutorMaxNumbers小于ExecutorNums时,改值设定为ExecutorNums) */
ExecutorMaxNumbers?: number;
/** 运行时参数 */
RunningTimeParameters?: DataEngineConfigPair[];
}
/** 混合表中,change表的数据保存时间,单位为天 */
declare interface SmartOptimizerChangeTablePolicy {
/** change表的数据保存时间,单位为天 */
DataRetentionTime?: number;
}
/** SmartOptimizerIndexPolicy */
declare interface SmartOptimizerIndexPolicy {
/** 开启索引 */
IndexEnable?: string;
}
/** SmartOptimizerLifecyclePolicy */
declare interface SmartOptimizerLifecyclePolicy {
/** 生命周期启用 */
LifecycleEnable?: string;
/** 过期时间 */
Expiration?: number;
/** 是否删表 */
DropTable?: boolean;
/** 过期字段 */
ExpiredField?: string;
/** 过期字段格式 */
ExpiredFieldFormat?: string;
}
/** SmartOptimizerPolicy */
declare interface SmartOptimizerPolicy {
/** 是否继承 */
Inherit?: string;
/** ResourceInfo */
Resources?: ResourceInfo[] | null;
/** SmartOptimizerWrittenPolicy */
Written?: SmartOptimizerWrittenPolicy | null;
/** SmartOptimizerLifecyclePolicy */
Lifecycle?: SmartOptimizerLifecyclePolicy | null;
/** SmartOptimizerIndexPolicy */
Index?: SmartOptimizerIndexPolicy | null;
/** SmartOptimizerChangeTablePolicy */
ChangeTable?: SmartOptimizerChangeTablePolicy | null;
}
/** SmartOptimizerWrittenPolicy */
declare interface SmartOptimizerWrittenPolicy {
/** none/enable/disable/default */
WrittenEnable?: string;
}
/** SmartPolicyRequest */
declare interface SmartPolicy {
/** 基础信息 */
BaseInfo?: SmartPolicyBaseInfo | null;
/** 策略描述 */
Policy?: SmartOptimizerPolicy | null;
}
/** SmartPolicyBaseInfo */
declare interface SmartPolicyBaseInfo {
/** 用户uin */
Uin: string;
/** Catalog/Database/Table */
PolicyType?: string;
/** Catalog名称 */
Catalog?: string;
/** 数据库名称 */
Database?: string;
/** 表名称 */
Table?: string;
/** 用户appid */
AppId?: string;
}
/** spark作业详情。 */
declare interface SparkJobInfo {
/** spark作业ID */
JobId?: string;
/** spark作业名 */
JobName?: string;
/** spark作业类型,可去1或者2,1表示batch作业, 2表示streaming作业 */
JobType?: number;
/** 引擎名 */
DataEngine?: string;
/** 该字段已下线,请使用字段Datasource */
Eni?: string;
/** 程序包是否本地上传,cos或者lakefs */
IsLocal?: string;
/** 程序包路径 */
JobFile?: string;
/** 角色ID */
RoleArn?: number;
/** spark作业运行主类 */
MainClass?: string;
/** 命令行参数,spark作业命令行参数,空格分隔 */
CmdArgs?: string;
/** spark原生配置,换行符分隔 */
JobConf?: string;
/** 依赖jars是否本地上传,cos或者lakefs */
IsLocalJars?: string;
/** spark作业依赖jars,逗号分隔 */
JobJars?: string;
/** 依赖文件是否本地上传,cos或者lakefs */
IsLocalFiles?: string;
/** spark作业依赖文件,逗号分隔 */
JobFiles?: string;
/** spark作业driver资源大小 */
JobDriverSize?: string;
/** spark作业executor资源大小 */
JobExecutorSize?: string;
/** spark作业executor个数 */
JobExecutorNums?: number;
/** spark流任务最大重试次数 */
JobMaxAttempts?: number;
/** spark作业创建者 */
JobCreator?: string;
/** spark作业创建时间 */
JobCreateTime?: number;
/** spark作业更新时间 */
JobUpdateTime?: number;
/** spark作业最近任务ID */
CurrentTaskId?: string;
/** spark作业最近运行状态,初始化:0,运行中:1,成功:2,数据写入中: 3, 排队中: 4, 失败: -1, 已删除: -3,已过期: -5 */
JobStatus?: number;
/** spark流作业统计 */
StreamingStat?: StreamingStatistics | null;
/** 数据源名 */
DataSource?: string | null;
/** pyspark:依赖上传方式,1、cos;2、lakefs(控制台使用,该方式不支持直接接口调用) */
IsLocalPythonFiles?: string | null;
/** 注:该返回值已废弃 */
AppPythonFiles?: string | null;
/** archives:依赖上传方式,1、cos;2、lakefs(控制台使用,该方式不支持直接接口调用) */
IsLocalArchives?: string | null;
/** archives:依赖资源 */
JobArchives?: string | null;
/** Spark Image 版本 */
SparkImage?: string | null;
/** pyspark:python依赖, 除py文件外,还支持zip/egg等归档格式,多文件以逗号分隔 */
JobPythonFiles?: string | null;
/** 当前job正在运行或准备运行的任务个数 */
TaskNum?: number | null;
/** 引擎状态:-100(默认:未知状态),-2~11:引擎正常状态; */
DataEngineStatus?: number | null;
/** 指定的Executor数量(最大值),默认为1,当开启动态分配有效,若未开启,则该值等于JobExecutorNums */
JobExecutorMaxNumbers?: number | null;
/** 镜像版本 */
SparkImageVersion?: string | null;
/** 查询脚本关联id */
SessionId?: string | null;
/** spark_emr_livy */
DataEngineClusterType?: string | null;
/** Spark 3.2-EMR */
DataEngineImageVersion?: string | null;
/** 任务资源配置是否继承集群模板,0(默认)不继承,1:继承 */
IsInherit?: number | null;
/** 是否使用session脚本的sql运行任务:false:否,true:是 */
IsSessionStarted?: boolean | null;
/** 引擎详细类型:SparkSQL、PrestoSQL、SparkBatch、StandardSpark、StandardPresto */
EngineTypeDetail?: string | null;
}
/** Spark监控数据 */
declare interface SparkMonitorMetrics {
/** shuffle写溢出到COS数据量,单位:byte */
ShuffleWriteBytesCos?: number | null;
/** shuffle写数据量,单位:byte */
ShuffleWriteBytesTotal?: number | null;
}
/** SparkSQL批任务运行日志 */
declare interface SparkSessionBatchLog {
/** 日志步骤:BEG/CS/DS/DSS/DSF/FINF/RTO/CANCEL/CT/DT/DTS/DTF/FINT/EXCE */
Step?: string;
/** 时间 */
Time?: string;
/** 日志提示 */
Message?: string;
/** 日志操作 */
Operate?: SparkSessionBatchLogOperate[] | null;
}
/** SparkSQL批任务日志操作信息。 */
declare interface SparkSessionBatchLogOperate {
/** 操作提示 */
Text?: string;
/** 操作类型:COPY、LOG、UI、RESULT、List、TAB */
Operate?: string;
/** 补充信息:如:taskid、sessionid、sparkui等 */
Supplement?: KVPair[] | null;
}
/** spark session详细信息 */
declare interface SparkSessionInfo {
/** spark session id */
SparkSessionId?: string;
/** spark session名称 */
SparkSessionName?: string;
/** 资源组id */
ResourceGroupId?: string;
/** engine session id */
EngineSessionId?: string;
/** engine session name */
EngineSessionName?: string;
/** 自动销毁时间 */
IdleTimeoutMin?: number;
/** driver规格 */
DriverSpec?: string;
/** executor规格 */
ExecutorSpec?: string;
/** executor最小数量 */
ExecutorNumMin?: number;
/** executor最大数量 */
ExecutorNumMax?: number;
/** 总规格最小 */
TotalSpecMin?: number;
/** 总规格最大 */
TotalSpecMax?: number;
}
/** 节点规格信息 */
declare interface SpecInfo {
/** 规格名称 */
Name?: string | null;
/** 当前规格的cu数 */
Cu?: number | null;
/** 当前规格的cpu数 */
Cpu?: number | null;
/** 当前规格的内存数,单位G */
Memory?: number | null;
}
/** 标准引擎资源组,配置相关信息 */
declare interface StandardEngineResourceGroupConfigInfo {
/** 引擎资源组 ID */
ResourceGroupId?: string;
/** 引擎ID */
DataEngineId?: string;
/** 资源组静态参数,需要重启资源组生效 */
StaticConfigPairs?: EngineResourceGroupConfigPair[];
/** 资源组动态参数,下一个任务生效。 */
DynamicConfigPairs?: EngineResourceGroupConfigPair[];
/** 创建时间 */
CreateTime?: number;
/** 更新时间 */
UpdateTime?: number;
}
/** 用户标准引擎资源组信息 */
declare interface StandardEngineResourceGroupInfo {
/** 标准引擎资源组ID */
EngineResourceGroupId?: string;
/** 标准引擎资源组名称,支持1-50个英文、汉字、数字、连接线-或下划线_ */
EngineResourceGroupName?: string;
/** 创建者 */
Creator?: string;
/** 资源组 状态,-1--删除、0--启动中、2--运行、3--暂停、4--暂停中、7--切换引擎中、8--配置修改中。9--资源组重启中,10--因为变配导致资源组启动、11--因为隔离导致资源组挂起、12- 资源配置下发中、 13-接入点隔离导致资源组挂起中 */
ResourceGroupState?: number;
/** 自动启动,(任务提交自动拉起资源组)0-自动启动,1-不自动启动 */
AutoLaunch?: number;
/** 自动挂起资源组。0-自动挂起,1-不自动挂起 */
AutoPause?: number;
/** 自动挂起时间,单位分钟,取值范围在1-999(在无任务AutoPauseTime后,资源组自动挂起) */
AutoPauseTime?: number;
/** driver的cu规格:当前支持:small(默认,1cu)、medium(2cu)、large(4cu)、xlarge(8cu),内存型cu为cpu:men=1:8,m.small(1cu内存型)、m.medium(2cu内存型)、m.large(4cu内存型)、m.xlarge(8cu内存型) */
DriverCuSpec?: string;
/** executor的cu规格:当前支持:small(默认,1cu)、medium(2cu)、large(4cu)、xlarge(8cu),内存型cu为cpu:men=1:8,m.small(1cu内存型)、m.medium(2cu内存型)、m.large(4cu内存型)、m.xlarge(8cu内存型) */
ExecutorCuSpec?: string;
/** 任务并发数 */
MaxConcurrency?: number;
/** executor最小数量, */
MinExecutorNums?: number;
/** executor最大数量, */
MaxExecutorNums?: number;
/** 创建时间戳 */
CreateTime?: number;
/** 更新时间戳 */
UpdateTime?: number;
/** 是否待重启,作为有资源参数,静态参数修改未重启生效的标识;0-- 不需要重启、1--因为资源参数待重启、2--因静态参数重启、3--因资源和静态参数而待重启、4--因网络配置而待重启、5--因网络配置和资源配置而待重启、6--因网络配置和静态参数而待重启、7--因网络配置,资源参数和静态参数而待重启、 */
NeedRestart?: number;
/** 绑定的引擎名称 */
DataEngineName?: string;
/** 绑定的引擎ID */
DataEngineId?: string;
/** 绑定的引擎状态 */
DataEngineState?: number | null;
/** 接入点ID */
AccessPointId?: string | null;
/** 接入点名称 */
AccessPointName?: string | null;
/** 接入点状态 */
AccessPointState?: number | null;
/** 资源组类型,console/ default */
ResourceGroupType?: string | null;
/** 引擎网络ID */
EngineNetworkId?: string | null;
/** 网络配置名称 */
NetworkConfigNames?: string[] | null;
/** AI类型资源组的框架类型 */
FrameType?: string | null;
/** AI类型资源组的镜像类型,内置:bulit-in,自定义:custom */
ImageType?: string | null;
/** 镜像名称 */
ImageName?: string | null;
/** 镜像id */
ImageVersion?: string | null;
/** AI资源组的可用资源上限 */
Size?: number | null;
/** 是否是默认资源组 */
IsDefault?: boolean | null;
/** 资源组场景 */
ResourceGroupScene?: string | null;
/** python类型资源组python单机节点资源上限,该值要小于资源组的资源上限.small:1cu medium:2cu large:4cu xlarge:8cu 4xlarge:16cu 8xlarge:32cu 16xlarge:64cu,如果是高内存型资源,在类型前面加上m. */
PythonCuSpec?: string | null;
/** Spark类型资源组资源配置模式,fast:快速模式,custom:自定义模式 */
SparkSpecMode?: string | null;
/** Spark类型资源组资源上限 */
SparkSize?: number | null;
/** Spark类型资源组资源最小值 */
SparkMinSize?: number | null;
}
/** statement信息 */
declare interface StatementInformation {
/** SQL任务唯一ID */
TaskId?: string;
/** SQL内容 */
SQL?: string;
}
/** notebook session statement输出信息。 */
declare interface StatementOutput {
/** 执行总数 */
ExecutionCount?: number;
/** Statement数据 */
Data?: KVPair[] | null;
/** Statement状态:ok,error */
Status?: string;
/** 错误名称 */
ErrorName?: string;
/** 错误类型 */
ErrorValue?: string | null;
/** 错误堆栈信息 */
ErrorMessage?: string[] | null;
/** SQL类型任务结果返回 */
SQLResult?: string;
}
/** spark流任务统计信息 */
declare interface StreamingStatistics {
/** 任务开始时间 */
StartTime: string;
/** 数据接收器数 */
Receivers: number;
/** 运行中的接收器数 */
NumActiveReceivers: number;
/** 不活跃的接收器数 */
NumInactiveReceivers: number;
/** 运行中的批数 */
NumActiveBatches: number;
/** 待处理的批数 */
NumRetainedCompletedBatches: number;
/** 已完成的批数 */
NumTotalCompletedBatches: number;
/** 平均输入速率 */
AverageInputRate: number;
/** 平均等待时长 */
AverageSchedulingDelay: number;
/** 平均处理时长 */
AverageProcessingTime: number;
/** 平均延时 */
AverageTotalDelay: number;
}
/** Doris数据源详细信息 */
declare interface TCHouseD {
/** 数据源实例的唯一ID */
InstanceId?: string;
/** 数据源名称 */
InstanceName?: string;
/** 数据源的JDBC */
JdbcUrl?: string;
/** 用于访问数据源的用户 */
User?: string;
/** 数据源访问密码,需要base64编码 */
Password?: string;
/** 数据源的VPC和子网信息 */
Location?: DatasourceConnectionLocation | null;
/** 默认数据库名 */
DbName?: string;
/** 访问信息 */
AccessInfo?: string;
}
/** 表字段描述信息 */
declare interface TColumn {
/** 字段名称 */
Name: string;
/** 字段类型 */
Type: string;
/** 字段描述 */
Comment?: string;
/** 字段默认值 */
Default?: string;
/** 字段是否是非空 */
NotNull?: boolean;
/** 表示整个 numeric 的长度,取值1-38 */
Precision?: number;
/** 表示小数部分的长度Scale小于Precision */
Scale?: number;
/** 字段位置,小的在前 */
Position?: number;
/** 是否为分区字段 */
IsPartition?: boolean;
}
/** 表分区字段信息 */
declare interface TPartition {
/** 字段名称 */
Name: string;
/** 字段类型 */
Type?: string;
/** 字段描述 */
Comment?: string;
/** 分区类型(已废弃) */
PartitionType?: string;
/** 分区格式(已废弃) */
PartitionFormat?: string;
/** 分区分隔数(已废弃) */
PartitionDot?: number;
/** 分区转换策略 */
Transform?: string;
/** 策略参数 */
TransformArgs?: string[];
}
/** 数据表配置信息 */
declare interface TableBaseInfo {
/** 该数据表所属数据库名字 */
DatabaseName: string;
/** 数据表名字 */
TableName: string;
/** 该数据表所属数据源名字 */
DatasourceConnectionName?: string;
/** 该数据表备注 */
TableComment?: string | null;
/** 具体类型,表or视图 */
Type?: string;
/** 数据格式类型,hive,iceberg等 */
TableFormat?: string;
/** 建表用户昵称 */
UserAlias?: string;
/** 建表用户ID */
UserSubUin?: string;
/** 数据治理配置项 */
GovernPolicy?: DataGovernPolicy | null;
/** 库数据治理是否关闭,关闭:true,开启:false */
DbGovernPolicyIsDisable?: string | null;
/** 智能数据治理配置项 */
SmartPolicy?: SmartPolicy | null;
/** T-ICEBERG表的主键 */
PrimaryKeys?: string[] | null;
}
/** 返回数据表的相关信息。 */
declare interface TableInfo {
/** 数据表配置信息。 */
TableBaseInfo: TableBaseInfo;
/** 数据表格式。每次入参可选如下其一的KV结构,[TextFile,CSV,Json, Parquet, ORC, AVRD]。 */
DataFormat: DataFormat;
/** 数据表列信息。 */
Columns: Column[];
/** 数据表分块信息。 */
Partitions: Partition[];
/** 数据存储路径。当前仅支持cos路径,格式如下:cosn://bucket-name/filepath。 */
Location: string;
}
/** 查询表信息对象 */
declare interface TableResponseInfo {
/** 数据表基本信息。 */
TableBaseInfo?: TableBaseInfo;
/** 数据表列信息。 */
Columns?: Column[] | null;
/** 数据表分块信息。 */
Partitions?: Partition[] | null;
/** 数据存储路径。 */
Location?: string;
/** 数据表属性信息。 */
Properties?: Property[] | null;
/** 数据表更新时间, 单位: ms。 */
ModifiedTime?: string;
/** 数据表创建时间,单位: ms。 */
CreateTime?: string;
/** 数据格式。 */
InputFormat?: string;
/** 数据表存储大小(单位:Byte) */
StorageSize?: number;
/** 数据表行数 */
RecordCount?: number;
/** xxxx */
MapMaterializedViewName?: string;
/** 访问热点 */
HeatValue?: number;
/** InputFormat的缩写 */
InputFormatShort?: string;
}
/** 标签对信息 */
declare interface TagInfo {
/** 标签键 */
TagKey?: string;
/** 标签值 */
TagValue?: string;
}
/** 任务类型,任务如SQL查询等。 */
declare interface Task {
/** SQL查询任务 */
SQLTask?: SQLTask;
/** Spark SQL查询任务 */
SparkSQLTask?: SQLTask;
}
/** 任务监控信息 */
declare interface TaskMonitorInfo {
/** 任务id */
TaskId?: string;
/** 引擎名称 */
HouseName?: string;
/** sql语句 */
QuerySQL?: string;
/** 任务时间 */
CreateTime?: string;
/** 执行时间 */
UsedTime?: string;
/** 数据扫描量 */
DataAmount?: string;
/** 指标信息 */
QueryStats?: string;
}
/** 任务实例。 */
declare interface TaskResponseInfo {
/** 任务所属Database的名称。 */
DatabaseName?: string;
/** 任务数据量。 */
DataAmount?: number;
/** 任务Id。 */
Id?: string;
/** 计算耗时,单位: ms */
UsedTime?: number;
/** 任务输出路径。 */
OutputPath?: string;
/** 任务创建时间。 */
CreateTime?: string;
/** 任务状态:0 初始化, 1 执行中, 2 执行成功,3 数据写入中,4 排队中。-1 执行失败,-3 已取消。 */
State?: number;
/** 任务SQL类型,DDL|DML等 */
SQLType?: string;
/** 任务SQL语句 */
SQL?: string;
/** 结果是否过期。 */
ResultExpired?: boolean;
/** 数据影响统计信息。 */
RowAffectInfo?: string;
/** 任务结果数据表。 */
DataSet?: string;
/** 失败信息, 例如:errorMessage。该字段已废弃。 */
Error?: string;
/** 任务执行进度num/100(%) */
Percentage?: number;
/** 任务执行输出信息。 */
OutputMessage?: string;
/** 执行SQL的引擎类型 */
TaskType?: string;
/** 任务进度明细 */
ProgressDetail?: string;
/** 任务结束时间 */
UpdateTime?: string;
/** 计算资源id */
DataEngineId?: string;
/** 执行sql的子uin */
OperateUin?: string;
/** 计算资源名字 */
DataEngineName?: string;
/** 导入类型是本地导入还是cos */
InputType?: string;
/** 导入配置 */
InputConf?: string;
/** 数据条数 */
DataNumber?: number;
/** 查询数据能不能下载 */
CanDownload?: boolean;
/** 用户别名 */
UserAlias?: string;
/** spark应用作业名 */
SparkJobName?: string;
/** spark应用作业Id */
SparkJobId?: string;
/** spark应用入口jar文件 */
SparkJobFile?: string;
/** spark ui url */
UiUrl?: string;
/** 任务耗时,单位: ms */
TotalTime?: number;
/** spark app job执行task的程序入口参数 */
CmdArgs?: string;
/** 集群镜像大版本名称 */
ImageVersion?: string;
/** driver规格:small,medium,large,xlarge;内