tencentcloud-sdk-nodejs
Version:
2,661 lines (2,660 loc) • 253 kB
TypeScript
/**
* CheckDataEngineConfigPairsValidity返回参数结构体
*/
export interface CheckDataEngineConfigPairsValidityResponse {
/**
* 参数有效性:ture:有效,false:至少存在一个无效参数;
*/
IsAvailable?: boolean;
/**
* 无效参数集合
*/
UnavailableConfig?: Array<string>;
/**
* 唯一请求 ID,由服务端生成,每次请求都会返回(若请求因其他原因未能抵达服务端,则该次请求不会获得 RequestId)。定位问题时需要提供该次请求的 RequestId。
*/
RequestId?: string;
}
/**
* DescribeResultDownload返回参数结构体
*/
export interface DescribeResultDownloadResponse {
/**
* 下载文件路径
*/
Path?: string;
/**
* 任务状态 init | queue | format | compress | success| timeout | error
*/
Status?: string;
/**
* 任务异常原因
*/
Reason?: string;
/**
* 临时SecretId
*/
SecretId?: string;
/**
* 临时SecretKey
*/
SecretKey?: string;
/**
* 临时Token
*/
Token?: string;
/**
* 唯一请求 ID,由服务端生成,每次请求都会返回(若请求因其他原因未能抵达服务端,则该次请求不会获得 RequestId)。定位问题时需要提供该次请求的 RequestId。
*/
RequestId?: string;
}
/**
* 引擎的访问信息
*/
export interface AccessInfo {
/**
* 访问引擎的方法
注意:此字段可能返回 null,表示取不到有效值。
*/
AccessType?: string;
/**
* 访问引擎的url,内部的部分参数需要根据实际情况替换
注意:此字段可能返回 null,表示取不到有效值。
*/
AccessConnectionInfos?: Array<string>;
}
/**
* DescribeDatabases请求参数结构体
*/
export interface DescribeDatabasesRequest {
/**
* 返回数量,默认为10,最大值为100。
*/
Limit?: number;
/**
* 数据偏移量,从0开始,默认为0。
*/
Offset?: number;
/**
* 模糊匹配,库名关键字。
*/
KeyWord?: string;
/**
* 数据源唯名称,该名称可以通过DescribeDatasourceConnection接口查询到。默认为DataLakeCatalog
*/
DatasourceConnectionName?: string;
/**
* 排序字段,CreateTime:创建时间,Name:数据库名称
*/
Sort?: string;
/**
* 排序类型:false:降序(默认)、true:升序
*/
Asc?: boolean;
}
/**
* 元数据基本对象
*/
export interface Asset {
/**
* 主键
注意:此字段可能返回 null,表示取不到有效值。
*/
Id?: number;
/**
* 名称
注意:此字段可能返回 null,表示取不到有效值。
*/
Name?: string;
/**
* 对象GUID值
注意:此字段可能返回 null,表示取不到有效值。
*/
Guid?: string;
/**
* 数据目录
注意:此字段可能返回 null,表示取不到有效值。
*/
Catalog?: string;
/**
* 描述信息
*/
Description?: string;
/**
* 对象owner
*/
Owner?: string;
/**
* 对象owner账户
*/
OwnerAccount?: string;
/**
* 权限
*/
PermValues?: Array<KVPair>;
/**
* 附加属性
*/
Params?: Array<KVPair>;
/**
* 附加业务属性
*/
BizParams?: Array<KVPair>;
/**
* 数据版本
*/
DataVersion?: number;
/**
* 创建时间
*/
CreateTime?: string;
/**
* 修改时间
*/
ModifiedTime?: string;
/**
* 数据源主键
*/
DatasourceId?: number;
}
/**
* CreateUser请求参数结构体
*/
export interface CreateUserRequest {
/**
* 需要授权的子用户uin,可以通过腾讯云控制台右上角 → “账号信息” → “账号ID进行查看”。
*/
UserId: string;
/**
* 用户描述信息,方便区分不同用户
*/
UserDescription?: string;
/**
* 绑定到用户的权限集合
*/
PolicySet?: Array<Policy>;
/**
* 用户类型。ADMIN:管理员 COMMON:一般用户。当用户类型为管理员的时候,不能设置权限集合和绑定的工作组集合,管理员默认拥有所有权限。该参数不填默认为COMMON
*/
UserType?: string;
/**
* 绑定到用户的工作组ID集合。
*/
WorkGroupIds?: Array<number | bigint>;
/**
* 用户别名,字符长度小50
*/
UserAlias?: string;
}
/**
* python-spark镜像信息。
*/
export interface PythonSparkImage {
/**
* spark镜像唯一id
*/
SparkImageId?: string;
/**
* 集群小版本镜像id
*/
ChildImageVersionId?: string;
/**
* spark镜像名称
*/
SparkImageVersion?: string;
/**
* spark镜像描述信息
*/
Description?: string;
/**
* 创建时间
*/
CreateTime?: string;
/**
* 更新时间
*/
UpdateTime?: string;
}
/**
* ModifyGovernEventRule返回参数结构体
*/
export interface ModifyGovernEventRuleResponse {
/**
* 唯一请求 ID,由服务端生成,每次请求都会返回(若请求因其他原因未能抵达服务端,则该次请求不会获得 RequestId)。定位问题时需要提供该次请求的 RequestId。
*/
RequestId?: string;
}
/**
* DescribeNotebookSessions请求参数结构体
*/
export interface DescribeNotebookSessionsRequest {
/**
* DLC Spark作业引擎名称
*/
DataEngineName: string;
/**
* Session状态,包含:not_started(未启动)、starting(已启动)、idle(等待输入)、busy(正在运行statement)、shutting_down(停止)、error(异常)、dead(已退出)、killed(被杀死)、success(正常停止)
*/
State?: Array<string>;
/**
* 排序字段(默认按创建时间)
*/
SortFields?: Array<string>;
/**
* 排序字段:true:升序、false:降序(默认)
*/
Asc?: boolean;
/**
* 分页参数,默认10
*/
Limit?: number;
/**
* 分页参数,默认0
*/
Offset?: number;
/**
* 过滤类型,支持如下的过滤类型,传参Name应为以下其中一个, engine-generation - String(引擎时代: supersql:supersql引擎,native:标准引擎):notebook-keyword - String(数据引擎名称或sessionid或sessionname的模糊搜索)
*/
Filters?: Array<Filter>;
}
/**
* SmartOptimizerLifecyclePolicy
*/
export interface SmartOptimizerLifecyclePolicy {
/**
* 生命周期启用
*/
LifecycleEnable?: string;
/**
* 过期时间
*/
Expiration?: number;
/**
* 是否删表
*/
DropTable?: boolean;
/**
* 过期字段
*/
ExpiredField?: string;
/**
* 过期字段格式
*/
ExpiredFieldFormat?: string;
}
/**
* DescribeDMSDatabase返回参数结构体
*/
export interface DescribeDMSDatabaseResponse {
/**
* 数据库名称
*/
Name?: string;
/**
* schema名称
*/
SchemaName?: string;
/**
* 存储地址
*/
Location?: string;
/**
* 数据对象
*/
Asset?: Asset;
/**
* 唯一请求 ID,由服务端生成,每次请求都会返回(若请求因其他原因未能抵达服务端,则该次请求不会获得 RequestId)。定位问题时需要提供该次请求的 RequestId。
*/
RequestId?: string;
}
/**
* 策略集合
*/
export interface Policys {
/**
* 策略集合
注意:此字段可能返回 null,表示取不到有效值。
*/
PolicySet?: Array<Policy>;
/**
* 策略总数
*/
TotalCount?: number;
}
/**
* DropDMSDatabase请求参数结构体
*/
export interface DropDMSDatabaseRequest {
/**
* 数据库名称
*/
Name: string;
/**
* 是否删除数据
*/
DeleteData?: boolean;
/**
* 是否级联删除
*/
Cascade?: boolean;
/**
* 数据源连接名
*/
DatasourceConnectionName?: string;
}
/**
* 按批提交Statement运行SQL任务。
*/
export interface NotebookSessionStatementBatchInformation {
/**
* 任务详情列表
注意:此字段可能返回 null,表示取不到有效值。
*/
NotebookSessionStatementBatch?: Array<NotebookSessionStatementInfo>;
/**
* 当前批任务是否运行完成
*/
IsAvailable?: boolean;
/**
* Session唯一标识
*/
SessionId?: string;
/**
* Batch唯一标识
注意:此字段可能返回 null,表示取不到有效值。
*/
BatchId?: string;
}
/**
* DescribeTables返回参数结构体
*/
export interface DescribeTablesResponse {
/**
* 数据表对象列表。
*/
TableList?: Array<TableResponseInfo>;
/**
* 实例总数。
*/
TotalCount?: number;
/**
* 唯一请求 ID,由服务端生成,每次请求都会返回(若请求因其他原因未能抵达服务端,则该次请求不会获得 RequestId)。定位问题时需要提供该次请求的 RequestId。
*/
RequestId?: string;
}
/**
* DescribeDataEngineEvents返回参数结构体
*/
export interface DescribeDataEngineEventsResponse {
/**
* 事件详细信息
注意:此字段可能返回 null,表示取不到有效值。
*/
Events?: Array<HouseEventsInfo>;
/**
* 分页号
*/
Page?: number;
/**
* 分页大小
*/
Size?: number;
/**
* 总页数
*/
TotalPages?: number;
/**
* 总条数
*/
TotalCount?: number;
/**
* 唯一请求 ID,由服务端生成,每次请求都会返回(若请求因其他原因未能抵达服务端,则该次请求不会获得 RequestId)。定位问题时需要提供该次请求的 RequestId。
*/
RequestId?: string;
}
/**
* Spark批作业集群Session资源配置模板;
*/
export interface SessionResourceTemplate {
/**
* driver规格:small,medium,large,xlarge;内存型(引擎类型):m.small,m.medium,m.large,m.xlarge
*/
DriverSize?: string;
/**
* executor规格:small,medium,large,xlarge;内存型(引擎类型):m.small,m.medium,m.large,m.xlarge
*/
ExecutorSize?: string;
/**
* 指定executor数量,最小值为1,最大值小于集群规格
*/
ExecutorNums?: number;
/**
* 指定executor max数量(动态配置场景下),最小值为1,最大值小于集群规格(当ExecutorMaxNumbers小于ExecutorNums时,改值设定为ExecutorNums)
*/
ExecutorMaxNumbers?: number;
/**
* 运行时参数
*/
RunningTimeParameters?: Array<DataEngineConfigPair>;
}
/**
* DescribeDMSPartitions请求参数结构体
*/
export interface DescribeDMSPartitionsRequest {
/**
* 数据库名
*/
DatabaseName: string;
/**
* 表名称
*/
TableName: string;
/**
* schema名称
*/
SchemaName?: string;
/**
* 名称
*/
Name?: string;
/**
* 单个分区名称,精准匹配
*/
Values?: Array<string>;
/**
* 多个分区名称,精准匹配
*/
PartitionNames?: Array<string>;
/**
* 多个分区字段的匹配,模糊匹配
*/
PartValues?: Array<string>;
/**
* 过滤SQL
*/
Filter?: string;
/**
* 最大分区数量
*/
MaxParts?: number;
/**
* 翻页跳过数量
*/
Offset?: number;
/**
* 页面数量
*/
Limit?: number;
/**
* 表达式
*/
Expression?: string;
/**
* 数据源连接名
*/
DatasourceConnectionName?: string;
}
/**
* DescribeDMSTable返回参数结构体
*/
export interface DescribeDMSTableResponse {
/**
* 基础对象
*/
Asset?: Asset;
/**
* 视图文本
*/
ViewOriginalText?: string;
/**
* 视图文本
*/
ViewExpandedText?: string;
/**
* hive维护版本
*/
Retention?: number;
/**
* 存储对象
*/
Sds?: DMSSds;
/**
* 分区列
注意:此字段可能返回 null,表示取不到有效值。
*/
PartitionKeys?: Array<DMSColumn>;
/**
* 分区
注意:此字段可能返回 null,表示取不到有效值。
*/
Partitions?: Array<DMSPartition>;
/**
* 表类型
*/
Type?: string;
/**
* 数据库名称
*/
DbName?: string;
/**
* Schame名称
*/
SchemaName?: string;
/**
* 存储大小
*/
StorageSize?: number;
/**
* 记录数量
*/
RecordCount?: number;
/**
* 生命周期
*/
LifeTime?: number;
/**
* 最后访问时间
*/
LastAccessTime?: string;
/**
* 数据更新时间
*/
DataUpdateTime?: string;
/**
* 结构更新时间
*/
StructUpdateTime?: string;
/**
* 列
注意:此字段可能返回 null,表示取不到有效值。
*/
Columns?: Array<DMSColumn>;
/**
* 表名称
*/
Name?: string;
/**
* 唯一请求 ID,由服务端生成,每次请求都会返回(若请求因其他原因未能抵达服务端,则该次请求不会获得 RequestId)。定位问题时需要提供该次请求的 RequestId。
*/
RequestId?: string;
}
/**
* CreateTasksInOrder请求参数结构体
*/
export interface CreateTasksInOrderRequest {
/**
* 数据库名称。如果SQL语句中有数据库名称,优先使用SQL语句中的数据库,否则使用该参数指定的数据库。
*/
DatabaseName: string;
/**
* SQL任务信息
*/
Tasks: TasksInfo;
/**
* 数据源名称,默认为COSDataCatalog
*/
DatasourceConnectionName?: string;
}
/**
* CreateDatabase请求参数结构体
*/
export interface CreateDatabaseRequest {
/**
* 数据库基础信息
*/
DatabaseInfo: DatabaseInfo;
/**
* 数据源名称,默认为DataLakeCatalog
*/
DatasourceConnectionName?: string;
}
/**
* DescribeDMSTables返回参数结构体
*/
export interface DescribeDMSTablesResponse {
/**
* DMS元数据列表信息
注意:此字段可能返回 null,表示取不到有效值。
*/
TableList?: Array<DMSTableInfo>;
/**
* 统计值
*/
TotalCount?: number;
/**
* 唯一请求 ID,由服务端生成,每次请求都会返回(若请求因其他原因未能抵达服务端,则该次请求不会获得 RequestId)。定位问题时需要提供该次请求的 RequestId。
*/
RequestId?: string;
}
/**
* DescribeAdvancedStoreLocation返回参数结构体
*/
export interface DescribeAdvancedStoreLocationResponse {
/**
* 是否启用高级设置:0-否,1-是
*/
Enable?: number;
/**
* 查询结果保存cos路径
*/
StoreLocation?: string;
/**
* 是否有托管存储权限
*/
HasLakeFs?: boolean;
/**
* 托管存储状态,HasLakeFs等于true时,该值才有意义
*/
LakeFsStatus?: string;
/**
* 托管存储桶类型
*/
BucketType?: string;
/**
* 唯一请求 ID,由服务端生成,每次请求都会返回(若请求因其他原因未能抵达服务端,则该次请求不会获得 RequestId)。定位问题时需要提供该次请求的 RequestId。
*/
RequestId?: string;
}
/**
* DescribeTablesName返回参数结构体
*/
export interface DescribeTablesNameResponse {
/**
* 数据表名称对象列表。
*/
TableNameList?: Array<string>;
/**
* 实例总数。
*/
TotalCount?: number;
/**
* 唯一请求 ID,由服务端生成,每次请求都会返回(若请求因其他原因未能抵达服务端,则该次请求不会获得 RequestId)。定位问题时需要提供该次请求的 RequestId。
*/
RequestId?: string;
}
/**
* DescribeAdvancedStoreLocation请求参数结构体
*/
export declare type DescribeAdvancedStoreLocationRequest = null;
/**
* CancelNotebookSessionStatementBatch返回参数结构体
*/
export interface CancelNotebookSessionStatementBatchResponse {
/**
* 唯一请求 ID,由服务端生成,每次请求都会返回(若请求因其他原因未能抵达服务端,则该次请求不会获得 RequestId)。定位问题时需要提供该次请求的 RequestId。
*/
RequestId?: string;
}
/**
* 混合表中,change表的数据保存时间,单位为天
*/
export interface SmartOptimizerChangeTablePolicy {
/**
* change表的数据保存时间,单位为天
*/
DataRetentionTime?: number;
}
/**
* SparkSQL批任务信息
*/
export interface BatchSqlTask {
/**
* SQL子任务唯一标识
*/
TaskId?: string;
/**
* 运行SQL
*/
ExecuteSQL?: string;
/**
* 任务信息,成功则返回:Task Success!,失败则返回异常信息
*/
Message?: string;
}
/**
* CreateNotebookSession请求参数结构体
*/
export interface CreateNotebookSessionRequest {
/**
* Session名称
*/
Name: string;
/**
* 类型,当前支持:spark、pyspark、sparkr、sql
*/
Kind: string;
/**
* DLC Spark作业引擎名称
*/
DataEngineName: string;
/**
* session文件地址,当前支持:cosn://和lakefs://两种路径
*/
ProgramDependentFiles?: Array<string>;
/**
* 依赖的jar程序地址,当前支持:cosn://和lakefs://两种路径
*/
ProgramDependentJars?: Array<string>;
/**
* 依赖的python程序地址,当前支持:cosn://和lakefs://两种路径
*/
ProgramDependentPython?: Array<string>;
/**
* 依赖的pyspark虚拟环境地址,当前支持:cosn://和lakefs://两种路径
*/
ProgramArchives?: Array<string>;
/**
* 指定的Driver规格,当前支持:small(默认,1cu)、medium(2cu)、large(4cu)、xlarge(8cu)
*/
DriverSize?: string;
/**
* 指定的Executor规格,当前支持:small(默认,1cu)、medium(2cu)、large(4cu)、xlarge(8cu)
*/
ExecutorSize?: string;
/**
* 指定的Executor数量,默认为1
*/
ExecutorNumbers?: number;
/**
* Session相关配置,当前支持:
1. dlc.eni: 用户配置的eni网关信息,可以通过该字段设置;
2. dlc.role.arn: 用户配置的roleArn鉴权策略配置信息,可以通过该字段设置;
3. dlc.sql.set.config: 用户配置的集群配置信息,可以通过该字段设置;
*/
Arguments?: Array<KVPair>;
/**
* 代理用户,默认为root
*/
ProxyUser?: string;
/**
* 指定的Session超时时间,单位秒,默认3600秒
*/
TimeoutInSecond?: number;
/**
* 指定的Executor数量(最大值),默认为1,当开启动态分配有效,若未开启,则该值等于ExecutorNumbers
*/
ExecutorMaxNumbers?: number;
/**
* 指定spark版本名称,当前任务使用该spark镜像运行
*/
SparkImage?: string;
/**
* 是否继承集群的资源类配置:0:自定义(默认),1:继承集群;
*/
IsInherit?: number;
}
/**
* UpdateDataEngine请求参数结构体
*/
export interface UpdateDataEngineRequest {
/**
* 资源大小
*/
Size: number;
/**
* 最小资源
*/
MinClusters: number;
/**
* 最大资源
*/
MaxClusters: number;
/**
* 开启自动刷新:true:开启、false(默认):关闭
*/
AutoResume: boolean;
/**
* 数据引擎名称
*/
DataEngineName: string;
/**
* 相关信息
*/
Message: string;
/**
* 是否自定挂起集群:false(默认):不自动挂起、true:自动挂起
*/
AutoSuspend?: boolean;
/**
* 定时启停集群策略:0(默认):关闭定时策略、1:开启定时策略(注:定时启停策略与自动挂起策略互斥)
*/
CrontabResumeSuspend?: number;
/**
* 定时启停策略,复杂类型:包含启停时间、挂起集群策略
*/
CrontabResumeSuspendStrategy?: CrontabResumeSuspendStrategy;
/**
* 单个集群最大并发任务数,默认5
*/
MaxConcurrency?: number;
/**
* 可容忍的排队时间,默认0。当任务排队的时间超过可容忍的时间时可能会触发扩容。如果该参数为0,则表示一旦有任务排队就可能立即触发扩容。
*/
TolerableQueueTime?: number;
/**
* 集群自动挂起时间
*/
AutoSuspendTime?: number;
/**
* spark jar 包年包月集群是否开启弹性
*/
ElasticSwitch?: boolean;
/**
* spark jar 包年包月集群弹性上限
*/
ElasticLimit?: number;
/**
* Spark批作业集群Session资源配置模板
*/
SessionResourceTemplate?: SessionResourceTemplate;
}
/**
* SmartOptimizerWrittenPolicy
*/
export interface SmartOptimizerWrittenPolicy {
/**
* none/enable/disable/default
*/
WrittenEnable?: string;
}
/**
* DescribeSparkAppJobs请求参数结构体
*/
export interface DescribeSparkAppJobsRequest {
/**
* 返回结果按照该字段排序
*/
SortBy?: string;
/**
* 正序或者倒序,例如:desc
*/
Sorting?: string;
/**
* 过滤条件,如下支持的过滤类型,传参Name应为其一:spark-job-name(作业名称),spark-job-id(作业id),spark-app-type(作业类型,1:批任务,2:流任务,4:SQL作业),user-name(创建人),key-word(作业名称或ID关键词模糊搜索)
*/
Filters?: Array<Filter>;
/**
* 更新时间起始点,支持格式:yyyy-MM-dd HH:mm:ss
*/
StartTime?: string;
/**
* 更新时间截止点,支持格式:yyyy-MM-dd HH:mm:ss
*/
EndTime?: string;
/**
* 查询列表偏移量, 默认值0
*/
Offset?: number;
/**
* 查询列表限制数量, 默认值100
*/
Limit?: number;
}
/**
* DeleteNotebookSession请求参数结构体
*/
export interface DeleteNotebookSessionRequest {
/**
* Session唯一标识
*/
SessionId: string;
}
/**
* CreateDMSTable返回参数结构体
*/
export interface CreateDMSTableResponse {
/**
* 唯一请求 ID,由服务端生成,每次请求都会返回(若请求因其他原因未能抵达服务端,则该次请求不会获得 RequestId)。定位问题时需要提供该次请求的 RequestId。
*/
RequestId?: string;
}
/**
* DescribeSparkSessionBatchSQL请求参数结构体
*/
export interface DescribeSparkSessionBatchSQLRequest {
/**
* SparkSQL唯一标识
*/
BatchId: string;
/**
* 用户自定义主键, 若不为空,则按照该值查询
*/
CustomKey?: string;
}
/**
* DescribeUsers返回参数结构体
*/
export interface DescribeUsersResponse {
/**
* 查询到的用户总数
*/
TotalCount: number;
/**
* 查询到的授权用户信息集合
*/
UserSet: Array<UserInfo>;
/**
* 唯一请求 ID,由服务端生成,每次请求都会返回(若请求因其他原因未能抵达服务端,则该次请求不会获得 RequestId)。定位问题时需要提供该次请求的 RequestId。
*/
RequestId?: string;
}
/**
* SmartOptimizerPolicy
*/
export interface SmartOptimizerPolicy {
/**
* 是否继承
*/
Inherit?: string;
/**
* ResourceInfo
注意:此字段可能返回 null,表示取不到有效值。
*/
Resources?: Array<ResourceInfo>;
/**
* SmartOptimizerWrittenPolicy
注意:此字段可能返回 null,表示取不到有效值。
*/
Written?: SmartOptimizerWrittenPolicy;
/**
* SmartOptimizerLifecyclePolicy
注意:此字段可能返回 null,表示取不到有效值。
*/
Lifecycle?: SmartOptimizerLifecyclePolicy;
/**
* SmartOptimizerIndexPolicy
注意:此字段可能返回 null,表示取不到有效值。
*/
Index?: SmartOptimizerIndexPolicy;
/**
* SmartOptimizerChangeTablePolicy
注意:此字段可能返回 null,表示取不到有效值。
*/
ChangeTable?: SmartOptimizerChangeTablePolicy;
}
/**
* DescribeUserInfo返回参数结构体
*/
export interface DescribeUserInfoResponse {
/**
* 用户详细信息
注意:此字段可能返回 null,表示取不到有效值。
*/
UserInfo?: UserDetailInfo;
/**
* 唯一请求 ID,由服务端生成,每次请求都会返回(若请求因其他原因未能抵达服务端,则该次请求不会获得 RequestId)。定位问题时需要提供该次请求的 RequestId。
*/
RequestId?: string;
}
/**
* ModifyUserType请求参数结构体
*/
export interface ModifyUserTypeRequest {
/**
* 用户ID
*/
UserId: string;
/**
* 用户要修改到的类型,ADMIN:管理员,COMMON:一般用户。
*/
UserType: string;
}
/**
* NotebookSessionStatement详情。
*/
export interface NotebookSessionStatementInfo {
/**
* 完成时间戳
*/
Completed?: number;
/**
* 开始时间戳
*/
Started?: number;
/**
* 完成进度,百分制
*/
Progress?: number;
/**
* Session Statement唯一标识
*/
StatementId?: string;
/**
* Session Statement状态,包含:waiting(排队中)、running(运行中)、available(正常)、error(异常)、cancelling(取消中)、cancelled(已取消)
*/
State?: string;
/**
* Statement输出信息
注意:此字段可能返回 null,表示取不到有效值。
*/
OutPut?: StatementOutput;
/**
* 批任务id
*/
BatchId?: string;
/**
* 运行语句
*/
Code?: string;
/**
* 任务ID
*/
TaskId?: string;
}
/**
* Elasticsearch数据源的详细信息
*/
export interface ElasticsearchInfo {
/**
* 数据源ID
注意:此字段可能返回 null,表示取不到有效值。
*/
InstanceId?: string;
/**
* 数据源名称
注意:此字段可能返回 null,表示取不到有效值。
*/
InstanceName?: string;
/**
* 用户名
注意:此字段可能返回 null,表示取不到有效值。
*/
User?: string;
/**
* 密码,需要base64编码
注意:此字段可能返回 null,表示取不到有效值。
*/
Password?: string;
/**
* 数据源的VPC和子网信息
注意:此字段可能返回 null,表示取不到有效值。
*/
Location?: DatasourceConnectionLocation;
/**
* 默认数据库名称
注意:此字段可能返回 null,表示取不到有效值。
*/
DbName?: string;
/**
* 访问Elasticsearch的ip、端口信息
注意:此字段可能返回 null,表示取不到有效值。
*/
ServiceInfo?: Array<IpPortPair>;
}
/**
* DeleteUsersFromWorkGroup返回参数结构体
*/
export interface DeleteUsersFromWorkGroupResponse {
/**
* 唯一请求 ID,由服务端生成,每次请求都会返回(若请求因其他原因未能抵达服务端,则该次请求不会获得 RequestId)。定位问题时需要提供该次请求的 RequestId。
*/
RequestId?: string;
}
/**
* DescribeDLCCatalogAccess返回参数结构体
*/
export interface DescribeDLCCatalogAccessResponse {
/**
* 总数
*/
TotalCount?: number;
/**
* DLCCatalog授权列表
*/
Rows?: Array<DLCCatalogAccess>;
/**
* 唯一请求 ID,由服务端生成,每次请求都会返回(若请求因其他原因未能抵达服务端,则该次请求不会获得 RequestId)。定位问题时需要提供该次请求的 RequestId。
*/
RequestId?: string;
}
/**
* DeleteTable返回参数结构体
*/
export interface DeleteTableResponse {
/**
* 唯一请求 ID,由服务端生成,每次请求都会返回(若请求因其他原因未能抵达服务端,则该次请求不会获得 RequestId)。定位问题时需要提供该次请求的 RequestId。
*/
RequestId?: string;
}
/**
* DescribeUserRoles返回参数结构体
*/
export interface DescribeUserRolesResponse {
/**
* 符合列举条件的总数量
*/
Total?: number;
/**
* 用户角色信息
*/
UserRoles?: Array<UserRole>;
/**
* 唯一请求 ID,由服务端生成,每次请求都会返回(若请求因其他原因未能抵达服务端,则该次请求不会获得 RequestId)。定位问题时需要提供该次请求的 RequestId。
*/
RequestId?: string;
}
/**
* CreateExportTask请求参数结构体
*/
export interface CreateExportTaskRequest {
/**
* 数据来源,lakefsStorage、taskResult
*/
InputType: string;
/**
* 导出任务输入配置
*/
InputConf: Array<KVPair>;
/**
* 导出任务输出配置
*/
OutputConf: Array<KVPair>;
/**
* 目标数据源的类型,目前支持导出到cos
*/
OutputType?: string;
}
/**
* CreateDMSTable请求参数结构体
*/
export interface CreateDMSTableRequest {
/**
* 基础对象
*/
Asset?: Asset;
/**
* 表类型:EXTERNAL_TABLE, VIRTUAL_VIEW, MATERIALIZED_VIEW
*/
Type?: string;
/**
* 数据库名称
*/
DbName?: string;
/**
* 存储大小
*/
StorageSize?: number;
/**
* 记录数量
*/
RecordCount?: number;
/**
* 生命周期
*/
LifeTime?: number;
/**
* 数据更新时间
*/
DataUpdateTime?: string;
/**
* 结构更新时间
*/
StructUpdateTime?: string;
/**
* 最后访问时间
*/
LastAccessTime?: string;
/**
* 存储对象
*/
Sds?: DMSSds;
/**
* 列
*/
Columns?: Array<DMSColumn>;
/**
* 分区键值
*/
PartitionKeys?: Array<DMSColumn>;
/**
* 视图文本
*/
ViewOriginalText?: string;
/**
* 视图文本
*/
ViewExpandedText?: string;
/**
* 分区
*/
Partitions?: Array<DMSPartition>;
/**
* 表名称
*/
Name?: string;
/**
* 数据源连接名
*/
DatasourceConnectionName?: string;
}
/**
* DMSTable基本信息
*/
export interface DMSTable {
/**
* 视图文本
注意:此字段可能返回 null,表示取不到有效值。
*/
ViewOriginalText?: string;
/**
* 视图文本
注意:此字段可能返回 null,表示取不到有效值。
*/
ViewExpandedText?: string;
/**
* hive维护版本
注意:此字段可能返回 null,表示取不到有效值。
*/
Retention?: number;
/**
* 存储对象
注意:此字段可能返回 null,表示取不到有效值。
*/
Sds?: DMSSds;
/**
* 分区列
注意:此字段可能返回 null,表示取不到有效值。
*/
PartitionKeys?: Array<DMSColumn>;
/**
* 分区
注意:此字段可能返回 null,表示取不到有效值。
*/
Partitions?: Array<DMSPartition>;
/**
* 表类型
注意:此字段可能返回 null,表示取不到有效值。
*/
Type?: string;
/**
* 数据库名称
注意:此字段可能返回 null,表示取不到有效值。
*/
DbName?: string;
/**
* Schema名称
注意:此字段可能返回 null,表示取不到有效值。
*/
SchemaName?: string;
/**
* 存储大小
注意:此字段可能返回 null,表示取不到有效值。
*/
StorageSize?: number;
/**
* 记录数量
注意:此字段可能返回 null,表示取不到有效值。
*/
RecordCount?: number;
/**
* 生命周期
注意:此字段可能返回 null,表示取不到有效值。
*/
LifeTime?: number;
/**
* 最后访问时间
注意:此字段可能返回 null,表示取不到有效值。
*/
LastAccessTime?: string;
/**
* 数据更新时间
注意:此字段可能返回 null,表示取不到有效值。
*/
DataUpdateTime?: string;
/**
* 结构更新时间
注意:此字段可能返回 null,表示取不到有效值。
*/
StructUpdateTime?: string;
/**
* 列
注意:此字段可能返回 null,表示取不到有效值。
*/
Columns?: Array<DMSColumn>;
/**
* 表名
注意:此字段可能返回 null,表示取不到有效值。
*/
Name?: string;
}
/**
* ModifyAdvancedStoreLocation返回参数结构体
*/
export interface ModifyAdvancedStoreLocationResponse {
/**
* 唯一请求 ID,由服务端生成,每次请求都会返回(若请求因其他原因未能抵达服务端,则该次请求不会获得 RequestId)。定位问题时需要提供该次请求的 RequestId。
*/
RequestId?: string;
}
/**
* 元数据存储描述属性
*/
export interface DMSSds {
/**
* 存储地址
注意:此字段可能返回 null,表示取不到有效值。
*/
Location?: string;
/**
* 输入格式
注意:此字段可能返回 null,表示取不到有效值。
*/
InputFormat?: string;
/**
* 输出格式
注意:此字段可能返回 null,表示取不到有效值。
*/
OutputFormat?: string;
/**
* bucket数量
注意:此字段可能返回 null,表示取不到有效值。
*/
NumBuckets?: number;
/**
* 是是否压缩
注意:此字段可能返回 null,表示取不到有效值。
*/
Compressed?: boolean;
/**
* 是否有子目录
注意:此字段可能返回 null,表示取不到有效值。
*/
StoredAsSubDirectories?: boolean;
/**
* 序列化lib
注意:此字段可能返回 null,表示取不到有效值。
*/
SerdeLib?: string;
/**
* 序列化名称
注意:此字段可能返回 null,表示取不到有效值。
*/
SerdeName?: string;
/**
* 桶名称
注意:此字段可能返回 null,表示取不到有效值。
*/
BucketCols?: Array<string>;
/**
* 序列化参数
注意:此字段可能返回 null,表示取不到有效值。
*/
SerdeParams?: Array<KVPair>;
/**
* 附加参数
注意:此字段可能返回 null,表示取不到有效值。
*/
Params?: Array<KVPair>;
/**
* 列排序(Expired)
注意:此字段可能返回 null,表示取不到有效值。
*/
SortCols?: DMSColumnOrder;
/**
* 列
注意:此字段可能返回 null,表示取不到有效值。
*/
Cols?: Array<DMSColumn>;
/**
* 列排序字段
注意:此字段可能返回 null,表示取不到有效值。
*/
SortColumns?: Array<DMSColumnOrder>;
}
/**
* 开通了第三方访问的用户信息
*/
export interface OpendThirdAccessUserInfo {
/**
* id信息
*/
Id?: number;
/**
* 用户主UIN
*/
Uin?: string;
/**
* 用户AppId
*/
AppId?: string;
/**
* 开通时间
*/
CreateTime?: string;
}
/**
* DescribeDataEnginesScaleDetail返回参数结构体
*/
export interface DescribeDataEnginesScaleDetailResponse {
/**
* 引擎规格统计详细信息
注意:此字段可能返回 null,表示取不到有效值。
*/
Scales?: Array<DataEngineScaleInfo>;
/**
* 唯一请求 ID,由服务端生成,每次请求都会返回(若请求因其他原因未能抵达服务端,则该次请求不会获得 RequestId)。定位问题时需要提供该次请求的 RequestId。
*/
RequestId?: string;
}
/**
* DescribeNotebookSessionStatementSqlResult请求参数结构体
*/
export interface DescribeNotebookSessionStatementSqlResultRequest {
/**
* 任务唯一ID
*/
TaskId: string;
/**
* 返回结果的最大行数,范围0~1000,默认为1000.
*/
MaxResults?: number;
/**
* 上一次请求响应返回的分页信息。第一次可以不带,从头开始返回数据,每次返回MaxResults字段设置的数据量。
*/
NextToken?: string;
/**
* 批次Id
*/
BatchId?: string;
/**
* 返回结果集中字段值长度截取,如果超过该长度则截取到该长度
*/
DataFieldCutLen?: number;
}
/**
* CreateSparkSubmitTask请求参数结构体
*/
export interface CreateSparkSubmitTaskRequest {
/**
* 任务名称
*/
TaskName: string;
/**
* 任务类型:当前支持1: BatchType, 2: StreamingType, 4: SQLType
*/
TaskType: number;
/**
* 引擎名称,当前仅支持Spark批作业集群
*/
DataEngineName: string;
/**
* 指定运行的程序脚本路径,当前仅支持jar和py,对于SQLType该值设为空字符串
*/
PackagePath: string;
/**
* 指定的鉴权信息
*/
RoleArn: number;
/**
* 运行任务所需资源是否继承自集群上配置资源信息,0(默认,不继承)、1(继承,当设置为该值,则任务级资源配置可不额外指定)
*/
IsInherit: number;
/**
* jar任务时需要指定主程序
*/
MainClass?: string;
/**
* 当前DriverSize规格仅支持(内存型集群则使用m前缀的枚举值): small/medium/large/xlarge/m.small/m.medium/m.large/m.xlarge
*/
DriverSize?: string;
/**
* 当前ExecutorSize规格仅支持(内存型集群则使用m前缀的枚举值): small/medium/large/xlarge/m.small/m.medium/m.large/m.xlarge
*/
ExecutorSize?: string;
/**
* 指定使用的executor数量,最小为1
*/
ExecutorNumbers?: number;
/**
* 指定使用的executor最大数量, 当该值大于ExecutorNums则自动开启动态
*/
ExecutorMaxNumbers?: number;
/**
* 提交任务的附加配置集合,当前支持Key包含:MAINARGS:程序入口参数,空格分割(SqlType任务通过该值指定base64加密后的sql)、SPARKCONFIG:Spark配置,以换行符分隔、ENI:Eni连接信息、DEPENDENCYPACKAGEPATH:依赖的程序包(--jars、--py-files:支持py/zip/egg等归档格式),多文件以逗号分隔、DEPENDENCYFILEPATH:依赖文件资源(--files: 非jar、zip),多文件以逗号分隔、DEPENDENCYARCHIVESPATH:依赖archives资源(--archives: 支持tar.gz/tgz/tar等归档格式),多文件以逗号分隔、MAXRETRIES:任务重试次数,非流任务默认为1、SPARKIMAGE:Spark镜像版本号,支持使用dlc镜像/用户自定的tcr镜像运行任务、SPARKIMAGEVERSION:Spark镜像版本名称,与SPARKIMAGE一一对应
*/
CmdArgs?: Array<KVPair>;
/**
* 任务来源信息
*/
SourceInfo?: Array<KVPair>;
}
/**
* CreateTable返回参数结构体
*/
export interface CreateTableResponse {
/**
* 生成的建表执行语句对象。
*/
Execution?: Execution;
/**
* 唯一请求 ID,由服务端生成,每次请求都会返回(若请求因其他原因未能抵达服务端,则该次请求不会获得 RequestId)。定位问题时需要提供该次请求的 RequestId。
*/
RequestId?: string;
}
/**
* ListTaskJobLogName请求参数结构体
*/
export interface ListTaskJobLogNameRequest {
/**
* 查询的taskId
*/
TaskId: string;
/**
* SparkSQL批任务唯一ID
*/
BatchId?: string;
}
/**
* DescribeTaskResult请求参数结构体
*/
export interface DescribeTaskResultRequest {
/**
* 任务唯一ID,仅支持30天内的任务
*/
TaskId: string;
/**
* 上一次请求响应返回的分页信息。第一次可以不带,从头开始返回数据,每次返回MaxResults字段设置的数据量。
*/
NextToken?: string;
/**
* 返回结果的最大行数,范围0~1000,默认为1000.
*/
MaxResults?: number;
/**
* 是否转化数据类型
*/
IsTransformDataType?: boolean;
/**
* 返回结果集中字段长度截取,如果字段值长度超过该长度则截取到该长度
*/
DataFieldCutLen?: number;
}
/**
* UpdateUserDataEngineConfig请求参数结构体
*/
export interface UpdateUserDataEngineConfigRequest {
/**
* 引擎ID
*/
DataEngineId: string;
/**
* 用户自定义引擎配置项集合。该参数需要传用户需要添加的全部配置项,例如,已有配置项k1:v1,添加k2:v2,需要传[k1:v1,k2:v2]。
*/
DataEngineConfigPairs?: Array<DataEngineConfigPair>;
/**
* 作业引擎资源配置模板
*/
SessionResourceTemplate?: SessionResourceTemplate;
}
/**
* RollbackDataEngineImage请求参数结构体
*/
export interface RollbackDataEngineImageRequest {
/**
* 引擎ID
*/
DataEngineId: string;
/**
* 检查是否能回滚的接口返回的FromRecordId参数
*/
FromRecordId?: string;
/**
* 检查是否能回滚的接口返回的ToRecordId参数
*/
ToRecordId?: string;
}
/**
* QueryResult返回参数结构体
*/
export interface QueryResultResponse {
/**
* 任务Id
*/
TaskId?: string;
/**
* 结果数据
*/
ResultSet?: string;
/**
* schema
*/
ResultSchema?: Array<Column>;
/**
* 分页信息
*/
NextToken?: string;
/**
* 唯一请求 ID,由服务端生成,每次请求都会返回(若请求因其他原因未能抵达服务端,则该次请求不会获得 RequestId)。定位问题时需要提供该次请求的 RequestId。
*/
RequestId?: string;
}
/**
* RevokeDLCCatalogAccess请求参数结构体
*/
export interface RevokeDLCCatalogAccessRequest {
/**
* VpcID
*/
VpcId: string;
}
/**
* 数据治理规则
*/
export interface DataGovernPolicy {
/**
* 治理规则类型,Customize: 自定义;Intelligence: 智能治理
*/
RuleType?: string;
/**
* 治理引擎
*/
GovernEngine?: string;
}
/**
* CreateWorkGroup返回参数结构体
*/
export interface CreateWorkGroupResponse {
/**
* 工作组Id,全局唯一
*/
WorkGroupId?: number;
/**
* 唯一请求 ID,由服务端生成,每次请求都会返回(若请求因其他原因未能抵达服务端,则该次请求不会获得 RequestId)。定位问题时需要提供该次请求的 RequestId。
*/
RequestId?: string;
}
/**
* DescribeEngineUsageInfo返回参数结构体
*/
export interface DescribeEngineUsageInfoResponse {
/**
* 集群总规格
*/
Total?: number;
/**
* 已占用集群规格
*/
Used?: number;
/**
* 剩余集群规格
*/
Available?: number;
/**
* 唯一请求 ID,由服务端生成,每次请求都会返回(若请求因其他原因未能抵达服务端,则该次请求不会获得 RequestId)。定位问题时需要提供该次请求的 RequestId。
*/
RequestId?: string;
}
/**
* DescribeWorkGroupInfo返回参数结构体
*/
export interface DescribeWorkGroupInfoResponse {
/**
* 工作组详细信息
注意:此字段可能返回 null,表示取不到有效值。
*/
WorkGroupInfo?: WorkGroupDetailInfo;
/**
* 唯一请求 ID,由服务端生成,每次请求都会返回(若请求因其他原因未能抵达服务端,则该次请求不会获得 RequestId)。定位问题时需要提供该次请求的 RequestId。
*/
RequestId?: string;
}
/**
* DescribeTables请求参数结构体
*/
export interface DescribeTablesRequest {
/**
* 列出该数据库下所属数据表。
*/
DatabaseName: string;
/**
* 返回数量,默认为10,最大值为100。
*/
Limit?: number;
/**
* 数据偏移量,从0开始,默认为0。
*/
Offset?: number;
/**
* 过滤条件,如下支持的过滤类型,传参Name应为其一
table-name - String - (过滤条件)数据表名称,形如:table-001。
table-id - String - (过滤条件)table id形如:12342。
*/
Filters?: Array<Filter>;
/**
* 指定查询的数据源名称,默认为DataLakeCatalog
*/
DatasourceConnectionName?: string;
/**
* 起始时间:用于对更新时间的筛选,格式为yyyy-mm-dd HH:MM:SS
*/
StartTime?: string;
/**
* 终止时间:用于对更新时间的筛选,格式为yyyy-mm-dd HH:MM:SS
*/
EndTime?: string;
/**
* 排序字段,支持:CreateTime(创建时间)、UpdateTime(更新时间)、StorageSize(存储空间)、RecordCount(行数)、Name(表名称)(不传则默认按name升序)
*/
Sort?: string;
/**
* 排序字段,false:降序(默认);true:升序
*/
Asc?: boolean;
/**
* table type,表类型查询,可用值:EXTERNAL_TABLE,INDEX_TABLE,MANAGED_TABLE,MATERIALIZED_VIEW,TABLE,VIEW,VIRTUAL_VIEW
*/
TableType?: string;
/**
* 筛选字段-表格式:不传(默认)为查全部;LAKEFS:托管表;ICEBERG:非托管iceberg表;HIVE:非托管hive表;OTHER:非托管其它;
*/
TableFormat?: string;
}
/**
* CreateStoreLocation请求参数结构体
*/
export interface CreateStoreLocationRequest {
/**
* 计算结果存储cos路径,如:cosn://bucketname/
*/
StoreLocation: string;
}
/**
* DescribeLakeFsInfo返回参数结构体
*/
export interface DescribeLakeFsInfoResponse {
/**
* 托管存储信息
注意:此字段可能返回 null,表示取不到有效值。
*/
LakeFsInfos?: Array<LakeFsInfo>;
/**
* 唯一请求 ID,由服务端生成,每次请求都会返回(若请求因其他原因未能抵达服务端,则该次请求不会获得 RequestId)。定位问题时需要提供该次请求的 RequestId。
*/
RequestId?: string;
}
/**
* GetOptimizerPolicy返回参数结构体
*/
export interface GetOptimizerPolicyResponse {
/**
* 智能优化策略
*/
SmartOptimizerPolicy?: SmartOptimizerPolicy;
/**
* 唯一请求 ID,由服务端生成,每次请求都会返回(若请求因其他原因未能抵达服务端,则该次请求不会获得 RequestId)。定位问题时需要提供该次请求的 RequestId。
*/
RequestId?: string;
}
/**
* DescribeTable请求参数结构体
*/
export interface DescribeTableRequest {
/**
* 查询对象表名称
*/
TableName: string;
/**
* 查询表所在的数据库名称。
*/
DatabaseName: string;
/**
* 查询表所在的数据源名称
*/
DatasourceConnectionName?: string;
}
/**
* 权限对象
*/
export interface Policy {
/**
* 需要授权的数据库名,填*代表当前Catalog下所有数据库。当授权类型为管理员级别时,只允许填“*”,当授权类型为数据连接级别时只允许填空,其他类型下可以任意指定数据库。
*/
Database: string;
/**
* 需要授权的数据源名称,管理员级别下只支持填*(代表该级别全部资源);数据源级别和数据库级别鉴权的情况下,只支持填COSDataCatalog或者*;在数据表级别鉴权下可以填写用户自定义数据源。不填情况下默认为DataLakeCatalog。注意:如果是对用户自定义数据源进行鉴权,DLC能够管理的权限是用户接入数据源的时候提供的账户的子集。
*/
Catalog: string;
/**
* 需要授权的表名,填*代表当前Database下所有表。当授权类型为管理员级别时,只允许填“*”,当授权类型为数据连接级别、数据库级别时只允许填空,其他类型下可以任意指定数据表。
*/
Table: string;
/**
* 授权的权限操作,对于不同级别的鉴权提供不同操作。管理员权限:ALL,不填默认为ALL;数据连接级鉴权:CREATE;数据库级别鉴权:ALL、CREATE、ALTER、DROP;数据表权限:ALL、SELECT、INSERT、ALTER、DELETE、DROP、UPDATE。注意:在数据表权限下,指定的数据源不为COSDataCatalog的时候,只支持SELECT操作。
*/
Operation: string;
/**
* 授权类型,现在支持八种授权类型:ADMIN:管理员级别鉴权 DATASOURCE:数据连接级别鉴权 DATABASE:数据库级别鉴权 TABLE:表级别鉴权 VIEW:视图级别鉴权 FUNCTION:函数级别鉴权 COLUMN:列级别鉴权 ENGINE:数据引擎鉴权。不填默认为管理员级别鉴权。
*/
PolicyType?: string;
/**
* 需要授权的函数名,填*代表当前Catalog下所有函数。当授权类型为管理员级别时,只允许填“*”,当授权类型为数据连接级别时只允许填空,其他类型下可以任意指定函数。
注意:此字段可能返回 null,表示取不到有效值。
*/
Function?: string;
/**
* 需要授权的视图,填*代表当前Database下所有视图。当授权类型为管理员级别时,只允许填“*”,当授权类型为数据连接级别、数据库级别时只允许填空,其他类型下可以任意指定视图。
注意:此字段可能返回 null,表示取不到有效值。
*/
View?: string;
/**
* 需要授权的列,填*代表当前所有列。当授权类型为管理员级别时,只允许填“*”
注意:此字段可能返回 null,表示取不到有效值。
*/
Column?: string;
/**
* 需要授权的数据引擎,填*代表当前所有引擎。当授权类型为管理员级别时,只允许填“*”
注意:此字段可能返回 null,表示取不到有效值。
*/
DataEngine?: string;
/**
* 用户是否可以进行二次授权。当为true的时候,被授权的用户可以将本次获取的权限再次授权给其他子用户。默认为false
注意:此字段可能返回 null,表示取不到有效值。
*/
ReAuth?: boolean;
/**
* 权限来源,入参不填。USER:权限来自用户本身;WORKGROUP:权限来自绑定的工作组
注意:此字段可能返回 null,表示取不到有效值。
*/
Source?: string;
/**
* 授权模式,入参不填。COMMON:普通模式;SENIOR:高级模式。
注意:此字段可能返回 null,表示取不到有效值。
*/
Mode?: string;
/**
* 操作者,入参不填。
注意:此字段可能返回 null,表示取不到有效值。
*/
Operator?: string;
/**
* 权限创建的时间,入参不填
注意:此字段可能返回 null,表示取不到有效值。
*/
CreateTime?: string;
/**
* 权限所属工作组的ID,只有当该权限的来源为工作组时才会有值。即仅当Source字段的值为WORKGROUP时该字段才有值。
注意:此字段可能返回 null,表示取不到有效值。
*/
SourceId?: number;
/**
* 权限所属工作组的名称,只有当该权限的来源为工作组时才会有值。即仅当Source字段的值为WORKGROUP时该字段才有值。
注意:此字段可能返回 null,表示取不到有效值。
*/
SourceName?: string;
/**
* 策略ID
注意:此字段可能返回 null,表示取不到有效值。
*/
Id?: number;
/**
* 引擎类型
*/
EngineGeneration?: string;
}
/**
* DescribeTaskLog请求参数结构体
*/
export interface DescribeTaskLogRequest {
/**
* 列表返回的Id
*/
TaskId: string;
/**
* 开始运行时间,unix时间戳(毫秒)
*/
StartTime: number;
/**
* 结束运行时间,unix时间戳(毫秒)
*/
EndTime: number;
/**
* 分页大小,最大1000,配合Context一起使用
*/
Limit: number;
/**
* 下一次分页参数,第一次传空。透传上次接口返回的Context值,可获取后续更多日志,总计最多可获取1万条原始日志,过期时间1小时。
*/
Context?: string;
/**
* 是否升序排列,true:升序排序,false:倒序,默认false,倒序排列
*/
Asc?: boolean;
/**
* 预览日志的通用过滤条件
*/
Filters?: Array<Filter>;
/**
* SparkSQL任务唯一ID
*/
BatchId?: string;
}
/**
* DescribeDataEnginesScaleDetail请求参数结构体
*/
export interface DescribeDataEnginesScaleDetailRequest {
/**
* 引擎名称列表
*/
DataEngineNames?: Array<string>;
/**
* 开始时间,时间格式:yyyy-MM-dd HH:mm:ss,最长查询一个月内的记录
*/
StartTime?: string;
/**
* 结束时间,时间格式:yyyy-MM-dd HH:mm:ss,最长查询一个月内的记录
*/
EndTime?: string;
}
/**
* CreateTasks请求参数结构体
*/
export interface CreateTasksRequest {
/**
* 数据库名称。如果SQL语句中有数据库名称,优先使用SQL语句中的数据库,否则使用该参数指定的数据库(注:当提交建库sql时,该字段传空字符串)。
*/
DatabaseName: string;
/**
* SQL任务信息
*/
Tasks: TasksInfo;
/**
* 数据源名称,默认为DataLakeCatalog
*/
DatasourceConnectionName?: string;
/**
* 计算引擎名称,不填任务提交到默认集群
*/
DataEngineName?: string;
/**
* spark集群资源组名称
*/
ResourceGroupName?: string;
/**
* 是否使用multi- statement方式运行一批次任务,true: 是,false: 否
*/
IsMultiStatement?: boolean;
/**
* 任务来源信息
*/
SourceInfo?: Array<KVPair>;
}
/**
* SuspendResumeDataEngine请求参数结构体
*/
export interface SuspendResumeDataEngineRequest {
/**
* 虚拟集群名称
*/
DataEngineName: string;
/**
* 操作类型 suspend/resume
*/
Operate: string;
}
/**
* DescribeSparkAppJobs返回参数结构体
*/
export interface DescribeSparkAppJobsResponse {
/**
* spark作业列表详情
*/
SparkAppJobs?: Array<SparkJobInfo>;
/**
* spark作业总数
*/
TotalCount?: number;
/**
* 唯一请求 ID,由服务端生成,每次请求都会返回(若请求因其他原因未能抵达服务端,则该次请求不会获得 RequestId)。定位问题时需要提供该次请求的 RequestId。
*/
RequestId?: string;
}
/**
* 查询表信息对象
*/
export interface TableResponseInfo {
/**
* 数据表基本信息。
*/
TableBaseInfo?: TableBaseInfo;
/**
* 数据表列信息。
注意:此字段可能返回 null,表示取不到有效值。
*/
Columns?: Array<Column>;
/**
* 数据表分块信息。
注意:此字段可能返回 null,表示取不到有效值。
*/
Partitions?: Array<Partition>;
/**
* 数据存储路径。
*/
Location?: string;
/**
* 数据表属性信息。
注意:此字段可能返回 null,表示取不到有效值。
*/
Properties?: Array<Property>;
/**
* 数据表更新时间, 单位: ms。
*/
ModifiedTime?: string;
/**
* 数据表创建时间,单位: ms。
*/
CreateTime?: string;
/**
* 数据格式。
*/
InputFormat?: string;
/**
* 数据表存储大小(单位:Byte)
*/
StorageSize?: number;
/**
* 数据表行数
*/
RecordCount?: number;
/**
* xxxx
*/
MapMaterializedViewName?: string;
/**
* 访问热点
*/
HeatValue?: number;
/**
* InputFormat的缩写
*/
InputFormatShort?: string;
}
/**
* UpdateUserDataEngineConfig返回参数结构体
*/
export interface UpdateUserDataEngineConfigResponse {
/**
* 唯一请求 ID,由服务端生成,每次请求都会返回(若请求因其他原因未能抵达服务端,则该次请求不会获得 RequestId)。定位问题时需要提供该次请求的 RequestId。
*/
RequestId?: string;
}
/**
* ModifyUserType返回参数结构体
*/
export interface ModifyUserTypeResponse {
/**
* 唯一请求 ID,由服务端生成,每次请求都会返回(若请求因其他原因未能抵达服务端,则该次请求不会获得 RequestId)。定位问题时需要提供该次请求的 RequestId。
*/
RequestId?: string;
}
/**
* DescribeDataEnginePythonSparkImages请求参数结构体
*/
export interface DescribeDataEnginePythonSparkImagesRequest {
/**
* 集群镜像小版本ID
*/
ChildImageVersionId: string;
}
/**
* CancelSparkSessionBatchSQL请求参数结构体
*/
export interface CancelSparkSessionBatchSQLRequest {
/**
* 批任务唯一标识
*/
BatchId: string;
/**
* 用户自定义主键,若不为空,则使用该值进行查询
*/
CustomKey?: string;
}
/**
* 任务概览
*/
export interface TasksOverview {
/**
* 正在排队的任务个数
*/
TaskQueuedCount: number;
/**
* 初始化的任务个数
*/
TaskInitCount: number;
/**
* 正在执行的任务个数
*/
TaskRunningCount: number;
/**
* 当前时间范围的总任务个数
*/
TotalTaskCount: number;
}
/**
* CreateDatabase返回参数结构体
*/
export interface CreateDatabaseResponse {
/**
* 生成的建库执行语句对象。
*/
Execution?: Execution;
/**
* 唯一请求 ID,由服务端生成,每次请求都会返回(若请求因其他原因未能抵达服务端,则该次请求不会获得 RequestId)。定位问题时需要提供该次请求的 RequestId。
*/
RequestId?: string;
}
/**
* DropDMSPartitions返回参数结构体
*/
export interface DropDMSPartitionsResponse {
/**
* 状态
*/
Status?: boolean;
/**
* 唯一请求 ID,由服务端生成,每次请求都会返回(若请求因其他原因未能抵达服务端,则该次请求不会获得 RequestId)。定位问题时需要提供该次请求的 RequestId。
*/
RequestId?: string;
}
/**
* CreateWorkGroup请求参数结构体
*/
export interface CreateWorkGroupRequest {
/**
* 工作组名称
*/
WorkGroupName: string;
/**
* 工作组描述
*/
WorkGroupDescription?: string;
/**
* 工作组绑定的鉴权策略集合
*/
PolicySet?: Array<Policy>;
/**
* 需要绑定到工作组的用户Id集合
*/
UserIds?: Array<string>;
}
/**
* DescribeDatasourceConnection请求参数结构体
*/
export interface DescribeDatasourceConnectionRequest {
/**
* 连接ID列表,指定要查询的连接ID
*/
DatasourceConnectionIds?: Array<string>;
/**
* 过滤条件,当前支持的过滤键为:DatasourceConnectionName(数据源连接名)。
DatasourceConnectionType (数据源连接连接类型)
*/
Filters?: Array<Filter>;
/**
* 偏移量,默认为0
*/
Offset?: number;
/**
* 返回数量,默认20,最大值100
*/
Limit?: number;
/**
* 排序字段,支持如下字段类型,create-time(默认,创建时间)、update-time(更新时间)
*/
SortBy?: string;
/**
* 排序方式,desc表示正序,asc表示反序, 默认为desc
*/
Sorting?: string;
/**
* 筛选字段:起始时间
*/
StartTime?: string;
/**
* 筛选字段:截止时间
*/
EndTime?: string;
/**
* 连接名称列表,指定要查询的连接名称
*/
DatasourceConnectionNames?: Array<string>;
/**
* 连接类型,支持Mysql/HiveCos/Kafka/DataLakeCatalog
*/
DatasourceConnectionTypes?: Array<string>;
/**
* 返回指定hive版本的数据源,该参数指定后,会过滤掉该参数指定版本以外的hive数据源,非hive数据源正常返回
*/
HiveVersion?: Array<string>;
}
/**
* CheckDataEngineImageCanBeUpgrade请求参数结构体
*/
export interface CheckDataEngineImageCanBeUpgradeRequest {
/**
* 集群id
*/
DataEngineId: string;
}
/**
* QueryInternalTableWarehouse请求参数结构体
*/
export interface QueryInternalTableWarehouseRequest {
/**
* 库名
*/
DatabaseName: string;
/**
* 表名
*/
TableName: string;
}
/**
* CreateResultDownload请求参数结构体
*/
export interface CreateResultDownloadRequest {
/**
* 查询结果任务Id
*/
TaskId: string;
/**
* 下载格式
*/
Format: string;
/**
* 是否重新生成下载文件,仅当之前任务状态为 timeout | error 时有效
*/
Force?: boolean;
}
/**
* DescribeNotebookSessionStatementSqlResult返回参数结构体
*/
export interface DescribeNotebookSessionStatementSqlResultResponse {
/**
* 任务Id
*/
TaskId?: string;
/**
* 结果数据
*/
ResultSet?: string;
/**
* schema
*/
ResultSchema?: Array<Column>;
/**
* 分页信息
*/
NextToken?: string;
/**
* 存储结果地址
*/
OutputPath?: string;
/**
* 引擎计算耗时
*/
UseTime?: number;
/**
* 结果条数
*/
AffectRows?: number;
/**
* 数据扫描量
*/
DataAmount?: number;
/**
* spark ui地址
*/
UiUrl?: string;
/**
* 唯一请求 ID,由服务端生成,每次请求都会返回(若请求因其他原因未能抵达服务端,则该次请求不会获得 RequestId)。定位问题时需要提供该次请求的 RequestId。
*/
RequestId?: string;
}
/**
* ModifyUser请求参数结构体
*/
export interface ModifyUserRequest {
/**
* 用户Id,和CAM侧Uin匹配
*/
UserId: string;
/**
* 用户描述
*/
UserDescription: string;
}
/**
* DescribeTasksCostInfo返回参数结构体
*/
export interface DescribeTasksCostInfoResponse {
/**
* 下一页的标识
*/
SearchAfter?: string;
/**
* 返回的数据,字符串类型的二维数组,首行为列中文名称
*/
Data?: string;
/**
* 唯一请求 ID,由服务端生成,每次请求都会返回(若请求因其他原因未能抵达服务端,则该次请求不会获得 RequestId)。定位问题时需要提供该次请求的 RequestId。
*/
RequestId?: string;
}
/**
* AddDMSPartitions返回参数结构体
*/
export interface AddDMSPartitionsResponse {
/**
* 成功数量
*/
Total?: number;
/**
* 分区值
*/
Partitions?: Array<DMSPartition>;
/**
* 唯一请求 ID,由服务端生成,每次请求都会返回(若请求因其他原因未能抵达服务端,则该次请求不会获得 RequestId)。定位问题时需要提供该次请求的 RequestId。
*/
RequestId?: string;
}
/**
* CancelNotebookSessionStatement请求参数结构体
*/
export interface CancelNotebookSessionStatementRequest {
/**
* Session唯一标识
*/
SessionId: string;
/**
* Session Statement唯一标识
*/
StatementId: string;
}
/**
* Spark监控数据
*/
export interface SparkMonitorMetrics {
/**
* shuffle写溢出到COS数据量,单位:byte
注意:此字段可能返回 null,表示取不到有效值。
*/
ShuffleWriteBytesCos?: number;
/**
* shuffle写数据量,单位:byte
注意:此字段可能返回 null,表示取不到有效值。
*/
ShuffleWriteBytesTotal?: number;
}
/**
* CreateDMSDatabase返回参数结构体
*/
export interface CreateDMSDatabaseResponse {
/**
* 唯一请求 ID,由服务端生成,每次请求都会返回(若请求因其他原因未能抵达服务端,则该次请求不会获得 RequestId)。定位问题时需要提供该次请求的 RequestId。
*/
RequestId?: string;
}
/**
* CreateStoreLocation返回参数结构体
*/
export interface CreateStoreLocationResponse {
/**
* 唯一请求 ID,由服务端生成,每次请求都会返回(若请求因其他原因未能抵达服务端,则该次请求不会获得 RequestId)。定位问题时需要提供该次请求的 RequestId。
*/
RequestId?: string;
}
/**
* spark session batch SQL的消耗信息
*/
export interface BatchSQLCostInfo {
/**
* 任务id
*/
BatchId?: string;
/**
* 引擎名称
*/
DataEngineName?: string;
/**
* 引擎id
*/
DataEngineId?: string;
/**
* 本次消耗,单位cu
*/
Cost?: number;
/**
* 时间开销,秒
*/
TimeCost?: number;
/**
* 操作者
*/
Operator?: string;
}
/**
* DescribeTablesName请求参数结构体
*/
export interface DescribeTablesNameRequest {
/**
* 列出该数据库下所属数据表。
*/
DatabaseName: string;
/**
* 返回数量,默认为10,最大值为100。
*/
Limit?: number;
/**
* 数据偏移量,从0开始,默认为0。
*/
Offset?: number;
/**
* 过滤条件,如下支持的过滤类型,传参Name应为其一
table-name - String - (过滤条件)数据表名称,形如:table-001。
table-id - String - (过滤条件)table id形如:12342。
*/
Filters?: Array<Filter>;
/**
* 指定查询的数据源名称,默认为DataLakeCatalog
*/
DatasourceConnectionName?: string;
/**
* 起始时间:用于对更新时间的筛选,格式为yyyy-mm-dd HH:MM:SS
*/
StartTime?: string;
/**
* 终止时间:用于对更新时间的筛选,格式为yyyy-mm-dd HH:MM:SS
*/
EndTime?: string;
/**
* 排序字段,支持:CreateTime(创建时间)、UpdateTime(更新时间)、StorageSize(存储空间)、RecordCount(行数)、Name(表名称)(不传则默认按name升序)
*/
Sort?: string;
/**
* 排序字段,false:降序(默认);true:升序
*/
Asc?: boolean;
/**
* table type,表类型查询,可用值:EXTERNAL_TABLE,INDEX_TABLE,MANAGED_TABLE,MATERIALIZED_VIEW,TABLE,VIEW,VIRTUAL_VIEW
*/
TableType?: string;
/**
* 筛选字段-表格式:不传(默认)为查全部;LAKEFS:托管表;ICEBERG:非托管iceberg表;HIVE:非托管hive表;OTHER:非托管其它;
*/
TableFormat?: string;
}
/**
* 工作组信息
*/
export interface WorkGroupInfo {
/**
* 查询到的工作组唯一Id
*/
WorkGroupId?: number;
/**
* 工作组名称
*/
WorkGroupName?: string;
/**
* 工作组描述
*/
WorkGroupDescription?: string;
/**
* 工作组关联的用户数量
*/
UserNum?: number;
/**
* 工作组关联的用户集合
注意:此字段可能返回 null,表示取不到有效值。
*/
UserSet?: Array<UserMessage>;
/**
* 工作组绑定的权限集合
注意:此字段可能返回 null,表示取不到有效值。
*/
PolicySet?: Array<Policy>;
/**
* 工作组的创建人
*/
Creator?: string;
/**
* 工作组的创建时间,形如2021-07-28 16:19:32
*/
CreateTime?: string;
}
/**
* SwitchDataEngine请求参数结构体
*/
export interface SwitchDataEngineRequest {
/**
* 主集群名称
*/
DataEngineName: string;
/**
* 是否开启备集群
*/
StartStandbyCluster: boolean;
}
/**
* DLC 数据目录访问权限
*/
export interface DLCCatalogAccess {
/**
* VPCID
*/
VpcId: string;
/**
* 产品类型
*/
Product: string;
/**
* 描述信息
*/
Description?: string;
/**
* 创建时间
*/
CreateTime?: string;
}
/**
* ModifyUser返回参数结构体
*/
export interface ModifyUserResponse {
/**
* 唯一请求 ID,由服务端生成,每次请求都会返回(若请求因其他原因未能抵达服务端,则该次请求不会获得 RequestId)。定位问题时需要提供该次请求的 RequestId。
*/
RequestId?: string;
}
/**
* DeleteScript返回参数结构体
*/
export interface DeleteScriptResponse {
/**
* 删除的脚本数量
*/
ScriptsAffected: number;
/**
* 唯一请求 ID,由服务端生成,每次请求都会返回(若请求因其他原因未能抵达服务端,则该次请求不会获得 RequestId)。定位问题时需要提供该次请求的 RequestId。
*/
RequestId?: string;
}
/**
* 任务类型,任务如SQL查询等。
*/
export interface Task {
/**
* SQL查询任务
*/
SQLTask?: SQLTask;
/**
* Spark SQL查询任务
*/
SparkSQLTask?: SQLTask;
}
/**
* 引擎配置信息
*/
export interface DataEngineConfigInstanceInfo {
/**
* 引擎ID
*/
DataEngineId?: string;
/**
* 用户自定义配置项集合
*/
DataEngineConfigPairs?: Array<DataEngineConfigPair>;
/**
* 作业集群资源参数配置模板
*/
SessionResourceTemplate?: SessionResourceTemplate;
}
/**
* 定时启停策略信息
*/
export interface CrontabResumeSuspendStrategy {
/**
* 定时拉起时间:如:周一&周三8点
*/
ResumeTime?: string;
/**
* 定时挂起时间:如:周一&周三20点
*/
SuspendTime?: string;
/**
* 挂起配置:0(默认):等待任务结束后挂起、1:强制挂起
*/
SuspendStrategy?: number;
}
/**
* vpc信息
*/
export interface VpcInfo {
/**
* vpc Id
*/
VpcId?: string;
/**
* vpc子网
*/
VpcCidrBlock?: string;
/**
* 规则Id
*/
RuleId?: number;
/**
* 权限组Id
*/
AccessGroupId?: string;
}
/**
* notebook session列表信息。
*/
export interface NotebookSessions {
/**
* 类型,当前支持:spark、pyspark、sparkr、sql
*/
Kind?: string;
/**
* Session唯一标识
*/
SessionId?: stri