Blog

FAQ
  1. 如何设置启动引擎的版本?
    1. Script:可以在$LINKIS_HOME\conf\linkis.properties、$LINKIS_HOME\conf\linkis-env.sh等配置文件中对引擎版本进行设置,例如linkis.properties可以做如下设置:wds.linkis.spark.engine.version=2.4.3 wds.linkis.hive.engine.version=1.1.0 wds.linkis.flink.engine.version=1.12.2 wds.linkis.python.engine.version=python2,例如linkis-env.sh可以做如下设置:SPARK_VERSION=2.4.3 HIVE_VERSION=1.1.0 PYTHON_VERSION=python2
    2. 工作流:可以在$DSS_INSTALL_HOME\dss-flow-execution-server.properties配置文件对引擎版本进行设置,可以做配置如同linkis.properties。
    3. linkis cli:可以修改$LINKIS_HOME\bin\linkis-cli-hive、$LINKIS_HOME\bin\linkis-cli-spark-submit脚本手工指标引擎版本。
    4. 其它:例如Schedulis、Qualitis、dolphinscheduler cli等,直接修改LabelCommonConfig.java文件,手工设置各引擎默认值后重新编译linkis-label-common-1.x.x.jar,并且全局替换所有的同名文件、重启服务生效。
  2. 如何查看服务运行日志?
    1. 后台服务日志存放于安装目录下的logs目录,并且按服务名称命名。例如Linkis服务日志:$LINKIS_HOME\logs、DSS服务日志:$DSS_INSTALL_HOME\logs。请注意服务之间可能会有相互依赖,查看日志时建议使用文本查找方式一次性查找多个日志文件。

    2. 引擎日志:管理台-资源管理-历史引擎-查看日志。具体操作指引参见:https://linkis.apache.org/zh-CN/docs/1.3.1/user-guide/control-panel/resource-manager
  3. 如何排查前端页面报错?
    1. Chrome浏览器,按F12点击NETWORD标签栏,查看红色的接口信息,再根据接口信息去查看对应服务日志。https://linkis.apache.org/zh-CN/docs/latest/api/overview/
  4. 如何排查后台服务报错?
    1. 页面运行功能时,会有简单提示报错,F12找到对应的接口后,找到对应后台服务日志,再根据后台服务日志去找到调用的服务以及日志。
  5. 如何设置Yarn队列名?
    1. Yarn队列名保存于Linkis资料库表linkis_ps_configuration_config_key中,找到key等于wds.linkis.rm.yarnqueue的记录,其中default_value列即为默认使用的队列名,一般修改保存为default即可。
  6. 如何设置Yarn资源管理地址?
    1. Yarn资源管理地址保存于Linkis资料库表linkis_cg_rm_external_resource_provider中的config字段,该字段为json格式,其中里面的rmWebAddress值即为Yarn资源管理地址,多个地址可以使用分号隔开。
  7. 如何判断启动是否正常?
    1. 一般根据Eureka页面进行简单判断是否有服务有没有注册成功,如果发现少了,可以去查看对应服务日志。
  8. 如何解决多网卡问题?
    1. 确保每一个部署节点均正确设置/etc/hosts文件,删除默认回环地址的映射,确保该文件第一行存放hostname 内网真实IP的映射。
    2. 修改common.sh文件,将ipaddr变量直接赋予真实内网IP值,将修改isLocal返回值为0,确保使用本地执行命令。
    3. 批量修改配置错误的配置文件,可以使用sed -i "s/错误IP配置/真实内网IP/g" `grep 错误IP配置 -rl ./`命令全局替换配置文件。
    4. 重启所有服务。
  9. 我应该下载二进制包还是下载源代码自行编译?
    1. 如果使用的环境和官方默认的编译版本一致,可以直接使用官网二进制文件。
    2. 如果使用的环境在官方版本支持的范围内,可以根据版本适配说明去进行编译:https://linkis.apache.org/zh-CN/docs/latest/deployment/version-adaptation/
    3. 如果是其它的情况,建议自行下载源代码根据需求进行编译。
  10. 安装前应该做哪些准备工作?
    1. 进行hostname设置。
    2. 将集群以及所有涉及的服务器都配置到/etc/hosts文件中。
    3. 确保每一个部署节点均正确设置/etc/hosts文件,删除默认回环地址的映射,确保该文件第一行存放hostname 内网真实IP的映射。
    4. 检查环境变量是否配置齐全。
    5. 检查hdfs、spark-submit、java、nginx等问题是否可以正常使用。
    6. ssh免密、sudo免密配置。
  11. 我可以在哪里获取与项目相关的文档?
    1. 每个项目的GITHUB源码都有一个DOC目录,可以查看。
    2. LINKIS 官网。
    3. https://github.com/WeBankFinTech/DataSphereStudio-Doc
    4. wedatasphere公众号
    5. b站UP主:微众开源WeBankOS。
  12. 为什么安装完对应组件和APPCONN后,在DSS页面中导航栏中看不到?
    1. 需要使用工作空间管理员进行工作空间管理进行授权,管理员默认组件没有权限,可以先将登录用户授多个角色后,再对角色授菜单组件权限。
  13. 为什么我使用hadoop以外的用户安装和登录以后,没有管理员权限?
    1. 因为DSS在初始化的时候,默认将hadoop用户设置为管理员。需要手工修改表,dss_workspace_user_role中,将你自己登录的用户给一个工作空间管理员角色。
  14. 安装完成以后,默认用户名、密码是什么?
    1. $LINKIS_HOME\conf\linkis-mg-gateway.properties文件中的wds.linkis.admin.user、wds.linkis.admin.password就是用户名、密码。