Superset1.3.2部分配置教程_superset_config.py

注意：superset官方文档说明不支持Windows系统，我开始使用Windows，后面在配置缩略图有错误。

OS：Ubuntu20.04
Superset：1.3.2

这是我在安装中遇到的问题及查询搜集的资料，一些问题的解决办法可能不适合你，但希望还是能够帮到需要的人。

一、安装注意事项

下面是一些我在安装过程中总结的一些需要注意的：

pip install Pillow -i https://pypi.douban.com/simple
# 如果不安装xlrd，页面数据列不会出现 上传Excel
pip install xlrd
# 如果不安装mysqlclient，连接MySQL会报错，我之前改数据源为MySQL时就因为这个，排了很长时间的错
pip install mysqlclient
pip install pymysql

# 建议正式安装之前先配置config.py，改变数据源为MySQL，现在的默认源sqlite后续官方将会舍弃
SQLALCHEMY_DATABASE_URI = 'mysql://root:123456@localhost/superset_meta?charset=utf8'

1
2
3
4
5
6
7
8
9
10

superset load_examples执行报错

对于安装过程中的superset load_examples提示提示urllib.error.HTTPError: HTTP Error 429: too many requests的错误：
这是我在网上找的的办法：

• 1.从github上面搜索superset/examples_data下载文件集 examples-data-master.zip
• 2.创建文件夹，什么名字都行，比如我这里叫做example
  然后把上面的 examples-data-master.zip 放入文件夹，注意！一定要解压
• 3.打开终端之后，切换到刚才创建的文件夹目录
• 4.用python将此文件夹变成共享文件夹
  好像要把它的权限改成这样的

在上面第三步的终端里面输入 python -m http.server

• 5.另外开一个终端，输入 ipconfig，Ubuntu是ifconfig，找到 IPv4 Address 对应的地址，比如
  192.168.157.72
• 6.可以尝试直接在浏览器输入 192.168.157.72:8000 ，就会出现

• 7.找到superset中helper.py
  我的目录是 ~/桌面/superset_venv/lib/python3.9/site-packages/superset/examples/helper.py

• 8.修改读取url地址为刚才我们本地的地址

  BASE_URL = "http://192.168.140.72:8000/"
  1

• 9.重新运行 superset load_examples即可。

  这是我根据之前在Windows上改的，应该差不多。

二、部分配置说明

注意：此为网上搜索整理

# 通过Flask-WTF来保护表单免受CSRF攻击
# Flask-WTF flag for CSRF
WTF_CSRF_ENABLED = True

ENABLE_PROXY_FIX = True  # 当superset是运行在load balancer(nginx 或者ELB)中, 需要告诉gunicorn有哪些 X-Forwarded-* headers是可以信任的. 通过设置--forwarded-allow-ips来设置一系列的可靠IP地址.

1
2
3
4
5
6

DEFAULT_FEATURE_FLAGS: = {
    # allow dashboard to use sub-domains to send chart request
    # you also need ENABLE_CORS and
    # SUPERSET_WEBSERVER_DOMAINS for list of domains
    "ALLOW_DASHBOARD_DOMAIN_SHARDING": True,  # 允许仪表板的域分片
    # Experimental feature introducing a client (browser) cache
    "CLIENT_CACHE": False,
    "DISABLE_DATASET_SOURCE_EDIT": False,  # 禁用数据集编辑，变为只读模式
    # TODO CWJ
    "DYNAMIC_PLUGINS": True,  # 动态插件
    # "DYNAMIC_PLUGINS": False,
    # For some security concerns, you may need to enforce CSRF protection on
    # all query request to explore_json endpoint. In Superset, we use
    # `flask-csrf <https://sjl.bitbucket.io/flask-csrf/>`_ add csrf protection
    # for all POST requests, but this protection doesn't apply to GET method.
    # When ENABLE_EXPLORE_JSON_CSRF_PROTECTION is set to true, your users cannot
    # make GET request to explore_json. explore_json accepts both GET and POST request.
    # See `PR 7935 <https://github.com/apache/superset/pull/7935>`_ for more details.
    "ENABLE_EXPLORE_JSON_CSRF_PROTECTION": False,
    "ENABLE_TEMPLATE_PROCESSING": False,
    "ENABLE_TEMPLATE_REMOVE_FILTERS": False,
    "KV_STORE": False,
    # When this feature is enabled, nested types in Presto will be
    # expanded into extra columns and/or arrays. This is experimental,
    # and doesn't work with all nested types.
    "PRESTO_EXPAND_DATA": False,
    # Exposes API endpoint to compute thumbnails
    # TODO CWJ
    "THUMBNAILS": True,  # 开启缩略图
    # "THUMBNAILS": False,
    "DASHBOARD_CACHE": False,  # 看板查询缓存
    "REMOVE_SLICE_LEVEL_LABEL_COLORS": False,
    "SHARE_QUERIES_VIA_KV_STORE": False,
    "TAGGING_SYSTEM": False,  # 开启标记功能
    "SQLLAB_BACKEND_PERSISTENCE": False,
    "LISTVIEWS_DEFAULT_CARD_VIEW": False,  # 卡片显示
    # Enables the replacement React views for all the FAB views (list, edit, show) with
    # designs introduced in https://github.com/apache/superset/issues/8976
    # (SIP-34). This is a work in progress so not all features available in FAB have
    # been implemented.
    "ENABLE_REACT_CRUD_VIEWS": True,
    # When True, this flag allows display of HTML tags in Markdown components
    "DISPLAY_MARKDOWN_HTML": True,
    # When True, this escapes HTML (rather than rendering it) in Markdown components
    "ESCAPE_MARKDOWN_HTML": False,
    # TODO CWJ
    "DASHBOARD_NATIVE_FILTERS": True,  # 开启过滤级联
    "DASHBOARD_CROSS_FILTERS": True,  # 开启交叉过滤器
    "DASHBOARD_NATIVE_FILTERS_SET": True,  # 过滤集
    # "DASHBOARD_NATIVE_FILTERS": False,
    # "DASHBOARD_CROSS_FILTERS": False,
    # "DASHBOARD_NATIVE_FILTERS_SET": False,
    "DASHBOARD_FILTERS_EXPERIMENTAL": False,
    "GLOBAL_ASYNC_QUERIES": False,
    # TODO CWJ
    "VERSIONED_EXPORT": True,   # 开启导入功能
    # "VERSIONED_EXPORT": False,
    # Note that: RowLevelSecurityFilter is only given by default to the Admin role
    # and the Admin Role does have the all_datasources security permission.
    # But, if users create a specific role with access to RowLevelSecurityFilter MVC
    # and a custom datasource access, the table dropdown will not be correctly filtered
    # by that custom datasource access. So we are assuming a default security config,
    # a custom security config could potentially give access to setting filters on
    # tables that users do not have access to.
    "ROW_LEVEL_SECURITY": True,  # 行级权限
    # Enables Alerts and reports new implementation
    # TODO CWJ
    # "ALERT_REPORTS": False,
    "ALERT_REPORTS": True,  # 警报和报告
    # Enable experimental feature to search for other dashboards
    "OMNIBAR": False,  # 开启下拉可见性和键盘命令
    "DASHBOARD_RBAC": False,
    "ENABLE_EXPLORE_DRAG_AND_DROP": False,
    # Enabling ALERTS_ATTACH_REPORTS, the system sends email and slack message
    # with screenshot and link
    # Disables ALERTS_ATTACH_REPORTS, the system DOES NOT generate screenshot
    # for report with type 'alert' and sends email and slack message with only link;
    # for report with type 'report' still send with email and slack message with
    # screenshot and link
    "ALERTS_ATTACH_REPORTS": True,
    # FORCE_DATABASE_CONNECTIONS_SSL is depreciated.
    "FORCE_DATABASE_CONNECTIONS_SSL": False,
    # Enabling ENFORCE_DB_ENCRYPTION_UI forces all database connections to be
    # encrypted before being saved into superset metastore.
    "ENFORCE_DB_ENCRYPTION_UI": False,
    # Allow users to export full CSV of table viz type.
    # This could cause the server to run out of memory or compute.
    "ALLOW_FULL_CSV_EXPORT": False,
    "UX_BETA": False,
}
    
    
    
# 配置
"ALLOW_DASHBOARD_DOMAIN_SHARDING": True,  # 允许仪表板的域分片
	# Chrome 允许每个域一次最多打开 6 个连接。当dashboard超过6个slice时，大量的fetch请求会排队等待下一个可用的socket。此 PR 尝试允许Superset 的域分片，并且此功能将仅通过配置启用（默认情况下 Superset 不允许跨域请求）

"CLIENT_CACHE": True,  # 开启客户端缓存
    
"DISABLE_DATASET_SOURCE_EDIT": True,  # 为数据集编辑器的源选项卡添加只读模式
    # 默认：每个人都可以编辑源：

"ENABLE_EXPLORE_JSON_CSRF_PROTECTION": False,  # 仅通过功能标志允许 explore_json 的 GET 方法 
    # 当ENABLE_EXPLORE_JSON_CSRF_PROTECTION功能标志设置为 时True，explore_json 端点中的 GET 将被禁用，后端不执行任何操作并以405 MethodNotAllowed响应,POST被允许

"ENABLE_TEMPLATE_PROCESSING": True,  # 开启模板处理
    
"DASHBOARD_CACHE": True,  # 面板缓存开启
    
"TAGGING_SYSTEM": True,  # 启用该功能后，所有者可以标记图表
    # 图表添加标签
    # 面板添加标签
    # 请注意，标签可以自动完成。不是所有者的用户将看到不可编辑的标签。单击标签时，用户将被带到包含该标签内容的页面
    
"SQLLAB_BACKEND_PERSISTENCE": False,  # 启用后端持久性
    # 如果SQLLAB_BACKEND_PERSISTENCE启用，我们将向浏览器发送包含用户整个查询历史记录的负载。此 PR 更改了行为，以便仅发送与现有查询编辑器关联的查询。
	# 当功能标志SQLLAB_BACKEND_PERSISTENCE设置为 False 时，用户数据当前保存在本地存储中。最近的更改将角色信息添加到引导用户对象。但是在关闭标志后，本地存储数据最终会覆盖引导程序数据，并且角色丢失，从而导致页面中断。此更改从本地存储中删除用户数据，并防止它覆盖引导程序数据。

"LISTVIEWS_DEFAULT_CARD_VIEW": True,  # 开启卡片显示
    
"ENABLE_REACT_CRUD_VIEWS": True,  # 为所有FAB视图(列表、编辑、显示)启用替换React视图
    # 使用https://github.com/apache/superset/issues/8976 # (SIP-34)中引入的# designs，为所有FAB视图(列表、编辑、显示)启用替换React视图。这是一项正在进行的工作，因此并不是FAB中所有可用的功能都已经实现了
    
"DISPLAY_MARKDOWN_HTML": True,  # 启用时 HTML 会转义
    # 添加功能标志（使用默认值设置以匹配当前行为）（a）可以转义/显示 HTML 代码，或（b）隐藏 HTML 标记的输出
    
"ESCAPE_MARKDOWN_HTML": True,  # HTML 会隐藏
    # ESCAPE_MARKDOWN_HTML启用时 HTML 会转义，而当 DISPLAY_MARKDOWN_HTML 关闭时 HTML 会隐藏。
    
"DASHBOARD_NATIVE_FILTERS": True,  # 开启过滤级联
"DASHBOARD_CROSS_FILTERS": True,  # 开启交叉过滤器
"DASHBOARD_NATIVE_FILTERS_SET": True,  # 面板过滤集
    
"GLOBAL_ASYNC_QUERIES": True,  # 全局异步查询
    
"VERSIONED_EXPORT": True,   # 版本化导出
    # 使用版本化导出时，您可以指定是否要覆盖导入的元素。（例如仪表板、图表、数据集、数据库） 但是，此选项仅适用于导入级别（例如，仅覆盖仪表板但不会覆盖更新的图表）。更新仪表板时，通常会触及数据集、图表和仪表板的组合（例如，新字段、图表中的字段、仪表板中的更多空间用于其他字段），因此每个级别的覆盖选项可能会很有用。 目前，您必须仅对修改过的元素进行 3 次导出（因此在导出前过滤图表/数据集），然后再一次一次地重新导入它们。
    
"ROW_LEVEL_SECURITY": True,  # 开启行级安全目录
    
"ALERT_REPORTS": True,  # 开启警报报警目录
    
"OMNIBAR": True,  # 开启下拉可见性和键盘命令
    # 使用 cmd/ctrl + k就可以看见了
    # 具体修改可以查看这里，传送门：https://github.com/apache/superset/pull/16168

"DASHBOARD_RBAC": False,  # RBAC控制面板
    
"ENABLE_EXPLORE_DRAG_AND_DROP": False,  # 拖放查询面板的 POC。范围 - 仅限 Groupby 控制 默认关闭    
"ALERTS_ATTACH_REPORTS": True,  # 开启警报可以发送附件   
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150

TALISMAN_ENABLED: Talisman
1

图表下钻

1.3.0之后的版本的实现思路( https://github.com/askstylo/superset/pull/1)

三、部分功能配置

我所配置的superset_config.py:

from superset.typing import CacheConfig

# 源数据库配置
SQLALCHEMY_DATABASE_URI = 'mysql://root:123456@localhost/superset_meta?charset=utf8'

# 汉化
BABEL_DEFAULT_LOCALE = "zh"

# Superset specific config
ROW_LIMIT = 5000

# SUPERSET_WEBSERVER_PORT = 8088

# Flask App Builder configuration
# Your App secret key
SECRET_KEY = '\2\1thisismyscretkey\1\2\e\y\y\h'


# Flask-WTF flag for CSRF
# 通过Flask-WTF来保护表单免受CSRF攻击
WTF_CSRF_ENABLED = True
# Add endpoints that need to be exempt from CSRF protection
WTF_CSRF_EXEMPT_LIST = []
# A CSRF token that expires in 1 year
WTF_CSRF_TIME_LIMIT = 60 * 60 * 24 * 365

# Set this API key to enable Mapbox visualizations
MAPBOX_API_KEY = ''

# 全局异步查询秘钥
GLOBAL_ASYNC_QUERIES_JWT_SECRET = "test-secret-change-me-new-key-added-later"

# 配置
FEATURE_FLAGS = {
    # 缩略图配置
    "THUMBNAILS": True,
    "THUMBNAILS_SQLA_LISTENERS": True,
    # 面板缓存
    "DASHBOARD_CACHE": True,
    # 全局异步查询
    "GLOBAL_ASYNC_QUERIES": True,
    # 动态插件
    "DYNAMIC_PLUGINS": True,
    # 交叉过滤
    "DASHBOARD_NATIVE_FILTERS": True,  # 开启过滤级联
    "DASHBOARD_CROSS_FILTERS": True,  # 开启交叉过滤器
    "DASHBOARD_NATIVE_FILTERS_SET": True,  # 过滤集
    # 开启导入 导出？？功能
    "VERSIONED_EXPORT": True,
    # 警报和报告
    "ALERT_REPORTS": True,

}

# 缓存配置
CACHE_CONFIG = {
    'CACHE_TYPE': 'redis',
    'CACHE_DEFAULT_TIMEOUT': 60 * 60 * 24,
    'CACHE_KEY_PREFIX': 'superset_',
    'CACHE_REDIS_HOST': 'localhost',
    'CACHE_REDIS_PORT': 6379,
    'CACHE_REDIS_DB': 0,
    'CACHE_REDIS_URL': 'redis://localhost:6379/0'
}

DATA_CACHE_CONFIG = {
    'CACHE_TYPE': 'redis',
    'CACHE_DEFAULT_TIMEOUT': 60 * 60 * 24,  # 1 day default (in secs)
    'CACHE_KEY_PREFIX': 'superset_results',
    'CACHE_REDIS_URL': 'redis://localhost:6379/0',
}

# Async selenium thumbnail task will use the following user
# 缩略图
THUMBNAIL_SELENIUM_USER = "admin"
THUMBNAIL_CACHE_CONFIG: CacheConfig = {
    'CACHE_TYPE': 'redis',
    'CACHE_DEFAULT_TIMEOUT': 24 * 60 * 60 * 7,
    'CACHE_KEY_PREFIX': 'thumbnail_',
    'CACHE_NO_NULL_WARNING': True,
    'CACHE_REDIS_URL': 'redis://localhost:6379/0'
}

# celery配置
class CeleryConfig(object):
    BROKER_URL = "redis://localhost:6379/0"
    CELERY_IMPORTS = ("superset.sql_lab", "superset.tasks", "superset.tasks.thumbnails",)
    CELERY_RESULT_BACKEND = "redis://localhost:6379/0"
    CELERYD_PREFETCH_MULTIPLIER = 10
    CELERY_ACKS_LATE = True

CELERY_CONFIG = CeleryConfig

# 解决SQL异步查询错误
from cachelib.redis import RedisCache
RESULTS_BACKEND = RedisCache(
    host='localhost', port=6379, key_prefix='superset_results')

# 缩略图所需
WEBDRIVER_TYPE = "chrome"
# for older versions this was  EMAIL_REPORTS_WEBDRIVER = "chrome"
WEBDRIVER_OPTION_ARGS = [
    "--force-device-scale-factor=2.0",
    "--high-dpi-support=2.0",
    "--headless",
    "--disable-gpu",
    "--disable-dev-shm-usage",
    "--no-sandbox",
    "--disable-setuid-sandbox",
    "--disable-extensions",
]

# The base URL to query for accessing the user interface
WEBDRIVER_BASEURL = "http://localhost:8001/"

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116

注意对于缩略图：

pip install selenium
安装chromedriver
1
2

1.汉化

这是在Windows上执行的，在Ubuntu应该类似，我是直接把之前Windows上的项目复制到Ubuntu中的。

打开虚拟环境下Lib/site-packages/superset/config.py，设置BABEL_DEFAULT_LOCALE = “zh”

BABEL_DEFAULT_LOCALE = "zh"
1

在Anaconda3\install\envs\superset_env\Lib\site-packages\superset文件夹下面：

(superset_env) D:\Anaconda3\install\envs\superset_env\Lib\site-packages\superset>pybabel compile -d translations
1

重启文件你会发现大多数都已经汉化了,但是并不完全汉化
这时候你要编辑: D:\Anaconda3\install\envs\superset_env\Lib\site-packages\flask_appbuilder\translations\zh\LC_MESSAGES文件下的po文件,在flask_appbuilder文件下执行命令

pybabel compile -d translations
1

2.不登录用户查看图表

复制Gamma的权限，重命名为Public

再添加一个all datasource access on all_datasource_access即可
其中

• can explore on Superset为导出图表
• can explore json on Superset为导出图表json
• all database access on all_database_access访问所有数据库权限，也可以设置单个
• all datasource access on all_datasource_access

3.dashboard交叉过滤器

如果让dashboard左侧出现筛选器，dashboard可交叉筛选，将以下三个参数设置为True

    # TODO CWJ
    "DASHBOARD_NATIVE_FILTERS": True,  # 开启过滤级联
    "DASHBOARD_CROSS_FILTERS": True,  # 开启交叉过滤器
    "DASHBOARD_NATIVE_FILTERS_SET": True,  # 过滤集

注意dashboard可交叉筛选是由 DASHBOARD_CROSS_FILTERS 控制，设置了这个后，还需要在要实现交叉筛选的chart上，
勾选上EMIT DASHBOARD CROSS FILTERS，并不是所有图表都有这个选项的，饼图、table、雷达图上有，其他有没有没细看，
只有有的才能交叉筛选
1
2
3
4
5
6
7
8

交叉筛选效果见https://www.cnblogs.com/datawalkman/p/15131350.html的图

4.日志时间修改

日志时间差8个小时

superset\models\core.py修改dttm

    # TODO CWJ
    # dttm = Column(DateTime, default=datetime.utcnow)
    dttm = Column(DateTime, default=datetime.now)
1
2
3

5.对于CSS的引入

6.celery,flower

pip install flower

celery --app=superset.tasks.celery_app:app worker --pool=prefork -O fair -c 4

celery --app=superset.tasks.celery_app:app flower 
1
2
3
4
5

7.SQL异步查询报错解决

错误：Results backend needed for asynchronous queries is not configured.
因为我已经在前面设置缩略图时配置过celery和Redis，所以这个错误很奇怪。
解决：
在web中先开启MySQL的异步查询
然后在celery配置后面添加

from cachelib.redis import RedisCache
RESULTS_BACKEND = RedisCache(
    host='localhost', port=6379, key_prefix='superset_results')

# 如果配置全局异步查询，重新添加为多余32位
"GLOBAL_ASYNC_QUERIES": True,
# 全局异步查询秘钥
GLOBAL_ASYNC_QUERIES_JWT_SECRET = "test-secret-change-me-new-key-added-later"
1
2
3
4
5
6
7
8