mysql将%3c%3e转义_ESAPI学习笔记

ESAPI是owasp提供的一套API级别的web应用解决方案，本人通过对ESAPI和其提供的demo源码学习发现，关键的不是对其所提供的API的使用，而是其web应用安全防御体系的构建的思想。比如，您不一定要使用ESAPI去实现日志系统，而是应该明白，一套好的日志系统应该是怎么样子的，应具备什么样的特性等。

此外，在引入使用时可能会遇到不少麻烦，所以读者应根据自身的业务特性和需求进行整合，而不是一味的去粘贴和拼接。

1、Authentication

测试用于登录认证的ESAPI接口的步骤：

1.1、创建用户(方法的实现请参考FileBasedAuthenticator .java)

1.1.1、Authenticator instance = ESAPI.authenticator(); //实例化

1.1.2、User user = instance.createUser(accountName, password, password);//在users.txt中创建一个新用户，【遗留问题：在createUser()中并未发现是写到users.txt文件】

1.1.3、instance.getUser(accountName).enable(); //使能账户

1.1.4、instance.getUser(accountName).unlock(); //解锁账户

1.2、用户登录(方法的实现请参考AbstractAuthenticator .java)

/*

1.2.1、必须预先在ESAPI.properties文件中设置UsernameParameterName和PasswordParameterName参数，因为login()会使用这两个参数的值去http请求中获取用户输入的用户名和密码。比如说，如果UsernameParameterName的值为username，那么login()会在http请求中去找username字段并获取其值(用户名)。

1.2.2、该函数用来检查发送该请求的用户是否已登录，如果没有就重定向让其登录，内部实现的具体步骤如下：

1)检查用户是否已登录并存在会话中

a.如果是，确认会话最长时间和闲置操作时间是否到达

b.如果步骤1满足条件则步骤可跳过

2)如果不满足步骤1，则需要对用户的凭证(用户名和密码)进行有效验证

a.建议使用ESAPI接口

loginWithUsernameAndPassword(HttpServletRequest, HttpServletResponse)

接口来验证用户凭证

3)记录用户本次登录的主机IP

4)验证本次请求的方式是否是安全的(比如POST+SSL)

5)验证用户账户是否允许登录

a.验证用户没有被禁用、过期和锁定等

6)将用户分配到会话变量中

*/

【遗留问题：同一个用户重复登录时，是否只创建一个user对象再绑定多个session？】

User user = ESAPI.authenticator().login(HTTPServletRequest, HTTPServletResponse);

DefaultUser user = (DefaultUser) getUserFromSession();//检查用户是否已登录

HttpSession session = ESAPI.httpUtilities().getCurrentRequest().getSession(false);

if (session == null) return null;

return ESAPI.httpUtilities().getSessionAttribute(USER);

user = getUserFromRememberToken();//【遗留问题：选”记住我”才会用到，未理解】

user = (DefaultUser) loginWithUsernameAndPassword(request);//如果没登录则要求用户进行认证(hash[username+id]值和users.txt对比)，并返回user对象

user.setLastHostAddress(request.getRemoteHost());//记录用户最后一次成功登录的主机IP

ESAPI.httpUtilities().assertSecureRequest(ESAPI.currentRequest());//验证请求是否使用POST+SSL方式传输

if (user.isAnonymous()||!user.isEnabled()||user.isLocked()||user.isExpired()||user.isSessionTimeout()||user.isSessionAbsoluteTimeout())//各种用户状态条件判断

user.logout();//强制用户注销

user.setLocale(request.getLocale());//【遗留问题：未理解】

/*为用户创建会话*/

HttpSession session = request.getSession();//如果当前请求不存在有效session则创建一个，如果存在就返回当前的

user.addSession(session);//将会话绑定到user对象中，一个用户可能有多个session？

session.setAttribute(USER, user);//user对象存储到USER

setCurrentUser(user);//将用户设置为当前登录用户

1.3、用户注销

User user = ESAPI.authenticator().logout;

1.4、关于ESAPI.authenticator().login(HTTPServletRequest, HTTPServletResponse)对每个请求的处理逻辑。

2、Session Management

2.1、用户登录后更新session id的接口(防止会话定置攻击)：

javax.servlet.http.HttpSession ESAPI.httpUtilities().changeSessionIdentifier(javax.servlet.http.HttpServletRequest request);

接口内部实现说明：将当前session数据拷贝到新session，并使当前session失效，并将新session绑定到当前user对象中，并返回新的session。

2.2、为URL增加CSRF token

2.2.1、为指定URL增加CSRF TOKEN

String transferFundsHref = "/SwingSet/main?function=TransferFunds&lab";

Transfer Funds

说明：在url末尾添加的csrftoken值等于user.getCSRFToken()

2.2.2、在transferFundsHref的页面里验证request携带的和user的CSRF token是否一致。

ESAPI.httpUtilities().verifyCSRFToken();

if ( !user.getCSRFToken().equals( token ) ) {//验证两者是否一致

throw new IntrusionException("Authentication failed",

3、AccessControl

3.1、角色权限验证：

3.1.1、接口：ESAPI.accessController().assertAuthorizedForURL(java.lang.String url)

3.1.2、说明：检查当前用户对应的角色是否有权限访问url，权限的定义在esapi\fbac-policies\URLAccessRules.txt文件中。

3.1.3、接口源码分析：

ESAPI.accessController().assertAuthorizedForURL(string url)

this.assertAuthorized("AC 1.0 URL", new Object[] {url});

/*

在esapi\ESAPI-AccessControlPolicy.xml文件中获取name为“AC 1.0 URL”的访问控制信息：

*/

AccessControlRule rule = (AccessControlRule)ruleMap.get(key);

/*

将key对应的(此例key等于"AC 1.0 URL")对应的访问控制信息(如上图)作为AccessControlRule接口的构造函数的入参(参考AccessControlRule.java)，即顺序调用了以下3个函数：

void setPolicyParameters(P policyParameter);//P为访问控制信息

P getPolicyParameters();//该函数未重写，默认为空，故不执行

boolean isAuthorized(R runtimeParameter)；//此处R为空，故在下面调用

*/

isAuthorized = rule.isAuthorized(runtimeParameter);

/*

此处runtimeParameter等于string url，经过setPolicyParameters()的设置，此处调用isAuthorized()实际上等于调用FileBaseACRs.java中定义的isAuthorizedForURL()，即实际效果等于：isAuthorizedForURL(string url)，请参考第4、5点的分析。

*/

3.1.4、void setPolicyParameters()的分析(源码在DelegatingACR.java)：

void setPolicyParameters(DynaBeanACRParameter policyParameter)

delegateClassName =

policyParameter.getString("delegateClass", "").trim()；

methodName =

policyParameter.getString("delegateMethod", "").trim();

parameterClassNames =

policyParameter.getStringArray("parameterClasses");

/*

由以上截图可知，此例的delegateClassName为：

org.owasp.esapi.reference.accesscontrol.FileBasedACRs；

methodName为：isAuthorizedForURL；

parameterClassNames为：java.lang.String

*/

Class delegateClass = getClass(delegateClassName, "delegate");

Class parameterClasses[] = getParameters(parameterClassNames);

/*

通过getClass获取FileBasedACRs类，【疑问：parameterClasses[]是什么呢？】

*/

this.delegateMethod = delegateClass.getMethod(methodName, parameterClasses);

/*

根据方法名来从FileBasedACRs类中获取方法，此例实际为isAuthorizedForURL()

*/

3.1.5、boolean isAuthorized ()的源码分析

boolean isAuthorized(Object[] runtimeParameters)

return ((Boolean)delegateMethod.invoke(delegateInstance,

runtimeParameters)).booleanValue();

/*

调用FileBasedACRs类中定义的回调函数，此例实际为isAuthorizedForURL()，runtimeParameters为要检查的内容，比如要访问的URL、service、function和file等，此列为URL。

*/

3.1.6、boolean isAuthorizedForURL()的源码分析

urlMap = loadRules("URLAccessRules.txt");

/*

故实际定义URL访问控制权限的文件是URLAccessRules.txt，其它类似的还有FunctionAccessRules.txt和DataAccessRules.txt等等，由以上的分析可知，实

际上最终会对哪个权限控制文件做检查是由void assertAuthorized(Object key,

Object runtimeParameter)的key决定的，key的值都在ESAPI-AccessControlPolicy.xml文件中定义了，目前可能的值为"AC 1.0 Data"、"AC 1.0 File"、"AC 1.0 Function"、"AC 1.0 Service"、"AC 1.0 URL"。

补充说明：ESAPI提供的顶层接口(比如assertAuthorizedForURL()等)已经帮我们定义好了要调用的key值了(如本例)，因此实际上只需要修改权限控制文件(URLAccessRules.txt、FunctionAccessRules.txt等)就可以了。

*/

return matchRule(urlMap, url);

/*

在URLAccessRules.txt检查当前用户的角色以及该角色是否有访问url的权限，

URLAccessRules.txt内容如下图所示：

*/

【遗留问题】：

是不是在过滤器中设置ESAPI的ESAPI.authenticator().login()和ESAPI.accessController().assertAuthorizedForURL()就可以解决每一个请求的认证和权限验证问题了？

3.2、直接对象引用：

3.2.1、使用随机映射表对象的样例代码：

Set fileSet = new HashSet();

ArrayList list = new ArrayList();

list.add(msgID0);//将需要映射的资源的直接引用名(此处为message id)添加到list

list.add(msgID1);

……

fileSet.addAll(list);

RandomAccessReferenceMap MsgIDMap = new RandomAccessReferenceMap(fileSet);

/*调用ESAPI接口生成随机映射表对象*/

HttpSession sess = ESAPI.httpUtilities().getCurrentRequest().getSession(false);

sess.setAttribute("MsgIDMap",MsgIDMap);

/*

此时应将映射表对象存放到安全的地方，比如：session

*/

String indirect = instance.getIndirectReference(msgID0));

/*

获取要被访问的资源的间接引用值，该值由ESAPI接口随机生成，并且每次进行映射时值都会动态产生变化，因此，如果用户每次登录时进行重映射，那么用户在浏览器端看到的间接引用值也会每次都不一样，也大大增加了防御CSRF攻击的能力。

*/

String href = "http://www.test.com?messageid=";

%>

点击读取消息；

/*

将提供给用户读取消息的链接返回给用户，用户最终看到的链接将带上间接引用值。

例如：http://www.test.com?messageid=DfDsQK

*/

【说明】：当要映射的资源较多时，使用资源映射表可能会消耗较多的内存。

【遗留问题】：同一个用户重复登录都要重新映射？不同类型的资源(比如消息id、用户id和设备id等等)应当映射到不同的表中还是可以全部映射到一个表中？

3.2.2、处理来自用户请求的样例代码：

HttpSession sess = ESAPI.httpUtilities().getCurrentRequest().getSession(false);

RandomAccessReferenceMapMsgIDMap=

(RandomAccessReferenceMap) sess.getAttribute("MsgIDMap");

/*

从当前登录用户的session中还原出资源的随机映射表对象。

*/

String indMsgID = request.getParameter( " messageid " );

String directMsgID = (String) MsgIDMap.getDirectReference(indMsgID);

/*

获取客户端传过来的间接索引值，再通过间接索引值得到直接引用对象的值，如果该值为空，表示用户传过来了一个非法的间接索引值，此时getDirectReference会抛出一个AccessControlException异常，应用系统应在异常中做适当处理，比如将该异常行为记录到日志中。

*/

%>

3.2.3、服务器处理携带用户资源标签请求的流程图

4、Input Validation

4.1、使用自定义的正则表达式规则验证用户的输入数据。

4.1.1、接口说明：

接口1：

java.lang.String getValidInput(java.lang.String context, java.lang.String input, java.lang.String type, int maxLength, boolean allowNull)

功能说明：使用esapi/validation.properties文件中定义的正则表达式去验证用户的输入数据。

参数说明：

context：任意定义的字符串，主要用于日志打印信息。

Input：需要验证的输入字符。

Type：选择需要使用的一种正则表达式(见4.1.2)。

MaxLenth：允许输入字符的最大长度。

AllowNull：是否允许输入空字符(true为允许，false为不允许)。

返回：经过规范化和验证过滤后的字符串【遗留问题：实际验证时好像未返回字符串】

接口2：

isValidInput(java.lang.String context, java.lang.String input, java.lang.String type, int maxLength, boolean allowNull)

功能与getValidInput()一样，但不返回字符串，仅验证通过时返回true，否则返回false。

4.1.2、validation.properties文件的正则表达式定义如下：

4.1.3、样例代码：

String input = request.getParameter("input");

type = "SafeString"; //使用validation.properties文件定义的SafeString正则表达式规则

try {

ESAPI.validator().getValidInput(

"Swingset Validation Secure Exercise", input, type,

200, false);

} catch (ValidationException e) {

/*当检测到输入字符串不匹配正则表达式时产生该异常，应进行适当处理*/

input = "Validation attack detected";

request.setAttribute("userMessage", e.getUserMessage());

request.setAttribute("logMessage", e.getLogMessage());

} catch (Exception e) {

input = "exception thrown";

request.setAttribute("logMessage", e.getMessage());

}

接口3：void assertValidFileUpload(java.lang.String context,

java.lang.String filepath, java.lang.String filename, java.io.File parent, byte[] content, int maxBytes, java.util.List allowedExtensions, boolean allowNull)

功能说明：对上传文件的路径、文件名、扩展名和文件大小进行检查。

参数说明：略。

函数分析：

void assertValidFileUpload(String context, String directorypath, String filename, File parent, byte[] content, int maxBytes, List allowedExtensions, boolean allowNull)

getValidFileName( context, filename, allowedExtensions, allowNull );

getValidInput( context, input, "FileName", 255, true );

getValidDirectoryPath( context, directorypath, parent, allowNull );

fileValidator.getValidInput( context, canonicalPath, "DirectoryName", 255, false);

getValidFileContent( context, content, maxBytes, allowNull );

esapiMaxBytes = ESAPI.securityConfiguration().getAllowedFileUploadSize();

/* FileName和DirectoryName正则表达式都在ESAPI.properties全局文件中定义*/

注意事项：如果没有canonicalize参数，表示该API默认对输入数据进行canonicalize，否则需要使用canonicalize参数去指定是否需要对输入数据进行canonicalize，一般情况下，我们都默认使用不带canonicalize参数的API，表示默认对输入数据进行canonicalize。

更多owasp数据验证API请参考在线官方文档：

URL：http://owasp-esapi-java.googlecode.com/svn/trunk_doc/latest/index.html

接口路径：org.owasp.esapi->Validator->Method Summary

4.2、在富文本应用系统中防御XSS攻击。

应用系统允许用户输入自定义的html代码，我们称之为“富文本”，此类系统容许类似之类的危险标签的存在(即输出时原样携带这样的标签)，此场景下我们需要以下API：

java.lang.String getValidSafeHTML(java.lang.String context, java.lang.String input, int maxLength, boolean allowNull)

功能说明：对用户输入的富文本数据进行有效过滤，防止XSS。

参数说明：

context：任意定义的字符串，主要用于日志打印信息。

Input：需要验证的富文本输入数据。

maxLenth：允许输入字符的最大长度。

AllowNull：是否允许输入空字符(true为允许，false为不允许)。

返回：经过规范化和验证的安全的html内容，该内容中的body、attributes、CSS、URLs等都不会包含恶意的脚步代码。

样例：

输入：

test this right now

输出：

test this alert(document.cookie)right now

如果此时对标签进行html编码再输出就会改变原意，达不到想要的显示效果：<p>test <b>this</b> <i>right</i> now</p>

5、Output Encoding/Escaping

5.1、Canonicalize

术语解释：canonicalize是指将数据转换或解码成一个常见字符集的过程。这里的数据可以是经过多重混合编码的。比如：%3cscript%3ealert(%22xss%22)%3c%2fscript%3e还原成。在对输入数据进行过滤之前应进行规范化！

接口1：java.lang.String

canonicalize(java.lang.String input, boolean strict)

功能说明：将编码过的数据还原为其最简化的形式。

参数说明：

Input：输入数据。

strict：指定是否对输入数据进行多重和混合编码的检测，true时将触发IntrusionException，但不返回数据，而false将直接返回canonicalize后的数据。

返回：canonicalize后的数据。

5.2、对输出到浏览器的数据进行编码/转义

以下内容摘自《web安全开发规范v1.1》à反射型、存储型XSS安全规则： 将用户数据输出到html body某处时，必须经过html转义，比如：

以及其它普通的html标签，比如p, b, td等等。

ESAPI sample：

String safe =

ESAPI.encoder().encodeForHTML( request.getParameter( "input" ) );

将用户数据输出到html标签的属性时，必须经过标签属性的转义。

注意：不包含href, src, style和事件处理函数属性(比如onmouseover)。

ESAPI sample：

String safe =

ESAPI.encoder().encodeForHTMLAttribute( request.getParameter( "input" ) );

将用户数据输出到JavaScript数据域时，必须经过JavaScript转义。

注意：用户数据必须在引号内，否则转义后数据仍然是不安全的。

//数据在带引号的字符串内

//数据在带引号的表达式内