# Android-Accessibility-Api
**Repository Path**: Vove/Android-Accessibility-Api
## Basic Information
- **Project Name**: Android-Accessibility-Api
- **Description**: 安卓无障碍服务Api, 为了简化无障碍服务使用,并使用 Kotlin 以提供简洁的Api。
- **Primary Language**: Unknown
- **License**: Apache-2.0
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No
## Statistics
- **Stars**: 13
- **Forks**: 10
- **Created**: 2020-06-11
- **Last Updated**: 2025-04-27
## Categories & Tags
**Categories**: Uncategorized
**Tags**: None
## README
# Android-Accessibility-Api
中文 | [English](ReadMe_EN.md)
> 安卓无障碍服务Api, 为了简化无障碍服务使用,并使用 Kotlin 以提供简洁的Api。
[TOC]
## 基础导航
(图片加载过慢可到 [Gitee](https://www.gitee.com/Vove/Android-Accessibility-Api) 查看)
查看代码
```kotlin
//无障碍服务声明 未开启会跳转设置页面提示开启服务,并抛出异常 终止执行
requireBaseAccessibility()
toast("下拉通知栏..")
delay(1000)
toast("快捷设置..")
//操作之间需要适当延时等待
delay(1000)
//下拉通知栏快捷设置
quickSettings()
delay(1000)
//返回操作
back()
delay(500)
//返回操作
back()
delay(1000)
//电源菜单
powerDialog()
delay(500)
back()
delay(1000)
//进入最近任务页面
recents()
delay(1000)
back()
delay(1000)
//Home 按键 / 返回桌面
home()
delay(100)
```
更多操作:
| 方法 | 说明 |
| ------------- | --------------------------- |
| lockScreen() | 锁屏,需要Android P |
| screenShot() | 触发系统截屏,需要Android P |
| splitScreen() | 触发系统分屏,需要Android P |
## 视图检索
### 提取文字
```kotlin
requireBaseAccessibility()
//使用 ScreenTextFinder() 来搜索屏幕上的文字
val ts = ScreenTextFinder().find().joinToString("\n\n")
withContext(Dispatchers.Main) {
AlertDialog.Builder(act).apply {
setTitle("提取文字:")
setMessage(ts)
show()
}
}
```
### 视图搜索
1. 提供一个基础类 `ViewFinder`, 并封装一个 `ViewFinderWithMultiCondition` 来指定搜索条件,实现快速搜索;查看所有方法:[view_finder_api.kt](accessibility-api/src/main/java/cn/vove7/andro_accessibility_api/api/view_finder_api.kt)
1. 最新添加 `SmartFinder`,支持多条件(AND, OR)搜索,扩展性极高
`ViewFinder` 主要方法:
| 方法 | 说明 |
| :----------------------------------------------------------: | :----------------------------------------------------------: |
| findFirst(includeInvisible: Boolean = false): ViewNode? | 立即搜索,返回满足条件的第一个结果
includeInvisible: 是否包含不可见元素 |
| findAll(includeInvisible: Boolean = false): Array\ | 立即搜索,返回满足条件的所有结果 |
| waitFor(waitMillis: Long = 30000): ViewNode? | 等待搜索,在指定时间内循环搜索(视图更新),超时返回null |
| require(waitMillis: Long = WAIT_MILLIS): ViewNode | 等待超时抛出异常 |
| findByDepths(vararg depths: Int): ViewNode? | 指定深度索引搜索 |
| exist(): Boolean | 是否存在 (findFirst() != null) |
| attachCoroutine() | 支持协程调用,支持cancel()打断搜索 |
**示例1:** 等待 Chrome 打开 > 展开菜单
```kotlin
//等待无障碍开启 默认时间30s,超时将抛出异常
waitBaseAccessibility()
toast("start chrome after 1s")
delay(1000)
//打开Chrome
val targetApp = "com.android.chrome"
act.startActivity(act.packageManager.getLaunchIntentForPackage(targetApp))
//等待页面
if (
waitForApp(targetApp, 5000).also {
toast("wait " + if (it) "success" else "failed")
}
) {
//id 搜索,点击打开菜单
withId("menu_button").tryClick()
}
```
**示例2:** 文本操作
查看代码
```kotlin
requireBaseAccessibility()
//editor() 指定编辑框
editor().require().apply { // this is ViewNode
repeat(5) {
//追加文本
appendText(".x")
delay(500)
}
delay(1000)
//清空文本
text = ""
delay(1000)
//设置文本
text = "123456"
delay(1000)
//选择文本
setSelection(0, 5)
delay(1000)
//清除选择
clearSelection()
//失去焦点
clearFocus()
}
```
2. 提供自定义搜索条件
搜索所有可点击的视图:
```kotlin
requireBaseAccessibility()
//自定义条件搜索
val s = findAllWith { it: AccessibilityNodeInfo ->
it.isClickable
}.joinToString("\n\n")
withContext(Dispatchers.Main) {
AlertDialog.Builder(act).apply {
setTitle("可点击节点:")
setMessage(s)
show()
}
}
```
3. SmartFinder
> 扩展性极高,支持多条件(AND, OR)搜索
>
> 更多已支持的条件见:[SmartFinderConditions.kt](accessibility-api/src/main/java/cn/vove7/andro_accessibility_api/viewfinder/SmartFinderConditions.kt)
```kotlin
//SF 为 SmartFinder 缩写
SF.text("SmartFinder测试").findFirst()
//等效:
SF.where(_text eq "SmartFinder测试").findFirst()
//搜索 文本为123 或者 id为text1
SF.text("123").or().id("text1").findFirst()
```
原始AND,OR
```kotlin
//搜索 所有isChecked
SF.where {
it.isChecked
}.find()
SF.where(IdCondition("view_id")).or(RTextEqCondition("[0-9]+")).find()
//等效:
SF.id("view_id").or().matchText("[0-9]+").find()
```
支持Group
```kotlin
// (text=="111" && desc=="111") || (text=="222" && desc=="222")
SF.where(SF.text("111").desc("111"))
.or(SF.text("222").desc("222"))
.find()
```
中缀表达式
```kotlin
//使用中缀表达式
(SF where text("1111") or text("2222")
and id("111") or longClickable()).findAll()
```
3. 协程支持
添加 `attachCoroutine` 方法,搜索等待可及时中断
```kotlin
fun run(act: Activity) = runBlocking {
val outterJob = coroutineContext[Job]
val searchJob = GlobalScope.async {
val t = SF.attachCoroutine()//attach当前协程上下文,需要主动调用
.containsText("周三").waitFor(10000)
AlertDialog.Builder(act).apply {
setMessage(t.toString())
withContext(Dispatchers.Main) {
show()
}
}
}
searchJob.invokeOnCompletion {
outterJob?.cancel()
}
delay(3000)
//取消搜索测试
searchJob.cancel()
}
```
4. 条件扩展
> 封装自定义搜索条件,使调用起来更简洁
> 库中搜索条件全部实现位于 `SmartFinderConditions.kt`
例如 定义使用正则匹配Node文本
##### Step 1.
```kotlin
class TextMatcherCondition(private val regex: String) : MatchCondition {
//此处注意直接创建Regex,防止在搜索时重复创建;另外可直接检查正则表达式有效性
private val reg = regex.toRegex()
override fun invoke(node: AcsNode) =
node.text?.toString()?.let {
reg.matches(it)
} ?: false
}
```
此时,已经可以这样使用:
```kotlin
SF.where(TextMatcherCondition("[0-9]+")).findAll()
```
追究简洁,可进行扩展方法:
##### Step 2.
```kotlin
fun ConditionGroup.matchText(reg: String) = link(TextMatcherCondition(reg))
```
之后可简化调用
```kotlin
SF.matchText("[0-9]+").findAll()
```
## 视图节点(ViewNode)
根据`ViewFinder`搜索得到 `ViewNode`,可进行的操作详见接口:[ViewOperation.kt](accessibility-api/src/main/java/cn/vove7/andro_accessibility_api/viewnode/ViewOperation.kt)
## 全局手势
全局手势可以点击/长按任意坐标,执行路径手势。
### 示例
查看代码
```kotlin
class DrawableAction : Action {
override val name: String
get() = "手势画图 - Rect - Circle - Oval"
@RequiresApi(Build.VERSION_CODES.N)
override suspend fun run(act: Activity) {
requireBaseAccessibility()
requireGestureAccessibility()
act.startActivity(Intent(act, DrawableActivity::class.java))
toast("1s后开始绘制,请不要触摸屏幕")
delay(1000)
//设置相对屏幕 非必须
setScreenSize(500, 500)
//指定点转路径手势
gesture(
2000L, arrayOf(
100 t 100,
100 t 200,
200 t 200,
200 t 100,
100 t 100
)
)
delay(800)
//点击clear按钮
withText("clear").tryClick()
//使用Path
drawCircle()
delay(800)
withText("clear").tryClick()
drawOval()
}
@RequiresApi(Build.VERSION_CODES.N)
fun drawCircle() {
val p = Path().apply {
//此处路径坐标为绝对坐标
addOval(RectF(500f, 500f, 800f, 800f), Path.Direction.CW)
}
gesture(2000L, p) {
toast("打断")
}
}
//AdapterRectF 会根据设置的相对屏幕大小换算
@RequiresApi(Build.VERSION_CODES.N)
fun drawOval() {
val p = Path().apply {
//使用AdapterRectF 会根据设置的相对屏幕尺寸将坐标转换
addOval(AdapterRectF(200f, 200f, 300f, 300f), Path.Direction.CW)
}
gesture(2000L, p)
}
infix fun A.t(that: B): Pair = Pair(this, that)
}
```
### Api文档
**手势Api全部需要Android N+;代码必须执行于非主线程**
展开查看
| 方法 | 说明 |
| :----------------------------------------------------------- | :-------------------------- |
| fun setScreenSize(width: Int, height: Int) | 设置屏幕相对坐标 |
| fun gesture(
duration: Long,
points: Array>,
onCancel: Function0? = null
): Boolean | 根据点坐标生成路径 执行手势 |
| fun gesture(
duration: Long,
path: Path,
onCancel: Function0? = null
): Boolean | 根据Path执行手势 |
| fun gestureAsync(
duration: Long,
points: Array>
) | 异步执行手势 |
| fun gestures(
duration: Long,
ppss: Array>>,
onCancel: Function0? = null
): Boolean | 多路径手势 |
| fun click(x: Int, y: Int) | 点击; x,y 相对坐标 |
| fun longClick(x: Int, y: Int) | 长按; x,y 相对坐标 |
| fun swipe(x1: Int, y1: Int, x2: Int, y2: Int, dur: Int) | 两点间滑动 |
| fun scrollUp(): Boolean | 向上滑动 |
| fun scrollDown(): Boolean | 向下滑动 |
## 使用
由于部分系统版本启动支持手势的无障碍服务会造成系统卡顿(掉帧),所以本库分为两个服务来设计(若无需手势功能,可不实现手势服务)。
### 引入 Android-Accessibility-Api
1. Add it in your root build.gradle at the end of repositories:
```groovy
allprojects {
repositories {
//...
maven { url 'https://jitpack.io' }
}
}
```
2. Add the dependency
```groovy
dependencies {
implementation 'com.github.Vove7:Android-Accessibility-Api:Tag'
}
```
the TAG is [](https://jitpack.io/#com.github.Vove7/Android-Accessibility-Api)
### 创建你的服务
#### 基础服务
用来支持 布局检索,视图操作
1. 定义你的 BaseAccessibilityService
展开查看 BaseAccessibilityService
```kotlin
class BaseAccessibilityService : AccessibilityApi() {
//启用 页面更新 回调
override val enableListenAppScope: Boolean = true
//页面更新回调
override fun onPageUpdate(currentScope: AppScope) {
Log.d("TAG", "onPageUpdate: $currentScope")
}
}
```
2. 服务注册
```xml
```
3. base_accessibility_config.xml
点击展开 res/xml/base_accessibility_config.xml
```xml
```
其中 `android:accessibilityEventTypes="typeWindowStateChanged"` 可能会在视图搜索有延迟刷新视图树的问题,
可使用 `android:accessibilityEventTypes="typeAllMask"` 替换
#### 手势服务
> 用于执行手势,Android N+可用
1. 定义 GestureAccessibilityService
展开查看 GestureAccessibilityService
```kotlin
class GestureAccessibilityService : AccessibilityService() {
override fun onCreate() {
super.onCreate()
//must call
AccessibilityApi.gestureService = this
}
override fun onDestroy() {
super.onDestroy()
//must call
AccessibilityApi.gestureService = null
}
override fun onInterrupt() {}
override fun onAccessibilityEvent(event: AccessibilityEvent?) {}
}
```
2. 服务注册
```xml
```
3. gesture_accessibility_config.xml
点击展开 res/xml/gesture_accessibility_config.xml
和基础服务配置区别仅为 `android:canPerformGestures="true"`
```xml
```
### 额外配置
在 Application 中初始化:
**指定 `BASE_SERVICE_CLS` 及 `GESTURE_SERVICE_CLS`**
```kotlin
override fun onCreate() {
super.onCreate()
AccessibilityApi.apply {
BASE_SERVICE_CLS = BaseAccessibilityService::class.java
GESTURE_SERVICE_CLS = GestureAccessibilityService::class.java
}
}
```
### 合并服务
如果你想使用一个服务来完成,可使用如下配置
1. 创建服务
```kotlin
class MyAccessibilityService : AccessibilityApi() {
//启用 页面更新 回调
override val enableListenAppScope: Boolean = true
override fun onCreate() {
//同时设置
baseService = this
AccessibilityApi.gestureService = this
super.onCreate()
}
override fun onDestroy() {
//同时设置
baseService = null
AccessibilityApi.gestureService = null
super.onDestroy()
}
//页面更新回调
override fun onPageUpdate(currentScope: AppScope) {
Log.d("TAG", "onPageUpdate: $currentScope")
}
}
```
2. 清单注册
```xml
```
3. `res/xml/accessibility_config.xml`
点击展开 accessibility_config.xml
```xml
```
4. Application 初始化配置
```kotlin
AccessibilityApi.apply {
BASE_SERVICE_CLS = MyAccessibilityService::class.java
GESTURE_SERVICE_CLS = MyAccessibilityService::class.java
}
```
----------------------------
更多 `Api` 可在下列文件查看
- [view_finder_api.kt](accessibility-api/src/main/java/cn/vove7/andro_accessibility_api/api/view_finder_api.kt)
- [gesture_api.kt](accessibility-api/src/main/java/cn/vove7/andro_accessibility_api/api/gesture_api.kt)
- [nav_api.kt](accessibility-api/src/main/java/cn/vove7/andro_accessibility_api/api/nav_api.kt)
- [nav_api.kt](accessibility-api/src/main/java/cn/vove7/andro_accessibility_api/api/nav_api.kt)
- [ViewNode](accessibility-api/src/main/java/cn/vove7/andro_accessibility_api/viewnode/ViewNode.kt)
- [SmartFinderConditions.kt](accessibility-api/src/main/java/cn/vove7/andro_accessibility_api/viewfinder/SmartFinderConditions.kt)