От примерного к property-based тестированию
### Ограничения примерного тестирования
Каждый написанный вами до сих пор тест является *примерным*: вы выбираете конкретные входные данные, вызываете функцию и проверяете конкретные выходные данные.
```python
def test_reverse():
assert reverse('hello') == 'olleh'
assert reverse('') == ''
assert reverse('a') == 'a'
```
Вы выбрали эти три примера. Вы тестировали то, о чём подумали. Если вы не подумали о `'racecar'` (палиндром), или `'café'` (Unicode), или `' '` (пробелы), эти входные данные остаются непроверенными.
Фундаментальный недостаток: **примерные тесты покрывают только те примеры, которые вы додумались написать.**
## Property-based тестирование: опишите инвариант, позвольте библиотеке найти контрпример
Property-based тестирование использует другой подход. Вместо выбора примеров вы описываете *свойство* -- инвариант, который должен выполняться для любых допустимых входных данных, -- и позволяете библиотеке генерировать сотни случайных входных данных, пытаясь его опровергнуть.
```python
from hypothesis import given
from hypothesis import strategies as st
@given(st.text())
def test_reverse_involution(s):
# Свойство: двойное обращение строки даёт исходную строку.
assert reverse(reverse(s)) == s
```
Hypothesis генерирует случайные строки -- короткие, длинные, пустые, Unicode, управляющие символы, строки с пробелами -- и запускает тело теста для каждой. Если какие-либо входные данные приводят к падению утверждения, hypothesis сообщает об этом как о неудачном примере и пытается *свернуть* его до наименьшего возможного падающего случая.
## Установка и импорт
```bash
pip install hypothesis
```
```python
from hypothesis import given, assume, settings
from hypothesis import strategies as st
```
## Декоратор @given
`@given(strategy)` -- основа hypothesis. Он превращает обычную тестовую функцию в тест свойств, внедряя сгенерированные значения как аргументы:
```python
@given(st.integers())
def test_abs_is_non_negative(n):
assert abs(n) >= 0
```
Hypothesis генерирует целые числа во всём диапазоне -- положительные, отрицательные, ноль, `sys.maxsize`, `-sys.maxsize - 1` -- и запускает тело теста для каждого. Этот тест пройдёт для всех, поскольку `abs` корректна.
При наличии баги в реализации:
```python
def buggy_abs(n):
return n # баг: отрицательные числа возвращаются без изменений
```
Hypothesis быстро находит минимальный контрпример:
```
Falsifying example: test_abs_is_non_negative(n=-1)
```
Исходное падающее входное значение могло быть `-273`. Hypothesis сворачивает его до `-1` -- наименьшего целого числа, опровергающего `abs(n) >= 0` для функции, возвращающей `n` без изменений.
## Стратегии: как hypothesis генерирует данные
*Стратегия* описывает множество значений, которые может генерировать hypothesis. Модуль `hypothesis.strategies` (`st`) предоставляет обширную библиотеку:
| Стратегия | Генерирует |
|---|---|
| `st.integers()` | Любое целое число |
| `st.integers(min_value=0, max_value=100)` | Целое число в [0, 100] |
| `st.floats()` | Любое float (включая NaN, inf) |
| `st.floats(allow_nan=False, allow_infinity=False)` | Конечное float |
| `st.text()` | Любая строка Unicode |
| `st.text(alphabet=string.ascii_lowercase, min_size=1)` | Непустой строчный ASCII |
| `st.booleans()` | True или False |
| `st.lists(st.integers())` | Список целых чисел |
| `st.lists(st.integers(), min_size=1, max_size=10)` | Непустой список до 10 элементов |
| `st.dictionaries(st.text(), st.integers())` | Словарь с текстовыми ключами, целочисленными значениями |
| `st.one_of(st.integers(), st.text())` | Либо целое число, либо текст |
## Сворачивание: поиск минимального падающего примера
Когда hypothesis находит падающий ввод, она не останавливается и не сообщает его сразу. Она пытается *свернуть* его -- найти меньший, более простой ввод, который тоже падает. Это одна из самых ценных возможностей hypothesis.
Например, если hypothesis генерирует 500-символьную строку, из-за которой падает тест, она будет пробовать всё более короткие строки, пока не найдёт самую короткую строку, которая всё ещё падает. Сообщаемый сбой -- минимальный пример, а не исходный случайный, что упрощает понимание бага.
```
Falsifying example: test_slugify(s='A B')
# Не: s='Random Long String With Spaces And Punctuation!!!'
```
## assume(): фильтрация недопустимых входных данных
Иногда свойство имеет смысл только для подмножества входных данных. `assume()` сообщает hypothesis пропустить примеры, не удовлетворяющие предусловию:
```python
from hypothesis import given, assume
from hypothesis import strategies as st
@given(st.integers(), st.integers())
def test_division(a, b):
assume(b != 0) # пропускать примеры, где b равен нулю
result = a / b
assert isinstance(result, float)
```
Когда hypothesis генерирует `b=0`, `assume(b != 0)` вызывает внутреннее исключение и hypothesis отбрасывает этот пример, пробуя другой. Тест запускается только для допустимых входных данных.
**Осторожно:** `assume()` следует использовать экономно. Если большинство генерируемых входных данных отбрасывается, hypothesis генерирует намного больше примеров для поиска допустимых и может сдаться с `Unsatisfied`. По возможности используйте ограниченные стратегии:
```python
# Лучше, чем assume(b != 0):
@given(st.integers(), st.integers().filter(lambda x: x != 0))
def test_division(a, b):
result = a / b
assert isinstance(result, float)
```
## settings: управление поведением hypothesis
```python
from hypothesis import settings
@settings(max_examples=500) # запустить 500 примеров вместо дефолтных 100
@given(st.text())
def test_something(s):
...
```
| Настройка | По умолчанию | Описание |
|---|---|---|
| `max_examples` | 100 | Сколько допустимых примеров генерировать |
| `deadline` | 200 мс | Максимальное время на пример (установите `None` для отключения) |
| `suppress_health_check` | `[]` | Отключить конкретные проверки работоспособности |
Для тестов, вызывающих реальный API, установите `deadline=None` для избежания ложных падений из-за сетевой задержки:
```python
@settings(max_examples=10, deadline=None)
@given(st.text(min_size=1, max_size=20, alphabet=string.ascii_lowercase))
def test_search(query):
resp = requests.get(f'{BASE_URL}/api/search/?q={query}')
assert resp.status_code in (200, 404)
```
## Когда использовать hypothesis
**Хорошо подходит:**
- Чистые функции с математическими свойствами (сортировка, кодирование, разбор)
- Функции с обратимыми операциями (`encode`/`decode`, `compress`/`decompress`)
- Функции валидации, которые должны принимать или отвергать любой ввод типа
- Инварианты структур данных (высота дерева, порядок списка, членство в множестве)
**Плохо подходит:**
- Тесты, требующие конкретного начального состояния в базе данных
- Тесты, где ожидаемый вывод нетривиально зависит от входных данных (используйте parametrize)
- Тесты побочно-эффектных функций (вызовы API, запись файлов) -- слишком медленно для 100 примеров
Самый чёткий признак, что hypothesis подходит для теста: свойство является универсальным утверждением вида "для всех X выполняется property(X)".