Line data    Source code

       1             : /* SPDX-License-Identifier: GPL-2.0 */
       2             : /*
       3             :  * memory buffer pool support
       4             :  */
       5             : #ifndef _LINUX_MEMPOOL_H
       6             : #define _LINUX_MEMPOOL_H
       7             : 
       8             : #include <linux/wait.h>
       9             : #include <linux/compiler.h>
      10             : 
      11             : struct kmem_cache;
      12             : 
      13             : typedef void * (mempool_alloc_t)(gfp_t gfp_mask, void *pool_data);
      14             : typedef void (mempool_free_t)(void *element, void *pool_data);
      15             : 
      16             : typedef struct mempool_s {
      17             :         spinlock_t lock;
      18             :         int min_nr;             /* nr of elements at *elements */
      19             :         int curr_nr;            /* Current nr of elements at *elements */
      20             :         void **elements;
      21             : 
      22             :         void *pool_data;
      23             :         mempool_alloc_t *alloc;
      24             :         mempool_free_t *free;
      25             :         wait_queue_head_t wait;
      26             : } mempool_t;
      27             : 
      28             : static inline bool mempool_initialized(mempool_t *pool)
      29             : {
      30             :         return pool->elements != NULL;
      31             : }
      32             : 
      33             : static inline bool mempool_is_saturated(mempool_t *pool)
      34             : {
      35             :         return READ_ONCE(pool->curr_nr) >= pool->min_nr;
      36             : }
      37             : 
      38             : void mempool_exit(mempool_t *pool);
      39             : int mempool_init_node(mempool_t *pool, int min_nr, mempool_alloc_t *alloc_fn,
      40             :                       mempool_free_t *free_fn, void *pool_data,
      41             :                       gfp_t gfp_mask, int node_id);
      42             : int mempool_init(mempool_t *pool, int min_nr, mempool_alloc_t *alloc_fn,
      43             :                  mempool_free_t *free_fn, void *pool_data);
      44             : 
      45             : extern mempool_t *mempool_create(int min_nr, mempool_alloc_t *alloc_fn,
      46             :                         mempool_free_t *free_fn, void *pool_data);
      47             : extern mempool_t *mempool_create_node(int min_nr, mempool_alloc_t *alloc_fn,
      48             :                         mempool_free_t *free_fn, void *pool_data,
      49             :                         gfp_t gfp_mask, int nid);
      50             : 
      51             : extern int mempool_resize(mempool_t *pool, int new_min_nr);
      52             : extern void mempool_destroy(mempool_t *pool);
      53             : extern void *mempool_alloc(mempool_t *pool, gfp_t gfp_mask) __malloc;
      54             : extern void mempool_free(void *element, mempool_t *pool);
      55             : 
      56             : /*
      57             :  * A mempool_alloc_t and mempool_free_t that get the memory from
      58             :  * a slab cache that is passed in through pool_data.
      59             :  * Note: the slab cache may not have a ctor function.
      60             :  */
      61             : void *mempool_alloc_slab(gfp_t gfp_mask, void *pool_data);
      62             : void mempool_free_slab(void *element, void *pool_data);
      63             : 
      64             : static inline int
      65             : mempool_init_slab_pool(mempool_t *pool, int min_nr, struct kmem_cache *kc)
      66             : {
      67             :         return mempool_init(pool, min_nr, mempool_alloc_slab,
      68             :                             mempool_free_slab, (void *) kc);
      69             : }
      70             : 
      71             : static inline mempool_t *
      72             : mempool_create_slab_pool(int min_nr, struct kmem_cache *kc)
      73             : {
      74           2 :         return mempool_create(min_nr, mempool_alloc_slab, mempool_free_slab,
      75             :                               (void *) kc);
      76             : }
      77             : 
      78             : /*
      79             :  * a mempool_alloc_t and a mempool_free_t to kmalloc and kfree the
      80             :  * amount of memory specified by pool_data
      81             :  */
      82             : void *mempool_kmalloc(gfp_t gfp_mask, void *pool_data);
      83             : void mempool_kfree(void *element, void *pool_data);
      84             : 
      85             : static inline int mempool_init_kmalloc_pool(mempool_t *pool, int min_nr, size_t size)
      86             : {
      87           2 :         return mempool_init(pool, min_nr, mempool_kmalloc,
      88             :                             mempool_kfree, (void *) size);
      89             : }
      90             : 
      91             : static inline mempool_t *mempool_create_kmalloc_pool(int min_nr, size_t size)
      92             : {
      93             :         return mempool_create(min_nr, mempool_kmalloc, mempool_kfree,
      94             :                               (void *) size);
      95             : }
      96             : 
      97             : /*
      98             :  * A mempool_alloc_t and mempool_free_t for a simple page allocator that
      99             :  * allocates pages of the order specified by pool_data
     100             :  */
     101             : void *mempool_alloc_pages(gfp_t gfp_mask, void *pool_data);
     102             : void mempool_free_pages(void *element, void *pool_data);
     103             : 
     104             : static inline int mempool_init_page_pool(mempool_t *pool, int min_nr, int order)
     105             : {
     106             :         return mempool_init(pool, min_nr, mempool_alloc_pages,
     107             :                             mempool_free_pages, (void *)(long)order);
     108             : }
     109             : 
     110             : static inline mempool_t *mempool_create_page_pool(int min_nr, int order)
     111             : {
     112             :         return mempool_create(min_nr, mempool_alloc_pages, mempool_free_pages,
     113             :                               (void *)(long)order);
     114             : }
     115             : 
     116             : #endif /* _LINUX_MEMPOOL_H */