IBMDB2电信行业数据挖掘红皮书(pdf 194页)(英文)

Preface .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  vii
The tEAM that wrote this redbook.  .  .  .  .  .  .  .  .  .  .  . . vii
Special notice .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  ix
IBM trademarks .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  . ix
Comments welcome.  .  .  .  .  .  .  .  .  .  .  .  .  .  .  . ix
Chapter 1. Introduction.  .  .  .  .  .  .  .  .  .  .  .  .  .  1
1.1 Why you should mine your own business .  .  .  .  .  .  .  . . 2
1.2 What are the telecoms business issues to address?.  .  .  .  .  3
1.3 How this book is structured .  .  .  .  .  .  .  .  .  .  .  4
1.4 Who should read this book? .  .  .  .  .  .  .  .  .  .  .  6
Chapter 2. Business Intelligence archITecture overvIEw .  .  .  .  .  7
2.1 Business Intelligence .  .  .  .  .  .  .  .  .  .  .  .  . . 8
2.2 Data warehouse .  .  .  .  .  .  .  .  .  .  .  .  .  .  8
2.2.1 Data sources .  .  .  .  .  .  .  .  .  .  .  .  .  .  . 10
2.2.2 Extraction/propagation .  .  .  .  .  .  .  .  .  .  .  . . 10
2.2.3 Transformation/cleansing .  .  .  .  .  .  .  .  .  .  .  10
2.2.4 Data refining .  .  .  .  .  .  .  .  .  .  .  .  .  .  . 11
2.2.5 Datamarts .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  12
2.2.6 Metadata .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  . 12
2.2.7 Operational Data Store (ODS) .  .  .  .  .  .  .  .  .  . . 15
2.3 Analytical users rEQuirements .  .  .  .  .  .  .  .  .  .  16
2.3.1 Reporting and query .  .  .  .  .  .  .  .  .  .  .  .  . 17
2.3.2 On-Line Analytical Processing (OLAP) .  .  .  .  .  .  .  . . 17
2.3.4 Statistics .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  . 21
2.3.5 Data mining .  .  .  .  .  .  .  .  .  .  .  .  .  .  . . 21
2.4 Data warehouse, OLAP and data mining summary.  .  .  .  .  21
Chapter 3. A generic data mining method .  .  .  .  .  .  .  .  . 23
3.1 What is data mining? .  .  .  .  .  .  .  .  .  .  .  .  . 24
3.2 What is new wITh data mining? .  .  .  .  .  .  .  .  .  .  25
3.3 Data mining techniques .  .  .  .  .  .  .  .  .  .  .  . . 27
3.3.1 Types of techniques .  .  .  .  .  .  .  .  .  .  .  .  . 27
3.3.2 Different applications that data mining can be used for .  .  .  . 28
3.4 The generic data mining method .  .  .  .  .  .  .  .  .  . 29
3.4.1 Step 1 - Defining the business issue.  .  .  .  .  .  .  .  . 32
3.4.2 Step 2 - Defining a data model to use.  .  .  .  .  .  .  .  35
3.4.3 Step 3 - Sourcing and preprocessing the data .  .  .  .  .  . . 37
3.4.4 Step 4 - Evaluating the data model .  .  .  .  .  .  .  .  . . 39
3.4.5 Step 5 -Choosing the data mining technique .  .  .  .  .  .  41
3.4.6 Step 6 - IntERPreting the results .  .  .  .  .  .  .  .  .  . . 42
3.4.7 Step 7 - Deploying the results .  .  .  .  .  .  .  .  .  .  42
3.4.8 Skills rEQuired .  .  .  .  .  .  .  .  .  .  .  .  .  .  43
3.4.9 Effort rEQuired .  .  .  .  .  .  .  .  .  .  .  .  .  .  45
Chapter 4. How to discover the characteristics of your customers? .  . 47
4.1 The business issue.  .  .  .  .  .  .  .  .  .  .  .  .  48
4.1.1 How can data mining help?.  .  .  .  .  .  .  .  .  .  . . 48
4.1.2 Where should we start? .  .  .  .  .  .  .  .  .  .  .  . 49
4.2 The data to be used .  .  .  .  .  .  .  .  .  .  .  .  . . 51
4.2.1 Behavior data .  .  .  .  .  .  .  .  .  .  .  .  .  .  51
4.2.2 Demographic data.  .  .  .  .  .  .  .  .  .  .  .  .  52
4.2.3 AddITional data .  .  .  .  .  .  .  .  .  .  .  .  .  . . 52
4.2.4 Data model for segmentation .  .  .  .  .  .  .  .  .  .  53
4.3 Sourcing and preprocessing the data .  .  .  .  .  .  .  .  . 55
4.3.1 Behavior data .  .  .  .  .  .  .  .  .  .  .  .  .  .  55
4.3.2 Demographic data.  .  .  .  .  .  .  .  .  .  .  .  .  55
4.4 Evaluating the data .  .  .  .  .  .  .  .  .  .  .  .  . . 56
4.5 The mining techniques .  .  .  .  .  .  .  .  .  .  .  .  59
4.5.1 Choosing the mining techniques .  .  .  .  .  .  .  .  .  . 59
4.5.2 Applying the mining techniques .  .  .  .  .  .  .  .  .  . 60
4.6 IntERPreting the results .  .  .  .  .  .  .  .  .  .  .  .  64
4.6.1 How to read and evaluate the results .  .  .  .  .  .  .  .  64
4.6.2 IntERPreting the results from business perspective .  .  .  .  . . 67
4.7 Deploying the mining results .  .  .  .  .  .  .  .  .  .  . 73
4.7.1 Model deployment in various applications .  .  .  .  .  .  . . 73
4.7.2 Model deployment in marketing campaign process .  .  .  .  . 73
4.7.3 Model maintenance.  .  .  .  .  .  .  .  .  .  .  .  . . 74
Chapter 5. Can you predict the customers who are likely to leave? .  . 75
5.1 The business issue.  .  .  .  .  .  .  .  .  .  .  .  .  76
5.1.1 How can data mining help?.  .  .  .  .  .  .  .  .  .  . . 76
5.1.2 Where should we start? .  .  .  .  .  .  .  .  .  .  .  . 76
5.1.3 Churn definITion .  .  .  .  .  .  .  .  .  .  .  .  .  . . 77
5.1.4 Churn filtering .  .  .  .  .  .  .  .  .  .  .  .  .  .  78
5.2 The data to be used .  .  .  .  .  .  .  .  .  .  .  .  . . 79
5.2.1 Churn indicator .  .  .  .  .  .  .  .  .  .  .  .  .  . . 79
5.2.2 Customer information data .  .  .  .  .  .  .  .  .  .  . . 79
5.2.3 Call data .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  . 80
5.2.4 billing and payment data.  .  .  .  .  .  .  .  .  .  .  . 81
5.2.5 Key indices derived from call transaction data .  .  .  .  .  . . 81
Contents v
Draft Document for RevIEw July 11, 2001 7:49 pm 6273TOC.fm
5.2.6 AddITional data .  .  .  .  .  .  .  .  .  .  .  .  .  . . 81
5.2.7 Data model for churn prediction .  .  .  .  .  .  .  .  .  . 81
5.3 Sourcing and preprocessing the data .  .  .  .  .  .  .  .  . 84
5.3.1 Churn indicator .  .  .  .  .  .  .  .  .  .  .  .  .  . . 87
5.3.2 Customer information data .  .  .  .  .  .  .  .  .  .  . . 87
5.3.3 Call data .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  . 87
5.3.4 billing and payment data.  .  .  .  .  .  .  .  .  .  .  . 88
5.3.5 Key indices derived from transaction data .  .  .  .  .  .  . . 88
5.4 Evaluating the data .  .  .  .  .  .  .  .  .  .  .  .  . . 89
5.5 The mining technique .  .  .  .  .  .  .  .  .  .  .  .  . 92
5.5.1 Choosing the mining technique.  .  .  .  .  .  .  .  .  . . 92
5.5.2 Applying the mining technique .  .  .  .  .  .  .  .  .  . . 93
5.6 IntERPreting the results .  .  .  .  .  .  .  .  .  .  .  .  97
5.6.1 IntERPreting results from business perspective .  .  .  .  .  . . 97
5.6.2 Performance comparison .  .  .  .  .  .  .  .  .  .  . . 105
5.7 Deploying the model.  .  .  .  .  .  .  .  .  .  .  .  . 108
5.7.1 Model deployment in various applications .  .  .  .  .  .  . 108
5.7.2 Model deployment in retention campaign process .  .  .  .  . 109
5.7.3 Model maintenance.  .  .  .  .  .  .  .  .  .  .  .  . 109
Chapter 6. How to discover true value of your customers? .  .  .  . 111
6.1 The business issue.  .  .  .  .  .  .  .  .  .  .  .  . . 112
6.1.1 How can data mining help?.  .  .  .  .  .  .  .  .  .  . 112
6.1.2 Where should we start? .  .  .  .  .  .  .  .  .  .  .  112
6.2 The data to be used .  .  .  .  .  .  .  .  .  .  .  .  . 114
6.2.1 Financial data .  .  .  .  .  .  .  .  .  .  .  .  .  . . 114
6.2.2 CredIT risk .  .  .  .  .  .  .  .  .  .  .  .  .  .  . . 114
6.2.3 Behavior measure .  .  .  .  .  .  .  .  .  .  .  .  . . 114
6.2.4 Data used .  .  .  .  .  .  .  .  .  .  .  .  .  .  . . 115
6.3 Sourcing and preprocessing the data .  .  .  .  .  .  .  .  116
6.3.1 Financial data .  .  .  .  .  .  .  .  .  .  .  .  .  . . 116
6.3.2 CredIT risk .  .  .  .  .  .  .  .  .  .  .  .  .  .  . . 116
6.3.3 Behavior measure .  .  .  .  .  .  .  .  .  .  .  .  . . 116
6.4 Evaluating the data .  .  .  .  .  .  .  .  .  .  .  .  . 118
6.4.1 CredIT risk prediction .  .  .  .  .  .  .  .  .  .  .  .  118
6.4.2 Customer value function (CVF) .  .  .  .  .  .  .  .  .  . 121
6.5 The mining technique(s) .  .  .  .  .  .  .  .  .  .  .  . 122
6.5.1 Choosing mining technique for credIT risk prediction.  .  .  .  122
6.5.2 Choosing mining technique for CVF .  .  .  .  .  .  .  .  122
6.6 IntERPreting the results .  .  .  .  .  .  .  .  .  .  .  . . 124
6.6.1 CredIT risk prediction .  .  .  .  .  .  .  .  .  .  .  .  124
6.6.2 CVF .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  . 129
6.7 Deploying the mining results .  .  .  .  .  .  .  .  .  .  133
6273TOC.fm Draft Document for RevIEw July 11, 2001 7:49 pm
vi Mining your own business in telecoms using DB2 Intelligent Miner for Data
6.7.1 CVF deployment in various applications .  .  .  .  .  .  .  133
6.7.2 CVF deployment in retention campaign process .  .  .  .  . . 133
6.7.3 Model maintenance.  .  .  .  .  .  .  .  .  .  .  .  . 133
Chapter 7. Can you determine the characteristics of known fraudulent
behavior and identify unknown fraudulent behavior? .  . . 135
7.1 The business issue.  .  .  .  .  .  .  .  .  .  .  .  . . 136
7.2 The data to be used .  .  .  .  .  .  .  .  .  .  .  .  . 137
7.3 Sourcing and preprocessing the data .  .  .  .  .  .  .  .  138
7.3.1 Preparing and aggregating the data .  .  .  .  .  .  .  .  138
7.4 Evaluating the data .  .  .  .  .  .  .  .  .  .  .  .  . 141
7.5 The mining technique .  .  .  .  .  .  .  .  .  .  .  .  142
7.6 IntERPreting the results .  .  .  .  .  .  .  .  .  .  .  . . 144
7.6.1 Normal connections .  .  .  .  .  .  .  .  .  .  .  .  144
7.6.2 Conspiracy .  .  .  .  .  .  .  .  .  .  .  .  .  .  . 145
7.6.3 Phone addiction .  .  .  .  .  .  .  .  .  .  .  .  .  147
7.6.4 Conspiracy/Use of automatic dialer .  .  .  .  .  .  .  .  148
7.6.5 Using Business Objects as results visualizer .  .  .  .  .  . . 149
7.7 Deploying the mining results .  .  .  .  .  .  .  .  .  .  150
7.7.1 Remark on return on investment .  .  .  .  .  .  .  .  .  150
Chapter 8. The value of DB2 Intelligent Miner For Data.  .  .  .  . . 153
8.1 What benefITs does IM For Data offer? .  .  .  .  .  .  .  . . 154
8.2 OvervIEw of IM For Data.  .  .  .  .  .  .  .  .  .  .  . 154
8.2.1 Data preparation functions .  .  .  .  .  .  .  .  .  .  . 155
8.2.2 Statistical functions .  .  .  .  .  .  .  .  .  .  .  .  . 156
8.2.3 Mining functions .  .  .  .  .  .  .  .  .  .  .  .  .  157
8.2.4 Creating and visualizing the results .  .  .  .  .  .  .  .  161
8.3 DB2 Intelligent Miner Scoring .  .  .  .  .  .  .  .  .  .  161
Related publications .  .  .  .  .  .  .  .  .  .  .  .  .  .  165
IBM Redbooks .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  165
Other resources .  .  .  .  .  .  .  .  .  .  .  .  .  .  . . 165
Referenced Web sITes .  .  .  .  .  .  .  .  .  .  .  .  .  .  166
How to get IBM Redbooks .  .  .  .  .  .  .  .  .  .  .  .  .  166
IBM Redbooks collections.  .  .  .  .  .  .  .  .  .  .  .  . 166
Special notices .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  . . 167
Glossary .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  . 169
Index .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  . 173

© Copyright IBM Corp. 2001 vii
Draft Document for RevIEw July 11, 2001 7:49 pm 6273pref.fm
Preface
The data you collect about your customers, is one of the greatest assets that any
business has available to it. WIThin the data is burIEd all sorts of valuable
information that could make a significant difference to the way you run your
business and interact with your customers. But how to discover IT ?
This redbook focuses on a specific industry sector : the telecoms sector and
explains how IBM DB2 Intelligent Miner For Data (IM For Data tHRoughoutthe
book) is the solution that will allow you to mine your own business.