Search found 120 matches

Примеры страниц

Оглавление

I Artificial Intelligence
1 Introduction 19
1.1 What Is AI? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
1.2 The Foundations of Artificial Intelligence . . . . . . . . . . . . . . . . . . 23
1.3 The History of Artificial Intelligence . . . . . . . . . . . . . . . . . . . . 35
1.4 The State of the Art . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
1.5 Risks and Benefits of AI . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
Bibliographical and Historical Notes . . . . . . . . . . . . . . . . . . . . . . . . 53
2 Intelligent Agents 54
2.1 Agents and Environments . . . . . . . . . . . . . . . . . . . . . . . . . . 54
2.2 Good Behavior: The Concept of Rationality . . . . . . . . . . . . . . . . 57
2.3 The Nature of Environments . . . . . . . . . . . . . . . . . . . . . . . . . 60
2.4 The Structure of Agents . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78
Bibliographical and Historical Notes . . . . . . . . . . . . . . . . . . . . . . . . 78
II Problem-solving
3 Solving Problems by Searching 81
3.1 Problem-Solving Agents . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
3.2 Example Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84
3.3 Search Algorithms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89
3.4 Uninformed Search Strategies . . . . . . . . . . . . . . . . . . . . . . . . 94
3.5 Informed (Heuristic) Search Strategies . . . . . . . . . . . . . . . . . . . 102
3.6 Heuristic Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115
Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122
Bibliographical and Historical Notes . . . . . . . . . . . . . . . . . . . . . . . . 124
4 Search in Complex Environments 128
4.1 Local Search and Optimization Problems . . . . . . . . . . . . . . . . . . 128
4.2 Local Search in Continuous Spaces . . . . . . . . . . . . . . . . . . . . . 137
4.3 Search with Nondeterministic Actions . . . . . . . . . . . . . . . . . . . 140
4.4 Search in Partially Observable Environments . . . . . . . . . . . . . . . . 144
4.5 Online Search Agents and Unknown Environments . . . . . . . . . . . . 152
Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159
Bibliographical and Historical Notes . . . . . . . . . . . . . . . . . . . . . . . . 160
5 Constraint Satisfaction Problems 164
5.1 Defining Constraint Satisfaction Problems . . . . . . . . . . . . . . . . . 164
5.2 Constraint Propagation: Inference in CSPs . . . . . . . . . . . . . . . . . 169
5.3 Backtracking Search for CSPs . . . . . . . . . . . . . . . . . . . . . . . . 175
5.4 Local Search for CSPs . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181
5.5 The Structure of Problems . . . . . . . . . . . . . . . . . . . . . . . . . . 183
Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 187
Bibliographical and Historical Notes . . . . . . . . . . . . . . . . . . . . . . . . 188
6 Adversarial Search and Games 192
6.1 Game Theory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 192
6.2 Optimal Decisions in Games . . . . . . . . . . . . . . . . . . . . . . . . 194
6.3 Heuristic Alpha–Beta Tree Search . . . . . . . . . . . . . . . . . . . . . 202
6.4 Monte Carlo Tree Search . . . . . . . . . . . . . . . . . . . . . . . . . . 207
6.5 Stochastic Games . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 210
6.6 Partially Observable Games . . . . . . . . . . . . . . . . . . . . . . . . . 214
6.7 Limitations of Game Search Algorithms . . . . . . . . . . . . . . . . . . 219
Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 220
Bibliographical and Historical Notes . . . . . . . . . . . . . . . . . . . . . . . . 221
III Knowledge, reasoning, and planning
7 Logical Agents 226
7.1 Knowledge-Based Agents . . . . . . . . . . . . . . . . . . . . . . . . . . 227
7.2 The Wumpus World . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 228
7.3 Logic . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 232
7.4 Propositional Logic: A Very Simple Logic . . . . . . . . . . . . . . . . . 235
7.5 Propositional Theorem Proving . . . . . . . . . . . . . . . . . . . . . . . 240
7.6 Effective Propositional Model Checking . . . . . . . . . . . . . . . . . . 250
7.7 Agents Based on Propositional Logic . . . . . . . . . . . . . . . . . . . . 255
Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 264
Bibliographical and Historical Notes . . . . . . . . . . . . . . . . . . . . . . . . 265
8 First-Order Logic 269
8.1 Representation Revisited . . . . . . . . . . . . . . . . . . . . . . . . . . 269
8.2 Syntax and Semantics of First-Order Logic . . . . . . . . . . . . . . . . . 274
8.3 Using First-Order Logic . . . . . . . . . . . . . . . . . . . . . . . . . . . 283
8.4 Knowledge Engineering in First-Order Logic . . . . . . . . . . . . . . . . 289
Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 295
Bibliographical and Historical Notes . . . . . . . . . . . . . . . . . . . . . . . . 296
9 Inference in First-Order Logic 298
9.1 Propositional vs. First-Order Inference . . . . . . . . . . . . . . . . . . . 298
9.2 Unification and First-Order Inference . . . . . . . . . . . . . . . . . . . . 300
9.3 Forward Chaining . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 304
9.4 Backward Chaining . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 311
9.5 Resolution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 316
Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 327
Bibliographical and Historical Notes . . . . . . . . . . . . . . . . . . . . . . . . 328
10 Knowledge Representation 332
10.1 Ontological Engineering . . . . . . . . . . . . . . . . . . . . . . . . . . . 332
10.2 Categories and Objects . . . . . . . . . . . . . . . . . . . . . . . . . . . 335
10.3 Events . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 340
10.4 Mental Objects and Modal Logic . . . . . . . . . . . . . . . . . . . . . . 344
10.5 Reasoning Systems for Categories . . . . . . . . . . . . . . . . . . . . . 347
10.6 Reasoning with Default Information . . . . . . . . . . . . . . . . . . . . 351
Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 355
Bibliographical and Historical Notes . . . . . . . . . . . . . . . . . . . . . . . . 356
11 Automated Planning 362
11.1 Definition of Classical Planning . . . . . . . . . . . . . . . . . . . . . . . 362
11.2 Algorithms for Classical Planning . . . . . . . . . . . . . . . . . . . . . . 366
11.3 Heuristics for Planning . . . . . . . . . . . . . . . . . . . . . . . . . . . 371
11.4 Hierarchical Planning . . . . . . . . . . . . . . . . . . . . . . . . . . . . 374
11.5 Planning and Acting in Nondeterministic Domains . . . . . . . . . . . . . 383
11.6 Time, Schedules, and Resources . . . . . . . . . . . . . . . . . . . . . . . 392
11.7 Analysis of Planning Approaches . . . . . . . . . . . . . . . . . . . . . . 396
Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 397
Bibliographical and Historical Notes . . . . . . . . . . . . . . . . . . . . . . . . 398
IV Uncertain knowledge and reasoning
12 Quantifying Uncertainty 403
12.1 Acting under Uncertainty . . . . . . . . . . . . . . . . . . . . . . . . . . 403
12.2 Basic Probability Notation . . . . . . . . . . . . . . . . . . . . . . . . . . 406
12.3 Inference Using Full Joint Distributions . . . . . . . . . . . . . . . . . . . 413
12.4 Independence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 415
12.5 Bayes’ Rule and Its Use . . . . . . . . . . . . . . . . . . . . . . . . . . . 417
12.6 Naive Bayes Models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 420
12.7 The Wumpus World Revisited . . . . . . . . . . . . . . . . . . . . . . . . 422
Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 425
Bibliographical and Historical Notes . . . . . . . . . . . . . . . . . . . . . . . . 426
13 Probabilistic Reasoning 430
13.1 Representing Knowledge in an Uncertain Domain . . . . . . . . . . . . . 430
13.2 The Semantics of Bayesian Networks . . . . . . . . . . . . . . . . . . . . 432
13.3 Exact Inference in Bayesian Networks . . . . . . . . . . . . . . . . . . . 445
13.4 Approximate Inference for Bayesian Networks . . . . . . . . . . . . . . . 453
13.5 Causal Networks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 467
Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 471
Bibliographical and Historical Notes . . . . . . . . . . . . . . . . . . . . . . . . 472
14 Probabilistic Reasoning over Time 479
14.1 Time and Uncertainty . . . . . . . . . . . . . . . . . . . . . . . . . . . . 479
14.2 Inference in Temporal Models . . . . . . . . . . . . . . . . . . . . . . . . 483
14.3 Hidden Markov Models . . . . . . . . . . . . . . . . . . . . . . . . . . . 491
14.4 Kalman Filters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 497
14.5 Dynamic Bayesian Networks . . . . . . . . . . . . . . . . . . . . . . . . 503
Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 514
Bibliographical and Historical Notes . . . . . . . . . . . . . . . . . . . . . . . . 515
15 Making Simple Decisions 518
15.1 Combining Beliefs and Desires under Uncertainty . . . . . . . . . . . . . 518
15.2 The Basis of Utility Theory . . . . . . . . . . . . . . . . . . . . . . . . . 519
15.3 Utility Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 522
15.4 Multiattribute Utility Functions . . . . . . . . . . . . . . . . . . . . . . . 530
15.5 Decision Networks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 534
15.6 The Value of Information . . . . . . . . . . . . . . . . . . . . . . . . . . 537
15.7 Unknown Preferences . . . . . . . . . . . . . . . . . . . . . . . . . . . . 543
Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 547
Bibliographical and Historical Notes . . . . . . . . . . . . . . . . . . . . . . . . 547
16 Making Complex Decisions 552
16.1 Sequential Decision Problems . . . . . . . . . . . . . . . . . . . . . . . . 552
16.2 Algorithms for MDPs . . . . . . . . . . . . . . . . . . . . . . . . . . . . 562
16.3 Bandit Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 571
16.4 Partially Observable MDPs . . . . . . . . . . . . . . . . . . . . . . . . . 578
16.5 Algorithms for Solving POMDPs . . . . . . . . . . . . . . . . . . . . . . 580
Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 585
Bibliographical and Historical Notes . . . . . . . . . . . . . . . . . . . . . . . . 586
17 Multiagent Decision Making 589
17.1 Properties of Multiagent Environments . . . . . . . . . . . . . . . . . . . 589
17.2 Non-Cooperative Game Theory . . . . . . . . . . . . . . . . . . . . . . . 595
17.3 Cooperative Game Theory . . . . . . . . . . . . . . . . . . . . . . . . . . 616
17.4 Making Collective Decisions . . . . . . . . . . . . . . . . . . . . . . . . 622
Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 635
Bibliographical and Historical Notes . . . . . . . . . . . . . . . . . . . . . . . . 636
18 Probabilistic Programming 641
18.1 Relational Probability Models . . . . . . . . . . . . . . . . . . . . . . . . 642
18.2 Open-Universe Probability Models . . . . . . . . . . . . . . . . . . . . . 648
18.3 Keeping Track of a Complex World . . . . . . . . . . . . . . . . . . . . . 655
18.4 Programs as Probability Models . . . . . . . . . . . . . . . . . . . . . . . 660
Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 664
Bibliographical and Historical Notes . . . . . . . . . . . . . . . . . . . . . . . . 665
V Machine Learning
19 Learning from Examples 669
19.1 Forms of Learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 669
19.2 Supervised Learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 671
19.3 Learning Decision Trees . . . . . . . . . . . . . . . . . . . . . . . . . . . 675
19.4 Model Selection and Optimization . . . . . . . . . . . . . . . . . . . . . 683
19.5 The Theory of Learning . . . . . . . . . . . . . . . . . . . . . . . . . . . 690
19.6 Linear Regression and Classification . . . . . . . . . . . . . . . . . . . . 694
19.7 Nonparametric Models . . . . . . . . . . . . . . . . . . . . . . . . . . . 704
19.8 Ensemble Learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 714
19.9 Developing Machine Learning Systems . . . . . . . . . . . . . . . . . . . 722
Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 732
Bibliographical and Historical Notes . . . . . . . . . . . . . . . . . . . . . . . . 733
20 Knowledge in Learning 739
20.1 A Logical Formulation of Learning . . . . . . . . . . . . . . . . . . . . . 739
20.2 Knowledge in Learning . . . . . . . . . . . . . . . . . . . . . . . . . . . 747
20.3 Explanation-Based Learning . . . . . . . . . . . . . . . . . . . . . . . . 750
20.4 Learning Using Relevance Information . . . . . . . . . . . . . . . . . . . 754
20.5 Inductive Logic Programming . . . . . . . . . . . . . . . . . . . . . . . . 758
Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 767
Bibliographical and Historical Notes . . . . . . . . . . . . . . . . . . . . . . . . 768
21 Learning Probabilistic Models 772
21.1 Statistical Learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 772
21.2 Learning with Complete Data . . . . . . . . . . . . . . . . . . . . . . . . 775
21.3 Learning with Hidden Variables: The EM Algorithm . . . . . . . . . . . . 788
Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 797
Bibliographical and Historical Notes . . . . . . . . . . . . . . . . . . . . . . . . 798
22 Deep Learning 801
22.1 Simple Feedforward Networks . . . . . . . . . . . . . . . . . . . . . . . 802
22.2 Computation Graphs for Deep Learning . . . . . . . . . . . . . . . . . . 807
22.3 Convolutional Networks . . . . . . . . . . . . . . . . . . . . . . . . . . . 811
22.4 Learning Algorithms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 816
22.5 Generalization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 819
22.6 Recurrent Neural Networks . . . . . . . . . . . . . . . . . . . . . . . . . 823
22.7 Unsupervised Learning and Transfer Learning . . . . . . . . . . . . . . . 826
22.8 Applications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 833
Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 835
Bibliographical and Historical Notes . . . . . . . . . . . . . . . . . . . . . . . . 836
23 Reinforcement Learning 840
23.1 Learning from Rewards . . . . . . . . . . . . . . . . . . . . . . . . . . . 840
23.2 Passive Reinforcement Learning . . . . . . . . . . . . . . . . . . . . . . 842
23.3 Active Reinforcement Learning . . . . . . . . . . . . . . . . . . . . . . . 848
23.4 Generalization in Reinforcement Learning . . . . . . . . . . . . . . . . . 854
23.5 Policy Search . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 861
23.6 Apprenticeship and Inverse Reinforcement Learning . . . . . . . . . . . . 863
23.7 Applications of Reinforcement Learning . . . . . . . . . . . . . . . . . . 866
Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 869
Bibliographical and Historical Notes . . . . . . . . . . . . . . . . . . . . . . . . 870
VI Communicating, perceiving, and acting
24 Natural Language Processing 874
24.1 Language Models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 874
24.2 Grammar . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 884
24.3 Parsing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 886
24.4 Augmented Grammars . . . . . . . . . . . . . . . . . . . . . . . . . . . . 892
24.5 Complications of Real Natural Language . . . . . . . . . . . . . . . . . . 896
24.6 Natural Language Tasks . . . . . . . . . . . . . . . . . . . . . . . . . . . 900
Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 901
Bibliographical and Historical Notes . . . . . . . . . . . . . . . . . . . . . . . . 902
25 Deep Learning for Natural Language Processing 907
25.1 Word Embeddings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 907
25.2 Recurrent Neural Networks for NLP . . . . . . . . . . . . . . . . . . . . 911
25.3 Sequence-to-Sequence Models . . . . . . . . . . . . . . . . . . . . . . . 915
25.4 The Transformer Architecture . . . . . . . . . . . . . . . . . . . . . . . . 919
25.5 Pretraining and Transfer Learning . . . . . . . . . . . . . . . . . . . . . . 922
25.6 State of the art . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 926
Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 929
Bibliographical and Historical Notes . . . . . . . . . . . . . . . . . . . . . . . . 929
26 Robotics 932
26.1 Robots . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 932
26.2 Robot Hardware . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 933
26.3 What kind of problem is robotics solving? . . . . . . . . . . . . . . . . . 937
26.4 Robotic Perception . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 938
26.5 Planning and Control . . . . . . . . . . . . . . . . . . . . . . . . . . . . 945
26.6 Planning Uncertain Movements . . . . . . . . . . . . . . . . . . . . . . . 963
26.7 Reinforcement Learning in Robotics . . . . . . . . . . . . . . . . . . . . 965
26.8 Humans and Robots . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 968
26.9 Alternative Robotic Frameworks . . . . . . . . . . . . . . . . . . . . . . 975
26.10 Application Domains . . . . . . . . . . . . . . . . . . . . . . . . . . . . 978
Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 981
Bibliographical and Historical Notes . . . . . . . . . . . . . . . . . . . . . . . . 982
27 Computer Vision 988
27.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 988
27.2 Image Formation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 989
27.3 Simple Image Features . . . . . . . . . . . . . . . . . . . . . . . . . . . 995
27.4 Classifying Images . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1002
27.5 Detecting Objects . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1006
27.6 The 3D World . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1008
27.7 Using Computer Vision . . . . . . . . . . . . . . . . . . . . . . . . . . . 1013
Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1026
Bibliographical and Historical Notes . . . . . . . . . . . . . . . . . . . . . . . . 1027
VII Conclusions
28 Philosophy, Ethics, and Safety of AI 1032
28.1 The Limits of AI . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1032
28.2 Can Machines Really Think? . . . . . . . . . . . . . . . . . . . . . . . . 1035
28.3 The Ethics of AI . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1037
Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1056
Bibliographical and Historical Notes . . . . . . . . . . . . . . . . . . . . . . . . 1057
29 The Future of AI 1063
29.1 AI Components . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1063
29.2 AI Architectures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1069
A Mathematical Background 1074
A.1 Complexity Analysis and O() Notation . . . . . . . . . . . . . . . . . . . 1074
A.2 Vectors, Matrices, and Linear Algebra . . . . . . . . . . . . . . . . . . . 1076
A.3 Probability Distributions . . . . . . . . . . . . . . . . . . . . . . . . . . . 1078
Bibliographical and Historical Notes . . . . . . . . . . . . . . . . . . . . . . . . 1080
B Notes on Languages and Algorithms 1081
B.1 Defining Languages with Backus–Naur Form (BNF) . . . . . . . . . . . . 1081
B.2 Describing Algorithms with Pseudocode . . . . . . . . . . . . . . . . . . 1082
B.3 Online Supplemental Material . . . . . . . . . . . . . . . . . . . . . . . . 1083
Bibliography 1084
Index 1119

Примеры страниц

Оглавление

Предисловие
Благодарности
Введение
Часть 1. КАК Я ПИСАЛ И ВНЕДРЯЛ ПРОГРАММЫ ДО 1С
Глава 1. Как автоматизировать котел-утилизатор
Глава 2. Как научиться программировать за одну ночь, чтобы писать программу два года
Глава 3. Как победить болгарский дисковод
Глава 4. Как написать программу, за которую тебя будут благодарить 15 лет
Глава 5. Как съесть слона по кусочкам в диспетчерской Водоканала
Глава 6. Как автоматизировать завод и не уснуть за рулем
Глава 7. Как переносить данные идеальному заказчику
Глава 8. Как бороться с дебиторами и не понять красоту игры
Глава 9. Как сократить отдел в 2 раза и делать в 10 раз больше
Глава 10. Как смоделировать систему учета на заводе
Глава 11. Как не надо оптимизировать снабжение
Часть 2. ФРАНЧАЙЗИ НА ГРАНИ НЕРВНОГО СРЫВА. КАК ПЕРЕСТАТЬ ВЫЖИВАТЬ И НАЧАТЬ ЗАРАБАТЫВАТЬ
Глава 12. Как начать все с нуля
Глава 13. Как найти свою первую нишу на рынке
Глава 14. Как заработать первый миллион
Глава 15. Как написать тиражное решение
Глава 16. Как продавать программу по всей стране
Глава 17. Как попасть в прайс-лист «1С»
Глава 18. Как продавать программу через партнеров
Глава 19. Как разработать решение 1С-Совместно
Глава 20. Как ухаживать за заказчиком
Глава 21. Как обойтись без опытной эксплуатации, автоматизируя завод
Глава 22. Как запустить новую программу на заводе за 10 дней
Глава 23. Как внедрить систему менеджмента качества со второго раза
Глава 24. Как разработать архитектуру ERP-системы
Глава 25. Как избавить теплосеть от ежемесячной очереди абонентов
Глава 26. Как победить воровство с помощью автоматизации
Глава 27. Как сделать проект года и заработать 100 миллионов
Глава 28. Как зарабатывать больше, копая вглубь, а не вширь
Часть 3. ПОЛЕЗНЫЕ СОВЕТЫ ПО РУКОВОДСТВУ ИТ-КОМПАНИЕЙ
Глава 29. Как руководителю принимать решения
Глава 30. Как не надо принимать сотрудников на работу
Глава 31. Как отличить талантливого руководителя проекта от обычного
Глава 32. Как работать с перфекционистом
Глава 33. Как быть сотрудникам, если заказчик матерится
Глава 34. Как быть, если сотрудник уходит к заказчику
Глава 35. Как расстаться с партнером
Глава 36. Как осознать корпоративную культуру
Глава 37. Как быстро рассчитать стоимость проекта
Глава 38. Как долго рассчитывать стоимость доработки
Глава 39. Как определить качество программы, не беспокоя пользователей
Глава 40. Как провалить несколько тендеров из-за пустяков
Глава 42. Как выиграть тендер на услуги
Глава 43. Как заключить правильный договор на внедрение
Глава 44. Как доказать, что программа внедрена, если ты – подрядчик
Заключение
Список литературы

Примеры страниц

Оглавление

Введение
Принятые термины и сокращения
Глава 1. Что такое ERP-система и зачем она компании
Понятие ERP-системы
Отличие ERP-системы от учетной бухгалтерской системы
Зачем ERP-система компании
Затраты на владение системой (стоимость эксплуатации)
Облачные сервисы как путь снижения затрат
Глава 2. Как выбрать ERP-систему
Функциональные требования от ключевых сотрудников
Тендер и участие в нем
Со стороны заказчика
Со стороны исполнителя
Fit-gap анализ разных систем
ИТ-ландшафт текущий и перспективный
Нагрузочные тесты и выбор «железа»
Окупаемость и обоснование затрат на автоматизацию
Глава 3. Как внедрять ERP-систему
Технологии управления проектами
Agile-методологии
Серия стандартов ISO
ГОСТ 34
PMBOK
Технологии управления проектами фирмы «1С»
Введение в терминологию
Проектный треугольник
Реинжиниринг бизнес-процессов
Какие подсистемы в какую очередь внедрять
Глава 4. Кто участвует в проекте внедрения
Организационная структура проекта
Управляющий комитет
Проектная команда исполнителя
Рабочая группа со стороны заказчика
Мотивация участников проекта внедрения
Зачем это все руководителю проекта
Модели мотивации
Коммуникация и конфликты
Удаленное взаимодействие
Командообразование
Управление конфликтами
Глава 5. Этапы и документация проекта
Жизненный цикл проекта внедрения ERP-системы
Документация проекта
Фазы проекта
Инициация проекта
Анализ и концептуальное проектирование
Дизайн архитектуры системы
Разработка
Опытная эксплуатация
Ввод в промышленную эксплуатацию
Закрытие проекта
Глава 6. Что анализировать и как настроить прототип системы
С чего начать анализ
Готовим отчет
Приоритизация требований
Описание бизнес-процессов
Функциональные блок-схемы
IDEF0
EPC
BPMN
Особенности описания бизнес-процессов
Прототип и его демонстрация
Глава 7. Как оценить срок и бюджет проекта
Сроки и бюджет проекта
Методы оценки трудозатрат
Оценка по аналогам
Анализ предложений исполнителей
Оценка «снизу вверх»
Оценка «сверху вниз»
Экспертная оценка
Параметрическая оценка
Оценка по трем точкам (метод PERT)
Мифический человеко-час
Расчет себестоимости человеко-часа
Как получить итоговый срок проекта
Глава 8. Риски проекта и управление ими
Что такое риски проекта
Какие риски бывают в проекте внедрения ERP-системы
Профилактика и как бороться с проявлениями рисков
Когда риски можно игнорировать
Процедура управления рисками в проекте внедрения ERP-системы
Глава 9. Как пережить фазы разработки и опытной эксплуатации
Сколько и каких баз нужно в проекте на фазе разработки
Стандарты разработки
Тестирование
Готовимся к обучению пользователей
Опытная эксплуатация
Ведем список запросов на изменение
Глава 10. Запуск системы и что дальше
Ввод в промышленную эксплуатацию и закрытие проекта
Система продолжает работать – сопровождение корпоративной системы
Заключение
Список использованной литературы

Примеры страниц

Примеры страниц

Примеры страниц

Оглавление

Предисловие редактора русского перевода
Предисловие к русскому изданию
Предисловие
ЧАСТЬ I. Проектирование развертывания XenServer
Глава 1. Что такое XenServer?
Гипервизор Xen
Инструментарий для виртуализации на основе Xen
Глава 2. Базовая архитектура и важнейшие компоненты
XenServer - не Unux, а domO - это Linux
Общая архитектура
XenCenter: графическое средство управления Xen
Основные процессы
Критические конфигурационные файлы
Взаимосвязи между объектами XenServer
Глава З. Установка XenServer
Ручная установка
Необслуживаемая установка
Загрузка из SАN-хранилища
Дополнительные пакеты
Сторонние драйверы
Глава 4. Соображения, учитываемые при развертывании
Пул хостов или автономные хосты
Главный сервер пула и участники пула
Совместимость процессоров в пуле
Выбор размера пула ресурсов
Когда создавать новый пул
Определение типа управления
Средства подготовки
XenCenter и несколько администраторов
Совместимость на уровне аппаратных средств
Требования к хосту
Обновления драйверов , BIOS и прошивки
Локальное и общее хранилище
Модели подготовки хранилища
Число операций ввода-вывода в секунду (IOPS)
Оценка локального хранилища
Управление памятью
Фиксированная память
Динамическое управление памятью
Реализация
Планирование на случай отказа инфраструктуры
Защита от отказов хостов
Предотвращение агрессивной изоляции
Планирование вычислительной мощности на случай отказа
Предотвращение единой точки отказа
Глава 5. Детальный план развертывания
Начинайте с системы хранения
Локальное или общее хранилище
NFS или iSCSI
Fibre Channel и НВА
Доступ по нескольким каналам
Определение топологии сети
Сопряжение и протокол LACP
JumЬо-кадры
Глава 6. Типы гостевых ВМ
НVМ-гости
РV-гости
Microsoft Windows и XenServer
Сравнение HVM и Linux PV
ЧАСТЬ II. Рецепты администрирования
Глава 7. Рецепты установки
Ручная установка
Создание загружаемого USВ-устройства
Необслуживаемая установка
Загрузка из SАN - хранилища
Установка дополнительных пакетов
Диски с драйверами
Интеграция драйверов и дополнительных пакетов
Глава 8. Планирование перехода на новую версию
Исправления уязвимостей
Получение информации о новых срочных исправлениях
Получение списка установленных исправлений
Применение исправлений к XenServer
Глава 9. Управление журналами
Конфигурирование журналов
Ротация журналов
Агрегирование журналов
Фильтрация подтверждений SNМР
Глава 10. Стратегии резервного копирования
Резервное копирование dom0
Пул и резервное копирование базы данных XAPI
Резервное копирование ВМ
Резервное копирование и восстановление метаданных
Переносимые хранилища - репозитории
Глава 11 Управление пользователями
Включение ролевой аутентификации
Конфигурирование пользователей
Удаление пользователей
Отключение внешней аутентификации
Восстановление пароля пользователя root
Глава 12. SSL-сертификаты
Применение коммерческого сертификата
Создание нового самоподписанного сертификата
Глава 13. Обслуживание оборудования
Модернизация и поддержка оборудования
Система хранения данных
Увеличение размера локального хранилища
Использование USВ-хранилища для резервных копий
Сеть
Замена сетевого адаптера
Хосты
Добавление в пул нового хоста
Восстановление после отказа хоста при включенном механизме высокой доступности
ЧАСТЬ III. Дополнение к русскому изданию
Глава 14. Установка XenServer с компакт-диска и лицензирование
CitrixXenServer - редакции и лицензирование
Глава 15. Ресурсы Citrix и учётная запись для их использования
Поддержка для бесплатного XenServer? Это возможно!
Создание учётной записи для работы с ресурсами Citrix
Глава 16. Управление виртуальной инфраструктуры XenServer с помощью XenCenter
Подключение сетевых хранилищ и библиотек образов дисков
Создание, импорт и работа с виртуальными машинами
Установка виртуальной машины
Установка драйверов пара виртуализации - XenServer Tools
Конвертация ВМ в полный шаблон
Создание виртуальной машины из полного шаблона
Создание и работа со снимками виртуальных машин (snapshots)
Вкладки параметров и свойства виртуальной машины
Создание наборов виртуальных машин - vApps
Дополнительные возможности настройки рабочей среды XenServer
Настройка режима высокой доступности (High Availabllity)
Свойства сервера
Настройка сетевых возможностей
Установка обновлений для гипервизора
Виды представления инфраструктуры в XenCenter
Возможности псевдоrрафической утилиты xsconsole
Глава 17. Изменения и дополнительные ресурсы
Изменения XenServer 7.0 в сравнении с 6.5
Дополнительные модули XenServer
Дополнительная полезная информация
Об авторах
Об изображении на обложке
Предметный указатель

Примеры страниц

Примеры страниц

Оглавление

Preface. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xix
1. Why Self-Service Data Prep?. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
A Short History of Self-Service Data Visualization 1
Accessing the “Right Data” 2
The Self-Service Data Preparation Opportunity 3
Tableau Prep Up and Running 4
Summary 4
Part I. Getting Started
2. Getting Started with Tableau Prep Builder. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
Where to Get Tableau Prep Builder 6
How to Get a License for Prep Builder 7
The Tableau Prep Builder Screen 9
Basic Steps of Data Preparation 11
Input Step 11
Clean Step 12
Output Step 13
Saving a Flow 13
Summary 15
3. Planning Your Prep. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
Stage 1: Know Your Data 17
Stage 2: Identify the Desired State 18
Stage 3: Determine the Required Transitions from KYD to the Desired State 20
Stage 4: Build the Workflow 22
Summary 24
4. Shaping Data. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
What to Look for in Incoming Data Sets 25
What Shape Is Best for Analysis in Tableau? 26
Changing Data Set Structures in Prep Builder 28
Pivot 28
Aggregate 29
Join 30
Union 31
Applying Restructuring Techniques to the Ice Cream Example 32
Step 1: Pivot Columns to Rows 32
Step 2: Pivot Rows to Columns 32
Summary 33
5. Connecting to Data in Files. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
Files Upon Files Upon Files 34
Spreadsheets 35
Other File Types 35
Where to Find Your Data Files 36
How to Connect to Files in Prep 37
Considerations for Saving Flows with File Inputs 39
Summary 39
6. Connecting to a Database. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
What Is a Database? 40
How to Connect to a Database Within Prep Builder 42
When to Avoid Connecting to a Database 45
Summary 46
Part II. Data Types
7. Dealing with Numbers. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
What Do We Mean by Numbers? 49
Types of Numbers 49
Category or Measure? 49
Aggregation 50
Formatting Numbers 50
Functions for Mastering Numerical Data 51
Summary 53
8. Dealing with Dates. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
Why Are Dates Important? 54
Parts of a Date 54
Date Lookup Tables 55
Epoch Dates 56
Excel Serial Number 57
Entering Dates 57
The makedate() Function 58
The dateparse() Function 58
Summary 59
9. Dealing with String Data. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
What Do We Mean by Strings? 60
How String Data Is Different 61
Character Order 61
Formatting Considerations 61
Common Functions for Preparing String Data 63
Grouping and Replace Options for Working with
String Data 65
Summary 65
10. Dealing with Boolean Data. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
What Is Boolean Data? 66
Why Is It So Useful in Data Analysis? 66
Functions Featuring Boolean Logic 68
Summary 74
Part III. The Shape of Data
11. Profiling Data. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76
What Is a Profile? 76
Why Visualizing the Data Set Is Important 77
Anscombe’s Quartet 77
Visualizations Versus Data Tables 79
How Prep Builder Profiles Data 80
Generating Histograms and Mini-Histograms 80
Selecting Summary Versus Detail Views 82
Highlighting Values 83
Viewing Dimension Counts 84
Sorting 85
Summary 85
12. Sampling Data Sets. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
One Simple Rule: Use It All If Possible 86
Sampling to Work Around Technical Limitations 86
Volume of Data 87
Velocity of Data 87
Other Reasons for Sampling 88
Reduce Build Times 88
Determine What You Need 88
Sampling Techniques 89
Fixed Number of Rows 89
Random Sample 90
When Not to Sample 91
Summary 92
13. Pivoting Columns to Rows. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
When to Pivot in Tableau Prep Builder 93
How to Pivot Columns to Rows 95
Summary 99
14. Pivoting Rows to Columns. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100
When to Use a Rows-to-Columns Pivot 100
How to Pivot Rows to Columns 101
Summary 103
15. Aggregating in Prep Builder. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104
Comparing Calculations in Prep Builder and Desktop 104
Which Calculations in Prep Builder Differ? 105
Adding the Aggregate Step 109
Where’s the Rest of My Data? 113
Level of Detail Calculation Option 114
Summary 114
16. Joining Data Sets Together. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115
How to Join Data Sets in Prep Builder 115
Join Logic and Terminology 119
Types of Join in Prep Builder 120
When to Use Each Join Type 125
Summary 126
17. Unioning. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127
What Is a Union? 127
What If the Data Structure Isn’t Identical? 128
When to Union Data 130
Monthly Data Sets 130
Data Sets from Web Sources 131
Company Mergers 133
Multiple Tables and Wildcard Unions 133
Summary 135
18. Calculations. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 136
What Do Calculations Do in Data Preparation? 136
Creating a Calculated Field 137
Fundamentals of Calculations 139
The Reference List 139
Syntax 140
Description 141
Example 141
Building the Calculation 141
When Calculations Go Well 141
When Calculations Go Poorly 143
Editing Calculated Fields 144
Recommendations 144
Types of Calculations 145
Numerical Calculations 146
String Calculations 146
Date Calculations 146
Conditional Calculations with a Boolean Output 146
Logical Calculations 146
Type Conversions 146
Level of Detail and Ranking Calculations 147
Summary 148
Part IV. Output
19. Choosing an Output. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 150
Types of Output 150
Publish to Files 151
Publish to Tableau Server 152
When to Output Data in Prep Builder 152
Outputting Data in the Output Step 152
Previewing Output Data in Desktop 155
Other Considerations for Output Data 157
Summary 157
20. Outputting to a Database. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 158
When to Write to a Database 158
Clean Data 158
Simplified Joins 159
Staging and Reference Tables 159
Setup for Writing to a Database 159
What to Watch Out For 163
Summary 163
21. Getting Started with Tableau
Prep Conductor. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 164
When to Use Prep Conductor 164
How to Get Prep Conductor 165
Loading a Flow to Prep Conductor 165
Other Benefits of Using Prep Conductor 172
Summary 173
Part V. Cleaning Data
22. Creating Additional Data. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 175
When Not to Create Data 175
Dynamic Calculations in Desktop 175
Duplicate Records from Joins 177
Creating Additional Columns 177
Using Calculations 178
Pivoting Rows to Columns 178
Joining Data Sets 179
Creating Additional Rows 180
Pivoting Columns to Rows 180
Unioning Data Sets 180
Scaffolding Data Sets 181
Joining Data Sets 181
Summary 181
23. Filtering. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182
What Is a Filter? 182
Different Types of Filters 183
Selection 183
Calculation 186
Wildcard 188
Null Values 188
When to Filter Out Columns 189
When to Filter Out Rows 189
Summary 190
24. Removing Data During Input. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 191
Changing Your Data Set Before Loading It 191
Slow Performance, Slow Build, Slow Output 192
Removing Columns 194
Removing Records 196
Summary 198
25. Splitting Data Fields. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 199
Basic Splits 200
Advanced Splits: When Automatic Splits Don’t Work as Intended 202
When Not to Split Data 204
Address Data 204
No Clear Delimiter 205
Summary 205
26. Cleaning by Grouping Data. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 206
What Does Grouping Mean? 206
Why Use Grouping 207
Improving Accuracy 207
Navigating the Data Hierarchy 207
Smoothing Reorganizations 208
Grouping Techniques 209
Manual 209
Calculations 212
Built-in Functionality 213
Summary 217
27. Dealing with Nulls. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 218
What Is a Null? 218
When Is a Null OK? 219
How to Remove or Replace a Null 221
ISNULL() 221
ZN() 222
Merge 223
Summary 225
28. Using Data Roles. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 226
How to Use Data Roles 227
Custom Data Roles 229
Summary 233
29. Dealing with Unwanted Characters. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 234
What Is an Unwanted Character? 234
Issues Caused by Unwanted Characters 235
Removing Unwanted Characters 237
Strings with Mistyped Characters 238
Numbers with Unwanted Characters 239
Dates with Mistyped Characters 240
Summary 241
30. Deduplicating. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 242
How to Identify Duplicates 242
Causes of Duplicates 243
System Loads 243
Row per Measure 244
Joins 245
How to Handle Duplicates 246
Aggregating: Technique 1 246
Aggregating: Technique 2 248
Pivoting Rows to Columns 250
Summary 251
31. Using Regular Expressions. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 252
What Are Regular Expressions? 252
How to Use Regexes in Prep 252
REGEXP_EXTRACT() and REGEXP_EXTRACT_NTH() 253
REGEXP_MATCH() 253
REGEXP_REPLACE() 254
Regex Use Cases 254
Replacing Common Mistakes 254
Anonymizing Comments or Feedback 255
Common Regex Commands 256
Summary 256
32. Completing Advanced Joins. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 257
Multiple Join Conditions 257
Join Conditions Other Than Equals 260
Filtering with a Join 261
Joining by a Range 262
OR Statements 265
Summary 266
33. Creating Level of Detail Calculations. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 267
What Is Appending? 267
Exploring Appending Through LOD Calculations 267
When to Use an LOD Calculation 267
How to Write an LOD Calculation in Prep Builder 269
What a Level of Detail Calculation Is Doing 273
Summary 275
34. Doing Analytical Calculations. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 276
What Is a Table Calculation? 276
Applying Table Calculation Logic in Prep Builder 279
Keywords 280
Analytical Calculations 280
Use Cases 284
Filtering for the Top N 284
Filtering Out a Percentage of Data 285
Summary 286
Part VI. Beyond the Basics
35. Breaking Down Complex Data Preparation Challenges. . . . . . . . . . . . . . . . . . . . . . . . . 288
The Challenge 288
Where to Begin 289
Logical Steps 291
Making Changes 294
Be Ready to Iterate 295
Summary 297
36. Handling Free Text. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 298
What Is Free Text? 298
Why Is Free Text Useful? 298
How to Analyze Free Text in Tableau 299
Split the Strings 300
Pivot Columns to Rows 301
Clean Cases and Punctuation 303
Use a Join to Remove Common Words 303
Group the Remaining Values 305
Summary 307
37. Using Smarter Filtering. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 308
Calculations 308
Boolean Calculations 308
Logical Calculations 309
Regex Calculations 310
Join Ranges 312
Percentage Variance 312
Manual Entry: Level of Detail Calculations 312
Reloaded Data: Join to Previous Output 315
Aggregating the Average Production Cost per Type 316
Joining the Data Sets Together 316
Combining Techniques 317
Summary 318
38. Managing Conversion Rates. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 319
Challenges of Conversion Rates 319
Applying Conversion Rates in Prep 320
Step 1: Create a Consistent Granularity of Data for the Conversion 320
Step 2: Join the Data Sets Together 321
Step 3: Apply the Conversion Rate 322
Long-Term Strategies for Conversion Rates 322
Managing Frequency 322
Maintaining History Tables 322
Summary 323
39. Scaffolding Your Data. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 324
What Is Scaffolding? 324
Challenges Addressed by Scaffolding 327
Challenges Created by Scaffolding 327
The Traditional Scaffolding Technique 328
Step 1: Input the Data Sets 329
Step 2: Build the Join Calculations 329
Step 3: Join the Two Data Sets Together 331
Step 4: Filter Out Unnecessary Rows 332
The Newer Scaffolding Technique 334
Step 1: Input the Data Sets 335
Step 2: Join the Data Sets 335
Step 3: Add the Reporting Date 336
Step 4: Remove the Scaffold Value 336
The Result 337
Summary 337
40. Connecting to Programming Scripts. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 338
When to Use the Script Step in Prep 338
Setting Up Your Computer to Use Scripts in Prep 339
Using a Script Step 343
Summary 345
41. Handling Prep Builder Errors. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 346
Parameter Errors 346
Blank Profile Panes or Data Panes 347
Changing a Calculation or Removing a Data Field Downstream 347
The Data Source Has Changed 348
Errors Within a Calculated Field 349
Incomplete Calculations 349
Unsupported Functions 351
Summary 351
Part VII. Managing Your Data
42. Documenting Your Data Preparation. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 353
Basic Documentation 353
Folder Structure 353
Filenames 354
Data Sources 354
Output 354
Step Names 355
Clean Step 355
Step Descriptions 356
Color 356
Joins 357
Unions 357
Summary 359
43. Deciding Where to Prepare Your Data. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 360
Processes to Consider 360
Data Preparation Versus Visual Analytics 361
Data Literacy 361
Organization Size 361
Quality of Technological Hardware 361
History of Data Investment 362
Software Performance 362
Sampling 362
Functionality 363
Documentation 364
Summary 365
44. Managing Data. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 366
What Is Sensitive Data? 366
Public 367
Confidential 367
Strictly Confidential 367
Restricted 367
Managing Data Based on Sensitivity 368
Production Versus Development Environments 368
Deleting Data 369
When Data Becomes Outdated or Irrelevant 369
When a Customer or Client Leaves 369
Summary 369
45. Storing Your Data. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 370
Inaccessibility 370
Don’t Break the Law 371
Don’t Delete Operational Data 371
Do Grant Access to Data for the Experts 371
Do Document Your Sources 372
Slow/Unresponsive Performance 372
Overwriting Risks 372
Grant Read-Only Access 373
Train Before Publishing 373
So, Where Do You Write That Output? 373
Summary 374
46. Using Identifiers and Keys in Data. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 375
What Is an Identifier? 375
What Is a Key in a Database? 376
Using Keys and Identifiers in Prep 377
Creating Identifier Data Fields in Prep Builder 379
Summary 382
47. Keeping Your Data Up-to-Date. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 383
Refreshing Data 383
Full Versus Incremental Refreshes 384
Setting Up Different Types of Refresh 384
Full Refresh 384
Incremental Refresh 385
What to Watch Out for When Refreshing Data Sources 388
Changing Data Values 388
Altering the Structure of Sources 388
New Data, New Input 388
Summary 389
48. Using History Tables. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 390
Why Are History Tables Required? 390
What to Consider When Creating History Tables 391
Ability to Join to Live Data 391
Relevance of Information 391
Frequency of Updates 392
Level of Granularity 392
Performance 392
Data Regulations 393
An Example History Table 393
Summary 397
49. Evaluating Whether You Need Prep Builder at All. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 398
A History of Data Preparation in Tableau 398
Where to Try Desktop First 399
Simple Joins 399
Unions 400
Single Pivots 402
Where to Start with Prep Builder 403
Summary 404
50. Final Thoughts. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 405
Index. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 407

Примеры страниц

Оглавление

Introduction xxi
Assessment Test xxxi
Chapter 1 What’s New in vSphere 6.7 1
Chapter 2 Configuring and Administering Security in
a vSphere Datacenter 47
Chapter 3 Networking in vSphere 123
Chapter 4 Storage in vSphere 177
Chapter 5 Upgrading a vSphere Deployment 239
Chapter 6 Allocating Resources in a vSphere Datacenter 291
Chapter 7 Backing Up and Recovering a vSphere Deployment 349
Chapter 8 Troubleshooting a vSphere Deployment 393
Chapter 9 Deploying and Customizing ESXi Hosts 433
Chapter 10 Ensuring High Availability for vSphere Clusters and the VCSA 475
Chapter 11 Administering and Managing vSphere Virtual Machines 519
Appendix Answers to Review Questions 565
Index 583

Примеры страниц

Оглавление

Введение
УНФ как информационная система управления предприятием малого и среднего бизнеса
Глава 1. Принцип работы программы
Настройка основного рабочего стола
Настройка интерфейса документа
Настройка списка документов
Глава 2. Начало работы с программой
Настройка программы
Ввод справочной информации
Данные организации
Номенклатура
Характеристики номенклатуры
Серийные номера
Партии
Данные о контрагентах
Ввод начальных данных
Глава 3. Продажи
Регистрация заявки клиента и выставление счета на оплату
Продажа покупателю товара со склада
Наборы и комплекты
Резервирование товара на складе для покупателя
Снятие товара с резерва
Оказание услуг клиенту
Биллинг и регулярные услуги
Контроль своевременного выполнения заказов клиентов
Формирование плана продаж
Розничные продажи
Продажи по 54-ФЗ
Оформление розничной продажи
Возврат товара от покупателя в текущей кассовой смене
Возврат товара от покупателя в другой кассовой смене
Выемка и внесение наличных денег в кассы ККМ
Печать ценников и этикеток
Подарочные сертификаты
Продажа в кредит
Передача товара на комиссию
Продажа комиссионного товара
Автоматические скидки, наценки
Продажа товаров с серийными номерами
Анализ эффективности работы менеджеров с клиентами
Ассистент управления фирмой
Глава 4. Маркетинг
Ценообразование
Формирование прайс-листа на основании закупочных цен
Формирование нового вида цен на основании оптовой цены
Работа с клиентской базой
Лиды
Сегментирование клиентов
Почтовая и СМС-рассылка
Планирование опросов клиентов и анализ их результатов
Анализ истории взаимоотношений с клиентами
Рабочие процессы
Воронка продаж
Система взаимодействия (обсуждения)
Мобильная и IP-телефония
Глава 5. Закупки
Оформление заказа на поставку
Оприходование товара на склад
Закупка товара под заказ покупателя
Учет дополнительных расходов на поставку
Закупка товара у иностранного поставщика
Сравнение закупочных цен поставщиков
Передача материалов в переработку
Принятие продукции от переработчика
Контроль обеспечения материалами заказа покупателя
Определение минимального необходимого остатка запасов на складе
Обеспечение минимального остатка запасов на складе
Глава 6. Склад
Складские перемещения
Перемещение товаров между складами
Перемещение товаров в розничный магазин
Перемещение запасов между ячейками
Инвентаризация
Списание недостачи
Оприходование излишков запасов
Пересортица товаров
Передача материалов в производство
Передача расходных материалов и инструментов в эксплуатацию
Глава 7. Производство
Оформление выпуска продукции
Учет производственных отходов
Резервирование материалов под заказ покупателя при позаказном производстве
Спецификации
Создание технологической карты продукции и планирование ее себестоимости
План-фактный анализ себестоимости при серийном производстве
Управление производственными ресурсами
Планирование загрузки ресурсов
Контроль загруженности ресурсов
Учет производственных затрат
Учет сдельной заработной платы
Списание затрат котловым способом
Позаказное списание затрат
Выпуск продукции из давальческого сырья
Многопередельное производство
Глава 8. Работы
Выполнение разовых работ
Выполнение долгосрочных работ
Глава 9. Деньги
Банк
Загрузка выписки из банка
Учет безналичной оплаты от покупателя
Учет поступления оплаты от банка-эквайера
Учет оплаты поставщику
Перечисление налогов в бюджет
Возврат денег покупателю
Учет списания банковской комиссии
Формирование платежных поручений
Касса
Учет наличной оплаты от покупателя
Выдача денег из кассы на прочие расходы
Перемещение денег
Расчеты с подотчетниками
Платежный календарь
Планирование поступления оплат от клиентов
Планирование расхода денег
Анализ вероятности кассового разрыва
Операции с валютой
Покупка валюты
Продажа валюты
Курсовые разницы
Личные средства предпринимателя
Глава 10. Взаиморасчеты
Расчеты с покупателями
Контроль просроченной дебиторской задолженности
Списание проблемной задолженности клиента
Переуступка долга покупателя
Расчеты с поставщиками
Контроль просроченной кредиторской задолженности
Сверка взаиморасчетов
Глава 11. Зарплата и кадры
Кадровый учет
Принятие на работу сотрудника
Кадровое перемещение сотрудника
Увольнение сотрудника
Зарплата
Расчет и начисление зарплаты
Выплата заработной платы
Расчеты с персоналом по займам
Анализ взаиморасчетов с сотрудниками
Глава 12. Имущество
Принятие к учету имущества
Начисление амортизации
Продажа имущества
Списание имущества
Глава 13. Финансовый анализ
Методы учета доходов и расходов
Учет доходов
Учет доходов в разрезе подразделений
Учет доходов в разрезе направлений деятельности
Учет внереализационных доходов
Расходы
Учет и распределение косвенных расходов на себестоимость выпуска
Учет расходов по заказу покупателя
Учет общефирменных расходов
Распределение расходов
Налоги
Начисление налогов
Перечисление налогов в бюджет
Анализ оплаты налогов
Доходы и расходы кассовым методом
Анализ деятельности компании
Процедура закрытия месяца
Монитор руководителя
Финансовый результат
Управленческий баланс
Глава 14. Регламентированная отчетность
Налоговая отчетность для индивидуальных предпринимателей
Подготовка и сдача отчетности по УСН
Подготовка и сдача отчетности по ЕНВД
Патент
Глава 15. Работа с отчетами
Отбор
Группировка
Сортировка
Формирование диаграмм
Глава 16. Администрирование
Настройка резервного копирования
Настройка автоматического копирования
Удаление документов, справочников
Поиск и удаление дублей справочников
Групповое изменение реквизитов справочников и документов
Анализ работы пользователей в программе
Версионирование данных. Анализ изменений справочников и документов
Добавление и отключение пользователей
Настройка прав пользователей
Обновление конфигурации
Рассылка отчетов
Редактирование печатных форм
Загрузка данных из внешних источников
Настройка почтовой записи для отправки документов
Глава 17. Интеграция
Интеграция с «1С:Бухгалтерией»
Настройка обмена с «1С:Розницей»
Настройка обмена с сайтом
Глава 18. Примеры автоматизации бизнес-процессов
Продажа товара клиенту с доставкой в интернет-магазине
Учет хозяйственных операций, не принимаемых к бухгалтерскому учету
Выполнение работ по строительству небольшого дома
Многоэтапное производство мебели
Работа проектной организации
Оказание услуг и сдача оборудования в аренду
Приложение
Список типовых ошибок учета
Список отчетов программы
Мобильное приложение
Торговое оборудование
Заключение
Тренинг «Оперативное управление в малом бизнесе»

Примеры страниц

Оглавление

Введение
Глава 1. Интернет-технологии
JSON
Общая информация
Потоковая работа
Сериализация коллекций значений (объектная техника)
Сериализация прикладных типов «1С:Предприятия»
Смешанная техника работы
HTTP-сервисы (REST)
Общая информация
Разработка HTTP-сервиса
Примеры реализации HTTP-сервисов
HTTP-сервисы в расширениях
HTTP-запросы
Обращение к HTTP-сервисам
Обращение к REST-интерфейсу (OData)
Автоматический REST-интерфейс (OData)
Общая информация
Правила формирования URL запроса
Примеры использования
Типичные ошибки при получении данных
Web-сервисы
Общая информация
Предоставление функциональности через Web-сервисы
Работа с Web-сервисами сторонних поставщиков
Пример реализации Web-сервиса
Web-сервисы в расширениях
Повторное использование сеансов интернет-сервисов
Автоматическое переиспользование сеансов
Ручное управление сеансами
Коды состояния в ответах HTTP-сервера
FTP-соединение
Получить файлы с сервера
Записать файлы на сервер
Копировать файлы с сервера
Электронная почта
Отправить и получить почту
Отправить и получить сообщение обмена
Глава 2. Внешние источники данных
Работа с реляционными внешними источниками данных
Общая информация
Строка соединения
Редактирование структуры внешнего источника данных
Работа с функциями внешнего источника данных
Управление внешними источниками данных
Примеры использования
Исходная информация для примеров
DSN
Работа с внешними источниками данных в конфигураторе и в режиме «1С:Предприятие»
Программная синхронизация
Работа с функциями
Прикладное использование данных из внешних источников
Глава 3. Обмен данными
Планы обмена
Служба регистрации изменений
Инфраструктура сообщений
Распределенные информационные базы
Общие принципы
Главный и подчиненный узлы
Сообщение обмена данными в распределенной информационной базе
Работа с распределенной информационной базой
Подготовка конфигурации к работе в распределенной информационной базе
Пример реализации обмена данными в распределенной информационной базе
Сценарии обмена данными в распределенной информационной базе
Доработка примера обмена данными в распределенной информационной базе
Особенности использования последовательности документов в распределенной информационной базе
Универсальный механизм обмена данными
Использование возможностей работы с XML-документами
Пример реализации универсального обмена
Использование транзакций при организации обмена
Методика включения в сообщение обмена дополнительной информации
Организация одностороннего обмена
Примеры реализации автоматического обмена данными
Использование регламентных заданий
Использование объекта «СОМСоединение»
Использование планов обмена в расширении конфигурации
Универсальный способ обмена данными
Обмен данными в распределенной информационной базе
Глава 4. Внешние компоненты
Подключение внешней компоненты в тонком клиенте или в веб-клиенте (на примере Native API компоненты)
Подключение внешней компоненты из файла на диске (отдельные файлы)
Подключение внешней компоненты из макета (ZIP-архив)
Подключение внешней компоненты из базы данных (ZIP-архив)
Подключение внешней компоненты в толстом клиенте или на сервере (на примере Native API компоненты)
Подключение внешней компоненты из файла на диске (отдельные файлы)
Подключение внешней компоненты из макета (ZIP-архив)
Подключение внешней компоненты из макета (отдельные файлы)
Подключение внешней компоненты из базы данных (ZIP-архив)
Подключение внешней компоненты из базы данных (отдельные файлы)
Глава 5. Взаимодействие с приложением системы «1С:Предприятие»
Automation
Automation Server
Automation Client
Внешнее соединение
Встраивание веб-клиента «1С:Предприятия» в сторонний сайт
Общая информация
Пример реализации
Работа с локальной файловой системой
Глава 6. Файловое взаимодействие
Найти файлы в каталоге
Удалить файлы в каталоге
Создать новый каталог
Копировать файл
Переместить файл
Передача файлов между клиентом и сервером
Передача и получение одного файла с сервера
Передача нескольких файлов на сервер
Получение нескольких файлов с сервера
Текстовые файлы
Текстовый документ, поле текстового документа
Отображение текстового документа
Модель последовательного доступа
XML-файлы
Основные положения
Базовые средства «1С:Предприятия» для работы с XML
XML-сериализация
HTML-документ
Поле HTML-документа
Объектная модель документа
Примеры работы
Двоичные данные
Общая информация
Примеры работы
XDTO-сериализация
ZIP-архивы
Создание архива
Чтение ZIP-архивов
Работа с файлами большого объема
Примеры работы
DBF-файлы

Примеры страниц

Оглавление

Введение
Глава 1
Концепция раздельного учета
Место раздельного учета в системе контроля ГОЗ
Понятие раздельного учета в сфере ГОЗ
Контрольное правило
Раздельный учет в системе учетных действий организации
Контракты ГОЗ как разрез аналитического учета
Локальный баланс по контракту ГОЗ, или как рассчитывается контрольное правило
Подтверждение данных раздельного учета по контрактам ГОЗ
Глава 2
Регламентация ведения раздельного учета
Объекты учетных действий для раздельного учета
Прослеживаемость в первичном документообороте
Обоснование стоимости используемых ресурсов
Стоимость материальных ресурсов
Стоимость трудовых ресурсов
Сумма прочих «прямых» производственных затрат
Сумма накладных расходов, отнесенная на контракт
Глава 3
Структура отчета исполнения контрактов ГОЗ
Баланс показателей
Группа «1. Финансирование контракта»
Группа «2. Распределение ресурсов контракта»
Группа «2.1. Денежные средства»
Группа «2.2. Запасы»
Показатель «2.2.1. Материалы на складах»
Показатель «2.2.2. НДС входящий»
Показатель «2.2.3. Полуфабрикаты на складах»
Показатель «2.2.4. Материалы, переданные в переработку»
Показатель «2.2.5. Расходы будущих периодов»
Показатель «2.2.6. Средства производства»
Группа «2.3. Производство»
Показатель «2.3.1. Затраты на материалы»
Показатель «2.3.2. Затраты на оплату труда»
Показатель «2.3.3. Прочие производственные затраты»
Показатель «2.3.4. Общепроизводственные затраты»
Показатель «2.3.5. Общехозяйственные затраты»
Показатель «2.3.6. Полуфабрикаты, внутренние работы»
Показатель «2.3.7. Выпуск полуфабрикатов, внутренних работ»
Показатель «2.3.8. Выпуск продукции»
Показатель «2.4. Готовый товар на складе»
Группа «3. Отгрузка товара, выполнение работ, оказание услуг»
Показатель «4. (+) Привлечение ресурсов в контракт / (-)
Перенаправление ресурсов контракта»
Показатель «5. Списание денежных средств с отдельного счета контракта»
Целевые параметры контракта
Сумма контракта
Производственные затраты контракта
Финансовый результат контракта
Общий порядок заполнения данных отчета
Занесение плановых данных
Изменение плановых данных
Указание суммы возмещаемых расходов
Отражение хода выполнения контракта
Завершение учетных действий по контракту
Закрытие контракта: источники финансирования
Закрытие контракта: денежные средства
Закрытие контракта: запасы
Закрытие контракта: незавершенное производство
Закрытие контракта: продукция
Закрытие контракта: выручка
Закрытие контракта: финансовый результат
Приложение 1
Приложение 2

Примеры страниц

Оглавление

Preface xiii
Chapter 1: Meet QlikView 1
What is QlikView? 2
How does QlikView differ from traditional BI? 2
Associative user experience 3
Technology 5
Adoption path 5
Exploring data with QlikView 6
Getting QlikView 6
Navigating the document 8
Slicing and dicing your data 9
Listboxes 9
Selections in charts 10
Search 11
Bookmarking selections 12
Creating a new bookmark 12
Retrieving a bookmark 13
Undoing selections 13
Changing the view 13
Cyclic groups 14
Drill down groups 14
Containers 15
But wait, there's more! 16
The technology and components behind QlikView 16
The way the data flows 17
When QlikView use expands 18
Create content 19
Reload, publish, and distribute content 20
Consume content 20
Meet HighCloud Airlines 21
Summary 22Table of Contents
[ ii ]
Chapter 2: What's New in QlikView 12? 23
Common QIX Engine 24
64-bit only 24
Online documentation 24
Security improvements 25
Mobile touch improvements 25
Improved clustering and scaling 25
Clustering improvements in QlikView 12.1 25
What is new in the Qlik product portfolio? 26
Qlik Sense Enterprise and the Qlik Analytics Platform 26
In what way are QlikView and Qlik Sense similar? 27
In what way do QlikView and Qlik Sense differ? 27
What does this mean for users? 28
What is the Qlik Analytics Platform? 29
Qlik NPrinting 29
Qlik Web Connectors 29
Qlik GeoAnalytics 30
Qlik DataMarket 30
How do the products in the Qlik product portfolio fit together? 30
What is new in QlikView 12 for Developers? 31
Summary 32
Chapter 3: Seeing is Believing 33
What is a SiB? 34
Preparing the workspace 34
Setting up the folder structure 34
Creating the QlikView document 35
Creating the app 36
The requirements 36
Constructing the data model 37
What is a data model? 37
Loading the fact table 37
Playing with listboxes 40
Associating additional tables 44
Creating the dashboard tab 47
Creating and positioning the filters and user controls 47
Number of flights over time 50
One chart and multiple analyses with cyclic expressions 54
Adding a time drill-down group 56
Top 10 routes 58
Summary 61Table of Contents
[ iii ]
Chapter 4: Data Sources 63
Using ODBC and OLE DB drivers 64
Installing the drivers 64
Accessing custom data sources 65
Accessing web resources via APIs 67
Qlik Web Connectors 67
Qlik REST Connector 67
Reading table files 69
Extracting data – two hands-on examples 69
Extracting data from MS Access 69
Configuring the driver 70
Creating the OLE DB connection string 72
Querying the database 74
The Create Select Statement wizard 75
Reloading the script 79
The resulting data model 80
Loading a table file 82
Specifying the file attributes 82
The CSV attributes 84
A word on quoting 84
Previewing 85
The transformation step 86
Refining the input table 87
The resulting script 89
QVD and QVX files 91
QVD files 91
QVX files 92
Loading an Inline table 92
Summary 94
Chapter 5: Data Modeling 95
Dimensional data modeling 96
Back in the day 96
Relational databases and ER modeling 96
Dimensional modeling 98
The star schema 98
The snowflake schema 99
Creating the dimensional model 100
Dimensional models in QlikView 101
The associative data model 102
Guidelines for table associations 103
How associations are created 104
Avoiding data model conflicts 106Table of Contents
[ iv ]
The Table Viewer window 112
Table information 113
Field information 113
Table preview 114
Table viewer menu 114
Summary 116
Chapter 6: Styling Up 117
Design requirements 118
The Document Properties window 120
The Sheet Properties dialog 123
Setting the object properties 125
Caption colors and style 125
Changing the caption colors 125
Setting the caption font 128
Setting the content font 129
Setting the global font 129
Propagating the object appearance 130
Setting the default Sheet Object Style 131
Hiding captions 131
Working with listboxes 132
Adding listboxes 132
The List Box Properties dialog 133
The General tab 133
The Expressions tab 134
The Sort tab 134
The Presentation tab 135
The Number tab 136
The Font tab 136
The Layout tab 136
The Caption tab 137
The Multi Box 138
The Current Selections Box 139
Making selections from the Current Selections Box 140
Adding a Bookmark Object 140
Aligning and resizing sheet objects 141
Selecting objects 141
Moving objects 141
Resizing objects 142
Resizing a Multi Box 142
Aligning sheet objects 143
Do a little house keeping 143Table of Contents
[ v ]
Creating and applying a default color map 144
Defining chart colors 144
Setting the default color map 145
Summary 146
Chapter 7: Building Dashboards 147
User types 147
Dashboard users 148
Analysts 149
Report users 150
Applying the DAR principle to Airline Operations 150
Document requirements 151
Creating the Analysis sheet 152
Adding a new chart 153
Bar Chart 155
Additional bar chart properties 157
Expressions and the Edit Expression window 158
Expressions 158
The Edit Expression window 158
The Expression Overview window 161
Line Chart 162
Additional line chart properties 164
Combo Chart 165
Container 167
Scatter Chart 169
Button 171
Statistics box 172
Creating the new Dashboard sheet 174
Linked Objects 175
Gauges 178
Cloning the object for re-use 183
Adding Air Time % 184
More Gauge styles 185
Adding a Text object 185
Using a Text Object to display an image 187
Adding actions to a Text object 189
Adding a Pie chart 190
Dimension Limits 191
Adding the dimension value to the data point values 193
Creating the Reports sheet 195
Variables 195
The Expression Overview window in action 197
Copying sheets 199Table of Contents
[ vi ]
KPIs per airline, origin, and destination country 200
Cyclic and Drill-down groups 200
Straight table 202
Not all expressions are numbers 204
Pivot tables 206
Auto minimize 208
The Report Editor window 209
Other charts 213
Radar Chart 214
Mekko Chart 214
Grid Chart 215
Funnel Chart 216
Block Chart 217
Trellis Chart 217
Summary 219
Chapter 8: Scripting 221
The Script Editor 222
Menu and toolbar 223
Script pane 223
Tool pane 224
Script statements 224
Building the aircraft dimension table 225
Loading the aircraft information 225
Adding the aircraft groups 227
Loading the second aircraft table 229
Making it all right 231
Manipulating tables 235
The JOIN statement 235
The KEEP statement 237
The CONCATENATE statement 239
The NOCONCATENATE statement 240
Using MAPPING tables 241
Adding comments 243
Storing tables 245
Renaming tables and fields 245
Deleting tables and fields 246
Setting variables 246
Controlling script flow 247
Conditional functions 249
Dealing with different data types 250
Strings 250
String operators 250
String functions 250Table of Contents
[ vii ]
Numbers and numeric functions 253
Date and time functions 254
Debugging script 255
Syntax check 256
Saving logs to disk 256
The script debugger 257
Using breakpoints 258
Limited load 258
Tracing script 259
Standardizing and organizing script 260
Using tabs 260
Comments 261
Adding an information tab 262
Script layout 264
Naming conventions 264
Table naming conventions 264
Field naming conventions 265
Re-using scripts 266
Subroutines 266
Including script files 268
Managing file locations and connection strings 269
Summary 271
Chapter 9: Data Modeling Best Practices 273
Data consistency 273
Dealing with dimensions without facts 274
An alternative approach 278
A solo exercise 279
Dealing with facts without dimensions 280
Reducing storage requirements 285
Using number-based key fields 285
Removing unused fields 286
Splitting high-cardinality fields 286
Design challenges of data modeling 288
The Airline Employment statistics table 288
Concatenating fact tables 289
Structural asymmetry 289
Natural and forced concatenation 290
Concatenating the Employment Statistics table 292
Working with link tables 294
A link table example 294
Creating a link table in the Airline Operations document 297
Finding a balance 300Table of Contents
[ viii ]
The master calendar 301
A final note on data modeling 305
Summary 306
Chapter 10: Basic Data Transformation 307
Changing the source table structure 307
"Cleansing" a dirty table 308
File contents 308
Working with the Transformation Step wizard 309
The final result 319
Other transformation tricks 321
Loading a Crosstable 321
A Crosstable example 321
Working with the Crosstable Wizard 322
A solo exercise 326
Expanding a hierarchy 326
A hierarchy example 327
Working with the Hierarchy Wizard 328
The tree-view list-box 331
Generic load 332
Loading a generic table into QlikView 333
Summary 336
Chapter 11: Advanced Expressions 337
Using variables 337
Creating a variable 338
Using variables in charts 339
Interactively changing a variable's value 341
Using the Input Box object 341
Using the Slider object 342
Using variables based on expressions 343
Using variables to store expressions 345
Variable naming convention 346
The Dollar Sign Expansion syntax 346
Dollar Sign Expansion with parameters 347
Double Dollar Sign Expansion 349
Using the TOTAL qualifier 352
The Aggr function 354
Using Aggr for nested aggregation 354
A word on calculated dimensions 356
Aggregations over the Aggr output 357
A word on using the Distinct qualifier 359
Getting the Average Load Factor per Route per Airline 359Table of Contents
[ ix ]
Conditional functions 361
The If function 361
The syntax 361
A use case 362
Numeric versus text comparisons 368
The Class function 368
A solo exercise using the Class function 370
The Pick function 371
Using Pick with Dimensionality 371
A tip on copying expressions 374
Summary 375
Chapter 12: Set Analysis and Point In Time Reporting 377
The magic of Set Analysis 377
What is it for? 378
Syntax and examples 379
Using variables in set expressions 382
Dynamic record sets 382
More assignment operators 383
Set operators 384
Using element functions 385
Point In Time Reporting 386
The challenge 386
Defining the set modifiers 387
Obtaining the base period record set 387
Obtaining the compare-to period record set 388
Constructing the expressions 390
Enabling additional period comparisons 391
More Point In Time Reporting examples 392
Storing set expressions into variables 394
Set expressions with parameters 396
Portable set expressions 398
Set variables and the Master Calendar 400
Comparative analysis with alternate states 401
A comparative analysis example 401
Alternate states step-by-step 402
State-based expressions 406
Combining alternate states and the default state 406
Applying alternate states to layout objects 407
Document navigation with alternate states 408
Clearing selections in an alternate state 408
Always validate 408
Summary 409Table of Contents
[ x ]
Chapter 13: Advanced Data Transformation 411
Data architecture 411
Two-stage architecture 412
Three-stage architecture 414
Setting up our environment 415
Loading data already stored in QlikView 416
Cloning a QlikView data model 416
Loading from RAM 418
Resident load 418
Aggregating data 419
Aggregating the Flight Data table 420
The Transformation output 424
Aggregation functions 425
Sorting tables 426
Ordering the Order-By fields 426
The Peek function 427
Merging forces 428
A refresher 428
The objective 428
Getting it done 429
Loading the table 429
Sorting the table 430
Peeking previous records 431
A solo exercise 435
Dealing with slowly changing dimensions 435
The Carrier Decode table 436
IntervalMatch magic 437
Expanding the intervals 437
Some considerations 440
Applying IntervalMatch to the Carrier Decode table 440
Ordering, peeking, and matching all at once 444
The use case 445
Incremental loads 446
Summary 449
Chapter 14: More on Visual Design and User Experience 451
Creating a consistent QlikView UI 451
Screen resolution 452
Background image 452
Themes 454
Applying themes 455
Creating themes 456Table of Contents
[ xi ]
Additional interactivity 462
Triggers 463
Document triggers 463
Sheet triggers 465
Actions 466
Advanced search expressions 469
A solo exercise 471
Dynamic bookmarks 471
Alerts 471
Conditionally showing and calculating objects 475
Summary 478
Chapter 15: Security 479
Hidden script 479
Section access 481
Section access fields 484
Reduction fields 486
Initial data reduction 488
Omitting fields 489
Document-level security 491
Sheet-level security 493
Summary 494
Index 497

Примеры страниц

Оглавление

Введение
Глава 1
Как работать с книгой
Правила формирования примеров
Список хозяйственных операций
Глава 2
1.1. Денежные средства, полученные от заказчика
Целевые параметры контракта, руб. коп.
Выполнено, %
Сальдо операций, руб. коп.
Движение в рамках контракта, руб. коп.
Привлечение ресурсов организации, руб. коп.
Списание в рамках контракта, руб. коп.
Глава 3
1.2. Кредиты банка
Целевые параметры контракта, руб. коп.
Выполнено, %
Сальдо операций, руб. коп.
Движение в рамках контракта, руб. коп.
Привлечение ресурсов организации, руб. коп.
Списание в рамках контракта, руб. коп.
Глава 4
1.3. Задолженность по процентам по кредитам
Сальдо операций, руб. коп.
Движение в рамках контракта, руб. коп.
Привлечение ресурсов организации, руб. коп.
Списание в рамках контракта, руб. коп.
Глава 5
1.4. Задолженность перед поставщиками
Сальдо операций, руб. коп.
Движение в рамках контракта, руб. коп.
Привлечение ресурсов с других контрактов государственного заказчика / заказчика, руб. коп.
Привлечение ресурсов организации, руб. коп.
Списание в рамках контракта, руб. коп.
Глава 6
2.1.1. Денежные средства на отдельном счете
Сальдо операций, руб. коп.
Движение в рамках контракта, руб. коп.
Привлечение ресурсов организации, руб. коп.
Списание в рамках контракта, руб. коп.
Использование ресурсов на другие контракты государственного заказчика / заказчика, руб. коп.
Использование ресурсов на нужды организации, руб. коп.
Глава 7
2.1.2. Денежные средства на депозитах в банке
Сальдо операций, руб. коп.
Движение в рамках контракта, руб. коп.
Списание в рамках контракта, руб. коп.
Глава 8
2.1.3. Авансы, выданные поставщикам
Сальдо операций, руб. коп.
Движение в рамках контракта, руб. коп.
Привлечение ресурсов с других контрактов государственного заказчика / заказчика, руб. коп.
Привлечение ресурсов организации, руб. коп.
Списание в рамках контракта, руб. коп.
Использование ресурсов на нужды организации, руб. коп.
Глава 9
2.2.1. Материалы на складах
Сальдо операций, руб. коп.
Движение в рамках контракта, руб. коп.
Привлечение ресурсов с других контрактов государственного заказчика / заказчика, руб. коп.
Привлечение ресурсов организации, руб. коп.
Списание в рамках контракта, руб. коп.
Использование ресурсов на другие контракты государственного заказчика / заказчика, руб. коп.
Использование ресурсов на нужды организации, руб. коп.
Глава 10
2.2.2. НДС входящий
Сальдо операций, руб. коп.
Движение в рамках контракта, руб. коп.
Списание в рамках контракта, руб. коп.
Использование ресурсов на нужды организации, руб. коп.
Глава 11
2.2.3. Полуфабрикаты на складах
Сальдо операций, руб. коп.
Движение в рамках контракта, руб. коп.
Привлечение ресурсов с других контрактов государственного заказчика / заказчика, руб. коп.
Привлечение ресурсов организации, руб. коп.
Списание в рамках контракта, руб. коп.
Использование ресурсов на другие контракты государственного заказчика / заказчика, руб. коп.
Использование ресурсов на нужды организации, руб. коп.
Глава 12
2.2.4. Материалы, переданные в переработку
Сальдо операций, руб. коп.
Движение в рамках контракта, руб. коп.
Списание в рамках контракта, руб. коп.
Использование ресурсов на нужды организации, руб. коп.
Глава 13
2.2.5. Расходы будущих периодов
Сальдо операций, руб. коп.
Движение в рамках контракта, руб. коп.
Списание в рамках контракта, руб. коп.
Глава 14
2.2.6. Средства производства
Сальдо операций, руб. коп.
Движение в рамках контракта, руб. коп.
Привлечение ресурсов с других контрактов государственного заказчика / заказчика, руб. коп.
Привлечение ресурсов организации, руб. коп.
Списание в рамках контракта, руб. коп.
Использование ресурсов на другие контракты государственного заказчика / заказчика, руб. коп.
Использование ресурсов на нужды организации, руб. коп.
Глава 15
2.3.1. Затраты на материалы
Целевые параметры контракта, руб. коп.
Выполнено, %
Сальдо операций, руб. коп.
Движение в рамках контракта, руб. коп.
Привлечение ресурсов с других контрактов государственного заказчика / заказчика, руб. коп.
Привлечение ресурсов организации, руб. коп.
Списание в рамках контракта, руб. коп.
Использование ресурсов на другие контракты государственного заказчика / заказчика, руб. коп.
Использование ресурсов на нужды организации, руб. коп.
Глава 16
2.3.2. Затраты на оплату труда
Целевые параметры контракта, руб. коп.
Выполнено, %
Сальдо операций, руб. коп.
Привлечение ресурсов организации, руб. коп.
Глава 17
2.3.3. Прочие производственные затраты
Целевые параметры контракта, руб. коп.
Выполнено, %
Сальдо операций, руб. коп.
Движение в рамках контракта, руб. коп.
Привлечение ресурсов с других контрактов государственного заказчика / заказчика, руб. коп.
Привлечение ресурсов организации, руб. коп.
Списание в рамках контракта, руб. коп.
Использование ресурсов на другие контракты государственного заказчика / заказчика, руб. коп.
Использование ресурсов на нужды организации, руб. коп.
Глава 18
2.3.4. Общепроизводственные затраты
Целевые параметры контракта, руб. коп.
Выполнено, %
Сальдо операций, руб. коп.
Привлечение ресурсов организации, руб. коп.
Глава 19
2.3.5. Общехозяйственные затраты
Целевые параметры контракта, руб. коп.
Выполнено, %
Сальдо операций, руб. коп.
Привлечение ресурсов организации, руб. коп.
Глава 20
2.3.6. Полуфабрикаты, внутренние работы
Сальдо операций, руб. коп.
Движение в рамках контракта, руб. коп.
Глава 21
2.3.7. Выпуск полуфабрикатов, внутренних работ
Сальдо операций, руб. коп.
Списание в рамках контракта, руб. коп.
Глава 22
2.3.8. Выпуск продукции
Сальдо операций, руб. коп.
Списание в рамках контракта, руб. коп.
Глава 23
2.4. Готовый товар на складе
Сальдо операций, руб. коп.
Движение в рамках контракта, руб. коп.
Привлечение ресурсов с других контрактов государственного заказчика / заказчика, руб. коп.
Привлечение ресурсов организации, руб. коп.
Списание в рамках контракта, руб. коп.
Использование ресурсов на другие контракты государственного заказчика / заказчика, руб. коп.
Использование ресурсов на нужды организации, руб. коп.
Глава 24
3. Отгрузка товара, выполнение работ, оказание услуг
Целевые параметры контракта, руб. коп.
Выполнено, %
Сальдо операций, руб. коп.
Глава 25
3.1. Себестоимость реализованной продукции
Целевые параметры контракта, руб. коп.
Выполнено, %
Сальдо операций, руб. коп.
Движение в рамках контракта, руб. коп.
Привлечение ресурсов организации, руб. коп.
Глава 26
3.2. Административно-управленческие расходы
Целевые параметры контракта, руб. коп.
Выполнено, %
Сальдо операций, руб. коп.
Привлечение ресурсов организации, руб. коп.
Глава 27
3.3. Коммерческие расходы
Целевые параметры контракта, руб. коп.
Выполнено, %
Сальдо операций, руб. коп.
Движение в рамках контракта, руб. коп.
Глава 28
3.4. Проценты по кредитам банка
Целевые параметры контракта, руб. коп.
Выполнено, %
Сальдо операций, руб. коп.
Движение в рамках контракта, руб. коп.
Глава 29
3.5. НДС с выручки от продаж
Сальдо операций, руб. коп.
Привлечение ресурсов организации, руб. коп.
Глава 30
5. Списание денежных средств с отдельного счета контракта
Целевые параметры контракта, руб. коп.
Выполнено, %
Сальдо операций, руб. коп.
Приложение 1
Приложение 2

Примеры страниц

Оглавление

Preface 1
Section 1: Qlik Sense and Business Intelligence
Chapter 1: Getting Started with Qlik Sense 8
An overview of the Qlik Sense product 9
The components of Qlik Sense 9
In-memory associative database 10
ETL engine 10
Data manager 10
Script 11
Data model 11
Visualization platform 13
The hub 13
Application overview 14
Sheets 15
Objects 16
API and extensibility capabilities 17
The Associative Engine 18
Setting up Qlik Sense Desktop 22
Setting up Qlik Sense Cloud 24
Self-service with Qlik Sense 26
Summary 33
Section 2: Data Loading and Modeling
Chapter 2: Loading Data in Qlik Sense 35
Technical requirements 35
Data loading process 36
Loading data from data sources 37
Data connections 38
Data manager 38
Dragging a data file into your application 38
Loading a data file from a folder (Qlik Sense Desktop) 41
Loading a data file from data files (QlikCloud) 45
Creating calculated fields 49
Data load editor 57
Table associations 59
Data profiling 63
Profiling using the Data manager 64
Profiling using the Data model viewer 67
Summary 73Table of Contents
[ ii ]
Further reading 73
Chapter 3: Implementing Data Modeling Techniques 74
Technical requirements 75
An overview of data modeling 75
Data modeling techniques 77
Entity relationship modeling 77
Dimensional modeling 79
Joining 83
Types of joins 84
Join/outer join 85
Left join 87
Right join 88
Inner join 90
Pitfalls of using joins 91
Concatenation 92
Automatic concatenation 92
Forced concatenation 94
The NoConcatenate 95
Filtering 96
Filtering data using the Data manager 96
Filtering data in the script editor 97
QVDs 99
Why use QVDs? 99
Link table 101
Canonical dates 104
As-Of Table 108
Script optimization 112
Using Applymap instead of joins 113
Applymap() 113
Reducing the size of data as much as possible 115
Optimized QVD load 115
Non-optimized load 116
Optimized load 116
Dropping unwanted tables immediately after use 118
Summary 118
Sample questions 119
Further reading 119
Section 3: Building an Analytical Application
Chapter 4: Working with Application Structure 121
Technical requirements 121
Application overview 122
Toolbars 123
Understanding the DAR methodology 124Table of Contents
[ iii ]
Creating visualization objects 127
Getting started 128
Generating visualizations using Insights Advisor 130
Generating visualizations using Insights Advisor for selected fields 134
Creating visualizations using chart suggestions 138
Creating visualizations manually 148
Creating Master items 155
Creating master dimensions 155
Creating master measures 157
Creating master visualizations 159
Calculation expressions 160
Summary 161
Questions 162
Further reading 162
Chapter 5: Creating a Sales Analysis App Using Qlik Sense 163
Technical requirements 164
Creating the dashboard sheet 164
Creating the dashboard 165
Creating a new sheet for the dashboard 165
Creating KPI visualizations 166
Creating a pie chart with Sales $ by Categories 171
Creating a bar chart with Sales $ by Top 10 Customers 176
Creating the geographical map of sales by country 181
Creating a filter pane with Order Year and Order Month fields 189
Creating the analysis sheets 192
Creating a customer analysis sheet 193
Creating a new sheet for customer analysis 193
Adding a filter pane with main dimensions 194
Adding KPI visualizations 199
Creating a combo chart for Pareto (80/20) analysis 201
Creating a table chart with customer information 209
Creating a product analysis sheet 212
Creating a new sheet for product analysis 213
Adding a filter pane 213
Adding KPI visualizations 215
Creating a bar chart with a drill-down dimension 219
Creating a line chart by OrderMonthYear and Category 224
Creating a scatter plot 227
Creating a reporting sheet 229
Creating a new sheet 230
Adding a default filter pane 230
Summary 232
Chapter 6: Interacting with Advanced Expressions 233
Technical requirements 233
Creating calculations with conditions 234Table of Contents
[ iv ]
Condition to show a text message 234
Condition to show a different calculation 239
Condition to filter data on a measure 243
Using TOTAL for aggregation scope 247
Calculating the relative share over the total 248
Calculating the relative share over a dimension 251
Using some useful inter-record functions 254
Calculating sales variance year over year 255
Using AGGR for advanced aggregation 257
Calculating the top sales product over each category 258
Leveraging Set Analysis for in-calculation selection 260
Selecting a specific country for comparison 262
Summary 266
Further reading 266
Chapter 7: Creating Data Stories 267
An overview of stories 268
Creating snapshots 269
Planning and organizing your presentation 271
Creating stories 272
Editing your story 280
Sharing stories 290
Summary 292
Further reading 292
Section 4: Additional Features
Chapter 8: Engaging On-Demand App Generation 294
Technical requirements 295
How Qlik Sense handles large volumes of data 295
Setting up a Google BigQuery account 299
Configuring Qlik Sense for ODAG applications 303
Building a summarized application 305
Creating a connection 305
Adding a script to retrieve data 309
Building the detailed application 311
Binding expressions in on-demand template apps 311
Recovering a long list of selected (or possible) values 312
Adding restrictions 313
Creating a dynamic SQL 313
Integrating the summarized and detailed applications 315
Testing our on-demand application 319
Summary 323
Further reading 323Table of Contents
[ v ]
Chapter 9: Creating a Native Map Using GeoAnalytics 324
Technical requirements 324
Concepts of GeoAnalytics 325
Creating a map 327
Loading geographical data 327
Adding the base map 329
Adding layers 332
Area layer 332
Heatmap layer 338
Adding more information to the map 341
Label 342
Info Bubble 343
Summary 344
Further reading 344
Chapter 10: Working with Self-Service Analytics 345
Technical requirements 346
Creating self-service analytics 346
Publishing an application 347
Creating a new sheet in a published app 347
Sharing insights with community sheets 355
Approving sheets to add them to a baseline 357
Co-creating applications in Qlik Sense Cloud Business 359
Managing members 361
Editing the application with multiple users 362
Sharing the app with users 363
Publishing changes to a published application 364
Summary 365
Further reading 365
Chapter 11: Data Forecasting Using Advanced Analytics 366
Technical requirements 367
Qlik Sense Engine and Server Side Extensions 367
Qlik approach to data science platforms 367
How SSE works 368
SSE functions 369
Preparing your R environment 370
Installing R 370
Installing Rserve() 376
Installing more packages 378
Installing the SSE plugin 379
Configuring Qlik Sense 379
Qlik Sense Desktop 379
Qlik Sense Enterprise 380
Starting all services 381Table of Contents
[ vi ]
Using the R extension in a Qlik Sense application 382
Preparing your Python environment 386
Installing Python 387
Updating Python pip 389
Installing TensorFlow 389
Using a Python extension 390
Configuring Qlik Sense 390
Qlik Sense Desktop 391
Qlik Sense Enterprise 391
Using the Python SSE in your apps 392
Summary 392
Questions 393
Further reading 393
Chapter 12: Deploying Qlik Sense Apps for Mobile/Tablets 394
Technical requirements 395
Setting up the Sales Analysis app for mobile usage 395
Responsive layouts 396
Responsive object design 397
Reviewing the responsive design of the Sales Analysis application 399
The Quick view sheet 403
Choosing the right client 409
Preparing the Sales Analysis app for offline usage 410
Summary 411
Other Books You May Enjoy 412
Index 415